athena

スポンサーリンク
技術

AWS lambdaでAthenaをETLする環境構築

AWS lambdaでAthenaを実行する際boto3での実行はデフォルトで可能だが、dataframeでの加工や処理を行いたくなるケースがある。 自前でレイヤーを作る方法は以前にも紹介したが、いくつかハマったポイントがあったのでメモ。
小ネタ

AWS Glueで作成したパーティションがAthenaで認識されない

AWS Glueで既存のテーブルに対して書き込む場合、 additionalOptions = {"enableUpdateCatalog": True} write_dynamic_frame.from_catalog(他略, additional_options=additionalOptions) を用いることで対応できるはずが、実際AthenaでSHOW PARTITIONSをしても認識できなかった。 一方で、Clawlerを用いることでパーティションを認識はできた。 そこで公式ドキュメントとの差分を調査。
スポンサーリンク
タイトルとURLをコピーしました