aws

スポンサーリンク
勉強

AWS: Solution Architect Professional合格体験記

GCPのProfessional Cloud Architectに引き続きAWSのSolution Architect Professionalにも合格できたので、概要と合格までの進め方を共有します。
技術

AWS lambdaでAthenaをETLする環境構築

AWS lambdaでAthenaを実行する際boto3での実行はデフォルトで可能だが、dataframeでの加工や処理を行いたくなるケースがある。自前でレイヤーを作る方法は以前にも紹介したが、いくつかハマったポイントがあったのでメモ。
技術

AWS lambdaでPythonカスタムレイヤーを作成する

AWS lambdaのPythonにおいて標準ライブラリ以外のモジュールを使う場合、・lambdaパッケージ内にライブラリを内包させる・外部からカスタムレイヤーを含めるというやり方があるが、lambdaを複数登録して運用する場合、都度パッケージ内にライブラリを含めるのは手間である。特にバージョンアップをする際には改修コストが大きい。そこで、カスタムレイヤーの利用方法を整理する。
小ネタ

AWS Glueで作成したパーティションがAthenaで認識されない

AWS Glueで既存のテーブルに対して書き込む場合、additionalOptions = {"enableUpdateCatalog": True}write_dynamic_frame.from_catalog(他略, additional_options=additionalOptions)を用いることで対応できるはずが、実際AthenaでSHOW PARTITIONSをしても認識できなかった。一方で、Clawlerを用いることでパーティションを認識はできた。そこで公式ドキュメントとの差分を調査。
スポンサーリンク