技術 AWS lambdaでAthenaをETLする環境構築 AWS lambdaでAthenaを実行する際boto3での実行はデフォルトで可能だが、dataframeでの加工や処理を行いたくなるケースがある。 自前でレイヤーを作る方法は以前にも紹介したが、いくつかハマったポイントがあったのでメモ。 2023.02.26 技術
技術 AWS lambdaでPythonカスタムレイヤーを作成する AWS lambdaのPythonにおいて標準ライブラリ以外のモジュールを使う場合、 ・lambdaパッケージ内にライブラリを内包させる ・外部からカスタムレイヤーを含める というやり方があるが、lambdaを複数登録して運用する場合、都度パッケージ内にライブラリを含めるのは手間である。特にバージョンアップをする際には改修コストが大きい。 そこで、カスタムレイヤーの利用方法を整理する。 2022.12.16 技術