小ネタ GoogleColab環境で日本語フォントをプロットする方法
Google Colaboratory環境で、可視化を行う際デフォルトだと日本語は文字化けする。
ローカル環境であれば、フォントをダウンロードして、パスを指定することで対応できるが、
あまり手間をかけずに、日本語フォントでプロットする方法をメモ。
python
小ネタ 
小ネタ Expecting property name enclosed in double quotesの対処法
Pythonライブラリのjsonはjson文字列をdictに変換できる一方で、若干癖がある。
技術 Cannot subtract tz-naive and tz-aware datetime-like objectsの対処方法
PythonのDataFrameでdatetime同士の計算をしていた際に
Cannot subtract tz-naive and tz-aware datetime-like objects
が出てきてしまった時の対処方法をメモ
小ネタ ULIDに関するPythonライブラリが多すぎる
ログを落としたり、固有のIDを発行する際にUUIDやULIDが使われることが多いが、Pythonで変換作業を行う際に、あまりにもライブラリが多かったので投稿。
小ネタ Pandasで集合を計算する方法
Pandas(DataFrame)において、とあるIDの集合Aと集合BのANDやORを見たい時に、取得方法を毎回悩んでしまうので、やり方を整理。NdarrayとSetで扱う方法で整理する。
小ネタ Jupyter Notebookの出力を短縮しない方法
Jupyter Notebookで大量データを読み込む場合、見切れてしまう。
初期の分析段階では目視でチェックを行いたい部分も多々あるため、対処方法を整理。
技術 AWS lambdaでAthenaをETLする環境構築
AWS lambdaでAthenaを実行する際boto3での実行はデフォルトで可能だが、dataframeでの加工や処理を行いたくなるケースがある。
自前でレイヤーを作る方法は以前にも紹介したが、いくつかハマったポイントがあったのでメモ。
技術 AWS lambdaでPythonカスタムレイヤーを作成する
AWS lambdaのPythonにおいて標準ライブラリ以外のモジュールを使う場合、
・lambdaパッケージ内にライブラリを内包させる
・外部からカスタムレイヤーを含める
というやり方があるが、lambdaを複数登録して運用する場合、都度パッケージ内にライブラリを含めるのは手間である。特にバージョンアップをする際には改修コストが大きい。
そこで、カスタムレイヤーの利用方法を整理する。
技術 CentOS7+Python+ChromeでSeleniumをセットアップ
CentOS7+Python+Chromeを用いてSeleniumをセットアップする