小ネタ GoogleColab環境で日本語フォントをプロットする方法 Google Colaboratory環境で、可視化を行う際デフォルトだと日本語は文字化けする。 ローカル環境であれば、フォントをダウンロードして、パスを指定することで対応できるが、 あまり手間をかけずに、日本語フォントでプロットする方法をメモ。 2023.07.30 小ネタ
小ネタ Expecting property name enclosed in double quotesの対処法 Pythonライブラリのjsonはjson文字列をdictに変換できる一方で、若干癖がある。 2023.07.26 小ネタ
小ネタ ULIDに関するPythonライブラリが多すぎる ログを落としたり、固有のIDを発行する際にUUIDやULIDが使われることが多いが、Pythonで変換作業を行う際に、あまりにもライブラリが多かったので投稿。 2023.06.17 小ネタ
小ネタ Pandasで集合を計算する方法 Pandas(DataFrame)において、とあるIDの集合Aと集合BのANDやORを見たい時に、取得方法を毎回悩んでしまうので、やり方を整理。NdarrayとSetで扱う方法で整理する。 2023.05.27 小ネタ
小ネタ Jupyter Notebookの出力を短縮しない方法 Jupyter Notebookで大量データを読み込む場合、見切れてしまう。 初期の分析段階では目視でチェックを行いたい部分も多々あるため、対処方法を整理。 2023.04.22 小ネタ
小ネタ AWS Glueで作成したパーティションがAthenaで認識されない AWS Glueで既存のテーブルに対して書き込む場合、 additionalOptions = {"enableUpdateCatalog": True} write_dynamic_frame.from_catalog(他略, additional_options=additionalOptions) を用いることで対応できるはずが、実際AthenaでSHOW PARTITIONSをしても認識できなかった。 一方で、Clawlerを用いることでパーティションを認識はできた。 そこで公式ドキュメントとの差分を調査。 2022.09.04 小ネタ
小ネタ No module named ‘_bz2’ の対処方法 CentOS7(さくらVPS)においてPythonスクリプトで、pandasをimportした際に、 ModuleNotFoundError: No module named '_bz2' と出てきてしまった時の対処方法をメモ 2022.08.10 小ネタ
小ネタ スクレイピング時のtbodyの扱いに注意 スクレイピングの開発を行う際には、ブラウザのデバッグツールを使い、htmlの構造を解析しながら、コーディングを行うが、BeautifulSoup経由の場合、Xpathを正しく解釈できないケースに遭遇した。 2022.07.30 小ネタ
小ネタ EXCELでCSVファイルを読み込んだ際の文字化け対処法 PythonスクリプトやEditorでcsvファイルを作成し、Excelで読み込んだ際に、うまく解釈されないケースが出てきた。 いくつかパターンと原因があったので対処方法をメモ 2022.07.16 小ネタ
小ネタ 【Mac】矢印←↓↑→、隅付きカッコ【】、ニアリーイコール≒のショートカット方法 意外と使うことの多い、矢印←↓↑→、隅付きカッコ【】、ニアリーイコール≒ 「やじるし」や「きごう」で変化することもできるが、結構探すのが手間だったり、ユーザ辞書に登録するほどでもないのでやり方をメモ 2022.07.09 小ネタ