小ネタ

スポンサーリンク
小ネタ

GoogleColab環境のgraphvizで日本語フォントをプロットする方法

GoogleColab環境でgraphviz形式の出力自体は簡単に出力できるものの文字化けするケースがあるので実行方法を整理
小ネタ

GoogleColab環境で日本語フォントをプロットする方法

Google Colaboratory環境で、可視化を行う際デフォルトだと日本語は文字化けする。ローカル環境であれば、フォントをダウンロードして、パスを指定することで対応できるが、あまり手間をかけずに、日本語フォントでプロットする方法をメモ。
小ネタ

Expecting property name enclosed in double quotesの対処法

Pythonライブラリのjsonはjson文字列をdictに変換できる一方で、若干癖がある。
小ネタ

ULIDに関するPythonライブラリが多すぎる

ログを落としたり、固有のIDを発行する際にUUIDやULIDが使われることが多いが、Pythonで変換作業を行う際に、あまりにもライブラリが多かったので投稿。
小ネタ

Pandasで集合を計算する方法

Pandas(DataFrame)において、とあるIDの集合Aと集合BのANDやORを見たい時に、取得方法を毎回悩んでしまうので、やり方を整理。NdarrayとSetで扱う方法で整理する。
小ネタ

Jupyter Notebookの出力を短縮しない方法

Jupyter Notebookで大量データを読み込む場合、見切れてしまう。初期の分析段階では目視でチェックを行いたい部分も多々あるため、対処方法を整理。
小ネタ

AWS Glueで作成したパーティションがAthenaで認識されない

AWS Glueで既存のテーブルに対して書き込む場合、additionalOptions = {"enableUpdateCatalog": True}write_dynamic_frame.from_catalog(他略, additional_options=additionalOptions)を用いることで対応できるはずが、実際AthenaでSHOW PARTITIONSをしても認識できなかった。一方で、Clawlerを用いることでパーティションを認識はできた。そこで公式ドキュメントとの差分を調査。
小ネタ

No module named ‘_bz2’ の対処方法

CentOS7(さくらVPS)においてPythonスクリプトで、pandasをimportした際に、ModuleNotFoundError: No module named '_bz2'と出てきてしまった時の対処方法をメモ
小ネタ

スクレイピング時のtbodyの扱いに注意

スクレイピングの開発を行う際には、ブラウザのデバッグツールを使い、htmlの構造を解析しながら、コーディングを行うが、BeautifulSoup経由の場合、Xpathを正しく解釈できないケースに遭遇した。
小ネタ

EXCELでCSVファイルを読み込んだ際の文字化け対処法

PythonスクリプトやEditorでcsvファイルを作成し、Excelで読み込んだ際に、うまく解釈されないケースが出てきた。いくつかパターンと原因があったので対処方法をメモ
スポンサーリンク