小ネタ Pandasで集合を計算する方法
Pandas(DataFrame)において、とあるIDの集合Aと集合BのANDやORを見たい時に、取得方法を毎回悩んでしまうので、やり方を整理。NdarrayとSetで扱う方法で整理する。
noda
小ネタ 
小ネタ Jupyter Notebookの出力を短縮しない方法
Jupyter Notebookで大量データを読み込む場合、見切れてしまう。
初期の分析段階では目視でチェックを行いたい部分も多々あるため、対処方法を整理。
技術 AWS lambdaでAthenaをETLする環境構築
AWS lambdaでAthenaを実行する際boto3での実行はデフォルトで可能だが、dataframeでの加工や処理を行いたくなるケースがある。
自前でレイヤーを作る方法は以前にも紹介したが、いくつかハマったポイントがあったのでメモ。
技術 さくらVPSでSSH公開鍵認証を設定する
SSH接続の際、パスワード認証だけの場合、ブルートフォース(総当たり)攻撃で簡単に突破される可能性がある。実際、さくらVPSを導入した当初、外部からのアクセス試行が何千回と発生していた。
IPで制限したり、N回失敗で無効化にする方法もあるが、今回はより堅牢な方法として公開鍵認証を導入する。
技術 CentOS7でBasic認証をかける方法
Webページを開発している際に、公開を防ぐためにBasic認証を導入する方法をメモ。
AWSやGCPだとネットワーク設定をインスタンス外からできるが、今回はサーバー内での設定を想定。
またroot権限操作が可能なサーバを想定。
技術 SSH時のclient_loop: send disconnect: Broken pipeの対処方法
さくらVPSにSSH接続する際に
client_loop: send disconnect: Broken pipe
が頻発してしまったので対応方法をメモ
技術 AWS lambdaでPythonカスタムレイヤーを作成する
AWS lambdaのPythonにおいて標準ライブラリ以外のモジュールを使う場合、
・lambdaパッケージ内にライブラリを内包させる
・外部からカスタムレイヤーを含める
というやり方があるが、lambdaを複数登録して運用する場合、都度パッケージ内にライブラリを含めるのは手間である。特にバージョンアップをする際には改修コストが大きい。
そこで、カスタムレイヤーの利用方法を整理する。
iidx beatmania iidx 統計調査(SP皆伝編) CastHour最終版
CastHour終了時点のbeatmania iidxのsp皆伝取得者の統計情報をレポート。
アリーナも第7回までの結果を取り込んでいます。
iidx beatmania iidx 統計調査(SP中伝編) CastHour最終版
CastHour終了時点のbeatmania iidxのsp中伝取得者の統計情報をレポート。
アリーナも第7回までの結果を取り込んでいます。
iidx beatmania iidx 統計調査(SP9段編) CastHour最終版
CastHour終了時点のbeatmania iidxのsp9段取得者の統計情報をレポート。
アリーナも第7回までの結果を取り込んでいます。