Jupyter Notebook

Jupyter Notebookで動画とか扱ってたらTrashが溢れた話

技術研究所のまつけんです。

技術研究所(技研)では、画像処理や機械学習のプロジェクトを幾つか進めています。それらの処理をするために、サーバ (ゲーミング・デスクトップPC + Ubuntu Linux) を2台ほど運用しているのですが、今般、その /home が溢れてしまいました。こんな感じです:

昨日の夕方から130 GBも増えていたので、何事かと調べたところ、各自の ~/.local/share/Trash/files/ が凄い容量になっていました。調べてみたところ、Jupyter Notebook 上で GUI で削除したファイルは削除されるのではなく、全てこちらの ‘Trash’ に移動されるようです。

というわけで今回は、各自の Trash を整理した話と、再発防止策として、各自の Trash を定期的に削除するようにしたことについて書きたいと思います。UNIX/Linux システムで /home (に限らず、他のストレージについても) が溢れた場合の調査法や対処法について知りたい方は参考にしてください。

続きを読む

gophernotesを使ってみる

こんにちは。技術研究所の910です。

私は主にPythonでコードを書くことが多いのですが、その際には一度Jupyter Notebookで短いコードを書いて動かしてみてからモジュールに実装する、というやり方を取っています。
コードを共有するのも楽ですし、Markdownで書いたメモも一緒に共有できるので、好んで使っています。

最近ふつふつと新たな開発言語を学びたい欲が湧いてきたので、Golangを学ぶことにしました。
そこでNotebook用のGoカーネルを探してみたところ幾つか見つかりましたので、試してみました。

本記事はかなり短い記事となっていますので、かるーく読んでいただければ幸いです。

続きを読む

Pythonで動画のkeyframeのindexを取得してみた

こんにちは。技術研究所の910です。
先日弊社にて開催いたしましたオープンハウスでは、動画を活用した研究に関する発表をさせていただきました。

なので今回は動画にフォーカスを当てて、動画に含まれるkeyframeのindexの取得を試してみました。
keyframeについてはこちらの記事に分かり易くまとめてくださっています。


1. 環境、データ

  • 環境

  • データ
    検証に使わせていただいたデータは、Pixabayにて公開されているこちらの動画になります。
    こちらのファイルをFireworks – 348.mp4として使いました。

続きを読む