Python初心者でも”スクレイピング”で楽をしたい!

この記事は『CRESCO Advent Calendar 2020』 13日目の記事です。

はじめまして!
まりもです。

クレスコエンジニアブログ初投稿です!(皆様お手柔らかに…)
先に言い訳を並べますが、私は文学部を卒業し、現在営業職に就いています。
間違いなく他のブロガーの皆様よりもITには疎めなタイプの人間です…。

そんな私でも“楽をしたい!”の思いを胸に今回プログラミングにチャレンジしてみました!


私は情報収集のために定期的に色々なサイトをチェックしているのですが、
「複数のサイトを一通り確認したものの何も更新がなかった」
という日がちょこちょこあったりします。(激萎え)

そこで今回は、pythonを使って
サイトの更新有無を確認するソースを書いてみようと思います。
(ゆくゆくは更新情報をメール通知するツールを作りたい…!)

続きを読む

AWS X-Ray で診る – Lambda での X-Ray の活用 –

(この記事は「CRESCO Advent Calendar 2020」12日目の記事です。)

どうも、ちゃんかわです。

今年のアドベントカレンダーでは、AWS X-Ray の紹介をします。
実際にアプリケーションを動かしながら、X-Ray の活用方法を見ていきたいと思います。

AWS X-Ray とは

AWS X-Ray は、アプリケーション(以下アプリ)の分析やデバックを行うことができる AWS のサービスです。特徴は、アプリ全体の動きをトレースすることができる点で、ユーザのリクエストに対してエンドツーエンドでの分析が可能です。

似たようなサービスに Amazon CloudWatch があります。CloudWatch は各 AWS サービスのログの管理やリソースのメトリクス監視を通じて、アプリの動きを個々の単位で見ることができます。

一方で X-Ray は、アプリをサービスマップと呼ばれるグラフから全体のパフォーマンスを捉えることができ、各リソースのレイテンシーの検出や障害の発生率の特定など、アプリを 「診る」 ことができます。

続きを読む

Pythonで大量の画像ファイルをExcelに貼り付け

こんにちは、技術研究所の山﨑です。

ブログ初投稿!

さて、私は深層学習を活用した画像処理など行っておりますが、検証結果で大量の画像のアウトプットがあります。それらを検証結果のまとめとしてExcelに貼り付けたりするのですが、一つ一つ画像ファイルを挿入するのが・・・メンドイ。

そこで、指定したディレクトリ内の画像ファイルをすべてExcelに貼り付けるプログラムを、Pythonで作ってみました。

貼り付け要件

  • 指定したディレクトリ内の画像をすべて貼り付け
  • 指定したディレクトリにサブディレクトリがある場合、サブディレクトリ内の画像も再帰的に検索して貼り付け
  • Excelに画像を貼り付ける際、ディレクトリ毎に縦に並べて配置
  • Excelに画像を貼り付ける際、画像の大きさがまちまちでも、それぞれが重ならないようにセルの大きさを調整

続きを読む

座標データからSVGファイルを出力する

技術研究所のまつけんです。

前回の続きです。前回は、東京近郊の路線図を (根性で) 隣接行列に変換したものを自動で路線図 (SVGファイル) に戻し、確認作業をしました。その結果、少なくとも3か所の誤りが見つかりました。それがどこだったかと言いますと、
・尾久駅が無い
・海芝浦駅が必要ない
・新宿駅-西国分寺駅が接続されていない
でした。

続きを読む

Pythonで動画のkeyframeのindexを取得してみた

こんにちは。技術研究所の910です。
先日弊社にて開催いたしましたオープンハウスでは、動画を活用した研究に関する発表をさせていただきました。

なので今回は動画にフォーカスを当てて、動画に含まれるkeyframeのindexの取得を試してみました。
keyframeについてはこちらの記事に分かり易くまとめてくださっています。


1. 環境、データ

  • 環境

  • データ
    検証に使わせていただいたデータは、Pixabayにて公開されているこちらの動画になります。
    こちらのファイルをFireworks – 348.mp4として使いました。

続きを読む

venvで作った仮想環境で、TensorFlowのObject Detection APIを試してみた(学習 ~ 検出迄)

こんにちは。技術研究所の910です。
今回は少々今更感がありますが、TensorFlowに実装されたTensorFlow Object Detection APIを試してみようと思います。

…とは言ったものの、How to train your own Object Detector with TensorFlow’s Object Detector APIに丁寧に手順がまとめられていますので、詳細なやり方についてはこちらの記事をご覧になるのが良いかと思います。
なのでこの記事では、このAPIを使うことで、どれだけ簡単に物体検出を試せるのかをご覧いただければと思います。

作業環境

続きを読む

Python3でCaffeの環境構築をやってみた

技術研究所のYKです。 今回、新たにGPU環境を構築する必要が生じたので、そのついでにPython3でのCaffe環境構築を試してみました。 以前もCaffeの環境構築を行いましたが、その時には、情報がより多く出回っているという理由からPython2.7を使用して環境構築を行いました。
しかし、普段の業務やプライベートではPython3系を使っている為、どうせならPython3系を使ってやってみよう!と思い立ったのがキッカケです。 Python2.7での環境構築では手間取らなかったようなところで手間取ったので、(私自身の備忘の為にも)試行錯誤した結果をメモしておきます。

続きを読む