データ分析/最適化

シンボリック・リンクを用いた分析対象データの管理ノウハウとシェルスクリプト

技術研究所のまつけんです。

技術研究所 (技研) では、画像 (静止画) データや動画データを分析対象として扱います。その際、分析対象のデータを間違えて消してしまったり、書き換えてしまったりすると大変です。今回は、私が実践している「間違いが起きない仕組み」について紹介したいと思います。具体的には、

  • オリジナルファイルを入れたディレクトリは書き込み禁止にし、
  • その隣に作業用ディレクトリを作成し、
  • オリジナルと同じディレクトリ構造を作り、
  • オリジナルファイルへのシンボリック・リンクを作成

します。もちろん、手作業でも出来るのですが、オリジナルファイルが多数ある場合などには自動化しないと大変です。そこで本記事では、そのために作成した、複数のファイルやディレクトリを扱うシェルスクリプトと、その作り方も紹介します。

続きを読む

クレスコで10年続いたアドベントカレンダーを振り返る

この記事は 『CRESCO Advent Calendar 2020』25日目の記事です。

みなさんこんにちは。データテクノロジーセンターの飯村北海です。

今年度から正式にデータ分析に関する専門の部門ができました。
[PR]Tableauなどを活用したBI導入サービス[PR]データ分析に関するセミナーなどのサービスを提供しています。

もうすぐ2020年も終わりますね。今更語ることではありませんが、今年は歴史的な大きな変換点だったと思います。読者の皆様は快適なリモートワークができましたでしょうか?

今日のテーマはクレスコのAdvent Calendarについてです。

実は今年で10周年なんです。

続きを読む

Tableauと私 ~Tableauを軸に身につけたスキル#1~

この記事は『CRESCO Advent Calendar 2020』 23日目の記事です。

こんにちは、 つかじゅん です。

前回、Tableauをこれから始める方へ向け「Tableau使いになるために知っておきたい3つのこと」を投稿しました。

今回、Tableauを通して得られた「データ分析スキル」を中心に紹介したいと思います。

対象読者

  • 新しい分野に挑戦したいと考えている方
  • データ分析に興味があり、何か初めてみたいと思う方
  • データ分析で必要な技術スキルがイメージできない方

続きを読む

データサイエンス100本ノックをやろう(WindowsにDocker Desktop入れよう)

(この記事は「CRESCO Advent Calendar 2020」11日目の記事です。)

こんにちは、データテクノロジーセンターのn-satoです。

Pythonでデータ加工なんとなくやっているけどがっつりPandasとか駆使するってのはできない。そんなところに紹介?されたのが「データサイエンス100本ノック(構造化データ加工編)」。
実際にやってみたらとても歯ごたえある内容で、素晴らしい教材だと感じました。

本記事は私がデータサイエンス100本ノック(構造化データ加工編)の学習環境をDocker Desktopを用いて構築した経緯を記事にしたいと思います。

続きを読む

TableauのTrellis ChartでN x Mの格子を作りたい!

この記事は 『CRESCO Advent Calendar 2020』8日目の記事です。

みなさんこんにちは。データテクノロジーセンターの飯村北海です。

今年度から正式にデータ分析に関する専門の部門ができました。
[PR]Tableauなどを活用したBI導入サービス[PR]データ分析に関するセミナーなどのサービスを提供しています。

今日のテーマはBIツールであるTableauの Trellis Chart (格子チャート)です。

大抵の記事はN列 x N行の正方形タイプを説明していますが、N列 x M行の長方形タイプについて説明されたものが見つからなかったのでこちらで説明したいと思います。

続きを読む

「データ活用プロジェクト」ってどう進めれば良いの?と困っているあなたへ

こんにちは。データアナリティクスチームの【もりし】です。
今回はテクニカルな話ではなく、少しマネジメント目線の話をしたいと思います。

この記事は『CRESCO Advent Calendar 2020』  1日目の記事です。

データは重要な資源という意味で「新しい石油」と言われることがあります。
「各企業の中にデータという資源が眠っています。活用しないなんてもったいない!」
という言葉を聞いたことがある方もいるかもしれません。

私は企業のデータ活用を手助けする仕事を4年前にはじめました。
当初はエンジニアの立場、現在はエンジニアとマネジメントの中間くらいの立場で働いています。

そのような仕事の中で「データは石油のような資源とはちょっと違うな」と思うようになりました。
石油から精製されるガソリンの価値は「車に入れたら走行させることができる」ことにあり、誰でも知っています。
しかしデータは、そのデータを扱う人や企業それぞれにとって全く異なる価値となっています。

続きを読む

AlteryxでPDF帳票出力ができますか?

はじめに

Alteryxでできます!

はじめまして、データアナリティクスチームのohsakaです。
ビッグデータ時代の現在、データ量の肥大化とデータフォーマットの多様化が進んでいます。
データ分析を行うためには、必要なデータを収集後に整形・加工し、分析のための前処理を行う必要があります。
こうした前処理を含むデータの準備は、データプレパレーション(Data Preparation)と呼ばれます。
データ分析業務において、最も時間がかかる作業が、データクレンジングを含むデータの前処理です。
一般的に「データ解析の仕事の8割はデータプレパレーション」と言われており、簡易化が望まれています。

本記事では、代表的なデータプレパレーションツールである「Alteryx」の、データの前処理と帳票出力機能を検証します。

続きを読む

数理最適化のすゝめ

こんにちは、サービスデリバリーセンターのハガーです。

この記事は 『CRESCO Advent Calendar 2019』  13日目の記事です。

今回は最近私が仕事で行っている「数理最適化」について書きたいと思います。デジタルトランスフォーメーション(DX)による業務最適化への意識の高まりや、量子コンピューティングへの期待からか、「数理最適化」についても最近注目されつつあります。

数理最適化とは

「数理最適化」とは「ある制約が存在する中で、数ある答えの中から最も良いものを見つける」ための手法になります。昔からオペレーションズ・リサーチなどの分野で研究されてきました。

「数理最適化」が適用できる対象にはいくつか種類があるのですが、よく示されるのは以下のようなものです。

続きを読む

Tableauのテスト自動化をSeleniumだけでやりたかった(が、Tableau JavaScript APIも必要でした)

この記事は 『CRESCO Advent Calendar 2019』7日目の記事です。

みなさんこんにちは。データアナリティクスチームの飯村北海です。

今年度も変わらず[PR]データ分析をやっていて、データ分析に関するセミナーを組織として2つ、「データ分析仕事はじめ」と「データ分析基礎 Tableauハンズオン」を開催することができました。

この準備などに追われてしまい、今年に入ってエンジニアブログを全く書いていない…ということに気づきました。ということで頑張って12月のアドベントカレンダーで何本か書きたいと思います!

書きましたので2本目です。さて、今日はTableauのテスト自動化について書きたいと思います。

続きを読む

Tableau ServerでAWS CognitoとOpenID Connectを構成する

こんにちは、サービスデリバリーセンター(SDC)のn-satoです。

この記事は「CRESCO Advent Calendar 2019」の6日目の記事です。

Tableau ServerへのログインをAWS Cognito(以下Cognito)のホストUIを用いてOpenID Connectを構成する機会があったのでその時の実装を書いておこうと思います。

OpenID Connect認証連携はTableauのヘルプに導入要件や手順が書いてあるのでそれを参考にします。

※Tableau Server 2019.3で実施してます。

やること

  • Tableau Serverにユーザーを作成
  • Cognitoにユーザープールを作成
  • Tableau ServerとCognitoを連携する
  • ログインする

続きを読む