縦持ち／横持ちデータの考察〜Tableauの最適なデータ構造を探る〜

• 1 はじめに

この記事は『CRESCO Advent Calendar 2021』の18日目の記事です。

みなさんこんにちは。データテクノロジーセンターの飯村北海です。

昨年度からできた部門で引き続き、[PR]Tableauなどを活用したBI導入サービスを提供しています。

もうすぐ2021年も終わりますね（昨年も書いた気がする…）。アドベントカレンダーのシーズンです。今年はあっという間の2021年でした。IT業界の皆様は今年も引き続き、リモートワークをされていた皆様が多かったのではないでしょうか？

私は数年ぶりに引っ越しをしました。第2子が生まれたことで住んでいた家が手狭になったことや、リモートワークがなかなか難しい環境だったこともあり、本格的なリモートワークに向けて引っ越しをしました。今は環境も整いそれなりに快適に仕事ができるようになりました。しかし、これから本格的にテレワークを始めるぞ！というのは今更かもしれません…

さて、今日の記事はデータ可視化に重要なデータ構造の話を取り上げたいと思います。

この前、Tableauのダッシュボードを作る時にとある人から「どういうデータでTableauのダッシュボードを作ればよいのかわかりにくい」という相談を受けました。エクセルでグラフを作るときは手元でデータを加工しながらつくりますが、Tableau Desktop （や、Server／OnlineのWeb編集自体の機能）ではその場でデータ構造を大きく変えることはできません。

データ加工をしたい場合はTableau Desktopが参照するデータに対して別なツールを用意して加工します。Tableau社でもTableau Prep Builderと呼ばれるPCで動作可能なGUIのツールを提供しており、それを使えば（機能上の制約や限界はありますが）加工が可能です。事前に使用するデータ構造を意識できると、自分が表現したいダッシュボードを作りやすくなります。

また、とあるTableauのダッシュボード作成プロジェクトに参画したのですが、そこで定義されているDBのテーブル定義ではTableauでやりたいことができなかったのでデータ加工が大変だった、という話も聞きました。

そこでTableau に不慣れな人が「どういうデータ構造でどういうチャートを作らないといけないかがイメージしにくい」のでその課題を解決するべく、イメージを持ってもらえるようにサンプルを代表的なデータ構造とともに提示したいと思ったのが今回のテーマの発端です。

データ構造に言及した記事は過去にも他の社員や私がエンジニアブログで書いています。

• Tableau使いになるために知っておきたい3つのこと
• Tableauと私 ～Tableauを軸に身につけたスキル#1～
  「つかじゅん」さん
• データ分析者を困らせるためのデータの作り方
  吉野さん
• シンプソンパラドックスの可視化を3手法で【Excel／BI／R】
  飯村（私です）

ここではもう少し掘り下げて見ていきたいと思います。
※以降で取り扱うデータ構造は行と列で表現ができる構造（key-valueなどではなく、データフレーム）を前提とします。
JSONやリストや音声、画像データなどの非構造化データは対象としません。

いわゆる縦持ち・横持ちデータと呼ばれるデータはなんなのか？ということを考えてみたいと思います。
今回、縦持ち・横持ちのデータ構造の記事を書くにあたりいろいろと調べてみましたが、なかなか定義が難しく、結論から言うと、処理上で縦に長くなるデータ、横に長くなるデータとしか言いようがないなぁということになりました。
もう少し補足すると、データを新規に追加する意図がある場合にその方向が縦であれば縦持ちデータ、横方向なら横持ちデータと言えるのではないでしょうか。
縦持ちデータ・横持ちデータそれぞれについて簡単にまとめてみました。これはデータベースで設計される時の構造も含んでいます。

表1. 縦持ち、横持ちデータの特徴

※ tidy dataについては後述します

横持ちデータを下記の具体的なサンプルデータで確認してみます。

表2. 年月が横に並ぶデータ1

※Tableauのサンプルスーパーストアより加工

こちらのデータは横に年月が伸びていくデータです（2021年の1月から12カ月分あります）、数値が含まれているものは3行12列、36セルあります。1行目が売上、2行目が利益、3行目が利益率となっています（Wordpressの幅の都合上、右側が切れています。スミマセン）。
販売数量や原価、といった項目を縦に伸ばすというよりは年月で3つの値を横に増やしていく特性が強いデータ構造になっていると思います。
※なので、次にデータが増えるなら2022年1月の売上、利益、利益率が追加されることになるでしょう。

表3. 年月が横に並ぶデータ2

※Tableauのサンプルスーパーストアより加工

こちらのデータは横にサブカテゴリを並べているデータです、数値が含まれているものは4行17列、68セルあります。1行目から下に四半期ごとの売上となっています（こちらも右側が切れています）。こちらも四半期なのでどちらかと言えばサブカテゴリが増えればその項目ごとに売り上げを横に伸ばしていくことになるデータと言えるでしょう。

表4. 試験を実施して横に受験者が並ぶデータ

※独自に作成

こちらのデータは5名の受験者が国語数学理科社会英語の5教科を受験した結果の得点データです。数値が含まれているものは5列5行、25セルあります。主要5教科に対して、受験者が6名いることになりますが、こちらも同様にデータの増え方としては6人目、7人目と横に伸びて表示されることになるデータとなるでしょう。

これらの横持ちデータを実際にご覧になってどのように感じるでしょうか？メリットにも書いたようにデータが理解しやすい構造になっていると思います。（量にもよりますが）そのままエクセルに貼り付けて報告もできそうです。

一方で、例えば年月のデータセットを取り上げた時に、エクセルなどで列の合計を算出した後で、新しく一番右側の列にデータを追加した場合は項目数が追加されるので（SUM関数などで範囲を指定した場合は合計の範囲が変える必要があるので）都度手直しをする必要があるかもしれません。

縦持ちデータの説明をする前に、クロス表のデータについて取り上げます。

横持ちデータに少し似ていますが、クロス表は横持ちデータの構造とはまた別なのではないかと思い、別の種類としてセクションを分けました。下記の2種類のデータを見てみましょう。

表5. 曜日が横に並ぶデータ

※港区のゴミ収集カレンダーより作成（港南1〜5丁目エリア）

こちらは横に曜日、縦に週数（週2の月が2021年1月2日）で表示されたデータです。7列11行77セルあります。こちらは数値ではなく、属性が入っています。

こちらは横に地方、縦に四半期で集計されたデータです。数値が含まれているものは8列4行32セルあります。

一見、縦や横にデータが増やせそうで、それぞれ縦持ちデータ、横持ちデータと呼べそうです。しかし、列や行の項目をよく見てみると「週数」や「曜日」の列、「四半期」の値はそれぞれ1週〜52週（もしくは53週）、日〜土、1Q〜4Qと繰り返す項目であったり、「地方」の列はリストで事前に定義可能な有限の項目です。なのでデータを追加していくというよりはその項目で完成されたデータという特性で縦持ちデータ、横持ちデータと別の役割を持つのではないかと思います。クロス表データが作成される背景としては行や列の項目の観点で値を集計する目的が多く「クロス集計表」と呼ばれる方が多いのですがこの記事ではクロス表データと呼びます。

横持ちデータもクロス表データも、人が見て全体がわかりやすいことが特徴です。また、横持ちと同様に保持しているデータそのままで使う（印刷など）ことができること、（数値であれば）列同士を加算すれば合計を作成できる構造になっています。

一方で縦持ちデータの例ですが、前述してきた横持ちデータを縦持ちデータにした場合は下記となります。

※最初の10行のみ表示しています。

表6.「年月が横に並ぶデータ1」を縦持ちにしたデータ

表7. 「年月が横に並ぶデータ2」を縦持ちにしたデータ

表7. 「試験を実施して横に受験者が並ぶデータ」を縦持ちにしたデータ

表8. 「曜日が横に並ぶデータ」を縦持ちにしたデータ

これらの縦に長いデータは途中で省略していますが、かなり縦に長くなっていくため、視認性が下がります。しかし、例えば表7を例にすると、音楽や美術など新しい科目を新たに追加したい場合には、行を追加するだけなので簡単にデータを（定義として）追加することができます。

一方で横持ちデータの場合（表4）は列として一番右側に追加する必要があるため、表1の特徴で説明したように行単位で加算する計算はしやすいものの、列が追加されるたびに加算対象の列に追加される列を加える修正をしなければなりません（縦持ちデータの場合は不要です）。

1番目のサンプルで先月との差分（先月比）を出したい、という時には横持ちデータの方が計算はしやすいでしょう。

データ分析（データサイエンス分野）をする上で言及しておくべきデータ構造があります。Tidy data（日本では整然データと呼ばれることが多い）と呼ばれるものです。
この概念は2014年にニュージーランド出身のHadley Wickham（ハドリー・ウィッカム）によって提唱されました。

初出の論文はこちらのリンクから読むことができます。同様の文章はこちらのリンクからも確認ができます（いずれも英語）。
こちらの定義によれば、Tidyなデータとは下記を満たすものです。

1. Every column is a variable. （各列は一つの変数を表す）
2. Every row is an observation. （各行は一組の観測値を表す）
3. Every cell is a single value. （各セルは一つの値を表す）

とあります。Tidy data自体の解説は色々な方々がされているのでここであまり詳しくは書きませんが、説明したいと思います。

ここで下記のようなデータ構造を見てみましょう。先ほどのゴミ収集カレンダーに手を加えたものです。月曜日に粗大ゴミを追加したデータです。

表9. ゴミ収集カレンダーに粗大ゴミを追加したデータ

ここで、1つ目の定義である「Every column is a variable.」を取り上げます。各列は曜日となっていますが、よく考えてみればこのデータは各日付に対して収集するゴミの種類を記載しているもので、曜日で横に並べているのは人が見てわかりやすくしているだけに過ぎません。各日に対して、何を収集するかが記載されていれば良いので次のようになるでしょう（第2週までにデータを減らしました）。

表10. 週数、曜日、種類に変更したゴミ収集カレンダーデータ

これで1番目の定義「Every column is a variable.」を満たすことができます。ちなみに表9の状態では「Every row is an observatrion.」という定義も満たしていませんでした。1行取り上げた時に日〜土で7つのデータが観測されてしまうことになります。これでは2番目の定義は満たせません。縦に並べることで1行（1つの観測）で1つの日付のデータが表現されるようになっています。

次に、月曜日を取り上げます。これは1つのセルに可燃ゴミと粗大ゴミの2つの値（属性）が入っていることになるため、3番目の定義である「Every cell is a single value」を満たしていません。3番目の定義も満たすようにデータを変えると下記のようになります（赤字が変更箇所）。

表11. 3つの定義を満たしたデータ

値の変更はされていますが、行数でいうと、月曜日の行が2行増えたことになります。

上記の状態がtidyなデータと言えます。

※このデータの例では種類が唯一の値の列として作成されていますが、観測時の観点（意図）によっては後述（表12）のような2種類の値の状態でtidyなデータとすることもあるようです。詳しくは前述の論文を参照して下さい。

さて、一通りデータ構造の説明をしたところで、実際にTableauでどのようなグラフが作成できるか見ていきましょう。データ構造が変わると作成できるTableauのグラフが変わっていくはずです。もちろん、工夫すれば同じように作れるものもありますが、少しづつ変わっていく差を見ていきましょう。

用意したデータは下記のディメンションとメジャーを含むデータで作っていきます。Tableauに付属しているスーパーストアから作成しています。データ構造によって列名が変更されていることがありますが、基本的には値は必ず網羅されています。

• オーダー年月（2021年1月〜2021年12月）
• 顧客区分（大企業／小規模事業所／消費者）
• 区分（売上／利益）

• 売上
• 利益

用意したデータセットは下記の通りです。データを見てみればどういう構造になっているかわかると思います。

• 縦持ちデータ1
• 縦持ちデータ2
• 横持ちデータ1
• クロス表データ1
• クロス表データ2

表12. 縦持ちデータ1（抜粋）

表13. 縦持ちデータ2（抜粋）

表14. 横持ちデータ（抜粋）

表15. クロス表データ1（抜粋）

表16. クロス表データ2（抜粋）

作成するグラフは下記の通りです。大体Tableauで作成する主要なものを挙げてみました。

• 数表
• 折れ線グラフ
• 帯グラフ
• 棒と線の複合グラフ
• 円グラフ
• ツリーマップ

下記のルールでグラフを作っていくことにします。下記にないものはいい感じに。ということで…

• よく使いそうなグラフ表現を作成する
• できる限りマークを使用してわかりやすい表現でグラフを作成する
• Tableau Desktop上でピボットはしない（データ構造の前提が変わってしまうので）
• 計算フィールドは作っても良い
• できる限り書式はそのまま（一部見やすくしたり、試行錯誤の中で色が変化した場合は変更しています）
• 作れなかったら作れるところまで頑張る

まずは一番簡単な数表を作成してみたいと思います。数表は一見簡単に見えるのですが、可視化をするのが得意なTableauは数表を作るのが実は苦手だったりします。もちろん今回は昨対比などの計算をしないものなので、そこまで難しくありません。

いずれのデータセットも作ることができました。ただし、クロス表データ1（図4）は区分と顧客区分が混ざっている（データ構造上、2段（2行）になっているため、Tableauのデータインタープリタ機能を使用しています。）ので区分と顧客区分が2つのヘッダーで整理されているわけではありません。文字の順序でソートされるので今回の数表は作成できますが、顧客区分の昇順などで作るのは難しいでしょう。

次はよく使われる折れ線グラフです。オーダー年月があるので、こちらの時系列として作成します。どのデータセットもシンプルなものは一応作れるのですが、顧客区分で色分けできないデータセットがありました。列名として値を持っていると区分にはならないので色分けすることができません（図10と図12）。

また、顧客区分が横に伸びているデータのため、クロス表はなかなか苦しいところです（図11と図13）。縦持ちデータ2は値をそのまま使うか、売上と利益に分割して使うかによって金額の軸が同じになったりならなかったりします（図7と図8）。

3つ目は帯グラフです。棒グラフは折れ線グラフとほぼ同じなため、こちらのグラフを作成してみます。売上&利益を区別する要素があれば良いのですが、クロス表データ1はそれがないため、売上&利益を並べて表示、かつ、顧客区分で色分けができません（図17と図18、図19、図20）。

また、横持ちデータはメジャーバリューのそれぞれの列を積み上げて作成しているため、顧客区分毎の合計として表現するのは難しいかもしれません（図16。ツールヒントなどで工夫すれば出せると思います）。

Tableauで最も使われる（？）グラフではないでしょうか。通常であれば二重軸の機能を使用して棒グラフと折れ線グラフで2種類のメジャーを表示することになります。クロス表はどちらも先ほどの帯グラフと同様に顧客区分を区別することが難しいので、単純な売上と利益の合計を表示したものになります（図25と図26）。

また、横持ちデータは全ての年月データ列がメジャーとして扱われるため、二重軸に必要な2つの列を選択することができません（図24）。また、売上と利益の二重軸を指定するためにそれぞれを区分別に算出して、1月から12月までの列同士を合算してしても今度は年月要素がなくなるため、全期間の売上と年月の二重軸となってしまい、年月の推移を表現することができません。

英語ではパイ（お菓子）チャートと呼ばれる円グラフです。全体における占有率を示すのに最適なグラフです。パイから切り分けられた1ピースだけ（ディメンションの値が2つ）が望ましいと言われていますが、今回のディメンションの値は大企業、小規模事業所、消費者の3つです。今回はサンプルですし大目に見てください。

顧客区分別に色分けして出したいため、顧客区分の列を持たないクロス表データ1とクロス表データ2は作成できませんでした（図30と図31）。

Tableauであればツリーマップも容易に作成でき、全体のなかでどのディメンションが大きな割合を占めているかをひと目で明らかにする（そしてその内訳もわかるようになる）グラフです。

いずれもオーダー年月別、顧客区分別に作ることはできましたが、データセットによっては集計単位がどうしても期待する粒度で集計することができず、凡例（補足説明）が無いと誤解を生むグラフもありました（図34、図35、図36）。

さて、これまで作成してきたグラフをデータ構造ごとにまとめしてみました。すぐ作成できるものは●、一部作れるが完全ではないものは▲、作れなかったものは×の評価をしています。

今回は筆者がTableauで各グラフを実装しましたが、もしかしたら作れないと書いたものの、工夫すれば作れたかもしれません。しかし、それはその時点でかなり手間がかかるということだと思いますので評価としては低い評価ということにしておきたいと思います…

表17. 各データ構造からTableauでグラフの評価を評価した表

上記*の説明

1. 表記制限あり
2. 売上と利益の軸が異なる
3. 売上と利益の軸はどちらでも作成できる
4. 売上と利益の軸が同じ
5. 顧客区分で色分けできない。
   各フィールドを使用すると色分けできるが、売上ごと、利益ごとで表示ができない
6. 顧客区分で色分けできない
7. 顧客区分内で分割されている
8. 売上と利益を併記する場合は顧客区分で色分けできない。
   顧客区分で色分けする場合は売上と利益を併記できない
9. どちらかしか表現できない
10. オーダー年月ごとに利益が集計できない

これらを見ていただくと、縦持ちデータがいかにTableauで表現するのに使いやすいかがご理解頂けたかと思います。横持ちデータやクロス表データでもある程度のグラフは作れますが、制約があったり、計算フィールドを駆使して作らなければいけなかったり、そもそも期待する表示ができなかったりということがわかるでしょう。

では、何でもかんでも縦持ちで、特に1列にのみ値が格納されているデータ構造にしておくか！というとそうでもありません。

例えば、予算に対する実績、その達成率を出したいという状況になった時に考えられるデータ構造は下記の2通りあります。2つ目のようなデータ構造では列同士を計算することができないので、行ごとに計算ができるかどうかを検討しなければなりません。

これまで見てきたように、データ構造は様々であることと、その中でもTableauで表現するのに適したデータ構造は縦持ちであるものの、表現したい目的によっては縦持ちでもさらに持ち方を工夫しなければならないことを説明してきました。この記事が少しでも皆様のデータ分析活動にお役に立てれば幸いです。