ビッグデータ分析（6）仮説検定で「たまたま度」を測る

執筆：村西重厚（BBT大学院MBA本科修了、データ・サイエンティスト株式会社 エグゼクティブ・ディレクター）
対象科目：ビッグデータ分析（豊田 裕貴 ビジネス・ブレークスルー大学大学院 客員教授、法政大学大学院イノベーション･マネジメント研究科 教授）

ビッグデータ分析の最終回は「仮説検定」をテーマに取り上げます。

データを分割すると、信ぴょう性が下がる？

これまで5回にわたって、スーパーのアンケートデータを用いて、品質、品揃え、レジの待ち時間などの項目を要約し、顧客満足度や何を重要視するかについて、関係性を分析してきました。

さらにデータを男性と女性に分割したところ、例えば駐車場の位置など、重要視する項目に男女で違いがありそうな結果となりました。

ビッグデータ分析のプロセスにおいて、求める結果に有効な要素をつきとめるために、上述で男女に分けたように分析対象のデータを様々な切り口で分割することがあります。

ビッグデータは文字通り大量のデータを扱いますが、分析対象のデータを男女別やさらに年齢別、居住地域別など細かく分割すると、項目によってはデータ数に偏りが生じたり、ある項目のデータ数が少なくなり、データの信ぴょう性に疑問を持つことがあります。

仮説検定を用いて結果の「たまたま度合い」を判定する

下図は今回のアンケートにおける男女別の満足度、重要度をプロットしたもので、左が男性、右が女性の結果を示しています。

この結果を見ると男女で生鮮食品の品揃えに関して満足度、重要度に差があるように見えます。

しかし、仮にアンケートで生鮮食品を重要視すると答えた女性の人数が5人だった場合、たまたま生鮮食品が大好きな女性が5人答えてしまったのではないか？という疑念が湧くかもしれません。

この「たまたま度合い」を確認するツールを、統計学では「仮説検定」と呼びます。

さて、「生鮮食品品揃え」の男女間の満足度の平均値を比較すると、

　男性の満足度平均値：3．27
　女性の満足度平均値：3．85

となりました。

数学的な詳細説明は省略しますが、t検定という手法を用いて、この結果に対して「たまたま度（有意確率、p値とも言う）」を計算すると、

　P値（有意確率）＝2.61e-07(=0.000000261)

という結果となりました。％に換算すると0.0000261%となります。これより「たまたま度」は非常に低く、男女の満足度には差がある、といえる判断できます。

同様に、「レジの待ち時間」について計算をしたところ、

　男性の満足度平均値：2.81
　女性の満足度平均値：2.54

　p値（有意確率）＝0．099011

となり、たまたま度が約10％あることがわかりました。

2つの「たまたま度」を比較し、どちらが満足度に男女差があるのかを選ぶとすると、生鮮食品の品揃え、となりますね。

この「たまたま度」の度合いについて、例えば「5％以下だとたまたまではない」などと決めるのは、分析対象や望む結果によります。対象がスーパーのアンケートであれば5％以下であれば充分でしょうが、新薬の副作用が調査対象であれば、もっと少ない値を要求することになるでしょう。

データ分析で導き出された結果は、どれくらいの「たまたま度」があるのかを確認をするようにしましょう。

ビッグデータ分析の流れを総括

さて、これまで6回にわたってご紹介をした内容はビッグデータ分析の入門編です。実際の講義では「これぞビッグデータ分析」とも言える高度な手法を、データ分析ツールを用いて体感することができます。

どのような手法を選んでも、データに対しての向き合い方は、下記のポイントで共通しています。

・望ましい結果を明確にする
・望ましい結果に対して、どのような項目が影響を及ぼしているか、仮説を立てる
・仮説検証のために、データを様々な切り口、手法で試行錯誤しながら分析をする
・分析結果のたまたま度合いを検証し、本当に望ましい結果を導いているのかを確認する

今回の連載でお伝えしたかったことは、このビッグデータ分析の一連のプロセスでした。

筆者もビッグデータ分析に関わる事がありますが、実際のデータ分析の現場では、特徴ある切り口をすぐに見いだす事が出来ず、地味な試行錯誤の繰り返しになることが多いです。しかしその中から、有効な切り口が見つかった時の喜びは大きなものです。

皆さんももし手元に売り上げデータやアンケートデータなどのビッグデータがあるならば、独自の示唆の発見に挑戦し、ビッグデータ分析の醍醐味を味わってみて下さい。