日々の事業活動の中で、ちゃんと成果が出ているのか分かりやすいものと、分かりづらいものとがあります。
アメリカの百貨店経営者のジョン・ワナメイカーは「広告費の半分は無駄になっていることは分かっている。 しかし、どちらの半分が無駄なのかが分からない」という言葉を残しているように、プロモーションはその成果が出ているのかどうかが分かりづらいものの代表といえます。
理由として、売上高が上がった理由が、広告によるものなのか、単なる偶然なのかということが分かりづらいからです。
それを判別するヒントになるのが統計的検定です。
Table of Contents
統計的検定とは
標本データを用いて、仮説が統計学的に正しいのかどうかを客観的に判断する方法です。
コイントスを10回した結果、8回表になったとします。
たまたまそうなっただけ（確率は約4.4%）なのか、そもそもこのコインは表と裏の確率が50%ずつではないということなのか、といったことを判断するものです。
プロモーションを例にして説明します。
日々の売上高にはばらつきがありますが、今までやっていなかったプロモーションをした結果、売上高が上がったとします。
それが、プロモーションが売上高にプラスの影響を与えた、つまりプロモーションの効果があったと統計学的にいえるのか、あるいは単なる偶然で、統計学的にはプロモーションに効果はあるとはいえないのかを判断します。
検定方法
売上高の平均値が上がったかどうかの検定方法をご紹介します。
今回ご紹介するのはz検定（厳密に言うとt検定になります）と呼ばれるもので、統計学や統計的検定に関する知識がない方がそのまま使用できるように、さらに簡単にアレンジしております。
さて、以下の数値を算出してください。
$$ z = \frac{x-\mu}{s/\sqrt{n}} $$
結果が1.645を超えていたら、効果があったと考えられ、1.645以下であればプロモーションの効果が確認できなかったということになります。
なぜ、1.645が基準になるかというと、統計学的には5%を基準として、それ未満の確率になると、偶然とは考えにくいとされているからです。
1.645を超えると、偶然の確率が5％未満になる（偶然とは言いにくい領域に入る）と解釈できるということです。
これ以上知りたいと思われる方は、「z検定」について生成AIに聞いてみられることをお勧めします。
○実際の計算
以下の条件で実際の数字を入れて計算してみます。
- 通常時の平均売上高：100万円
- プロモーション期間中の平均売上高：108万円
- 標準偏差：20万円
- プロモーション期間：30日
式は以下の通りとなります。
$$ z = \frac{108 – 100}{20 / \sqrt{30}} = 2.19 $$
zは2.19ということで、基準である1.645を超えているのでプロモーションの効果があったと考えられるということになります。
では、以下の条件だとどうでしょうか。
- 通常時の平均売上高：100万円
- プロモーション期間中の平均売上高：108万円
- 標準偏差：30万円
- プロモーション期間：30日
式は以下の通りとなります。
$$ Z = \frac{108 – 100}{30 / \sqrt{30}} = 1.46 $$
zは1.46ということで、基準である1.645以下のため、プロモーションの効果があったとは考えにくいことになります。
何が違うかというと、標準偏差の値が違うのですが、日によって売上のばらつきが大きいと、プロモーションの有無にかかわらず、たまたま高い日や低い日が出やすくなります。
そのため、平均売上高が上がった理由が偶然によるものだという可能性が高くなります。
以上より、平準化策を取ることで、売上高の平均値が上がり、同時に売上高のばらつき（標準偏差）も小さくなります。
したがって、売上高向上の方向性として、売上の低い日を底上げするような手法が妥当であることが分かります。
最後に
プロモーションを例にz検定（のアレンジ版）を使うことで、プロモーション策の効果を判断するということをご紹介しました。
比較するのが平均以外だと他の手法になりますし、厳密にしようと思うと今回ご紹介した方法では難しい点もあります。
しかし、定量的に判断ができるようになれば、効果の判断がしやすくなると同時に再現性も高まります。
その結果、経営への効果が大きい施策を取ることができるようになります。
ぜひ、可能な限り数字で判断するようにしていただければと思います。
以上、参考になれば幸いです。
