5%の誤差

こんにちは!高橋(佑)です!

さて、前々回、サンプル調査の結果には誤差が生じる、というお話しをしました。
調査の設計にもよりますが、5%~ほどの誤差が生じます。

でも、これって、あまり知られていない?ような気がします。
意図してか、していないのか、誤差を無視した分析コメントが至る所に転がっています。

米国大統領選挙を巡って、候補者の支持率を比較して論じる記事が多くなっています。
そんな中、日本経済新聞は「調査には5%ほどの誤差が生じる」ことを、
毎回指摘しています。
煩わしく感じられる読者もおられるかもしれませんが、
個人的には、誠実な姿勢だと思います。

ライバルの支持率が35%。自分は40%。
5%の開きがあるから「余裕!」ではありません。
実際には、ライバルの支持率は40%かもしれない。
「すごく競っている」のが実際です。

この「5%」が、ある意味、サンプル調査の限界です。
分析する側は、それをしっかり自覚する必要があります。

スーパーやレストランの店頭アンケートや、
行政が行うアンケートも、サンプル調査の一つです。
お客様や住民の声をダイレクトに聞ける、非常に大事なものです。
だからこそ、その分析には慎重になりたいですよね。

IMG_2601
(弊社が分析を担当したアンケート。本記事とは無関係です)

どこからどこまでが「意味のある差」で、どこからどこまでが「偶然の差」なのか。

折角とったアンケートですから、
実施者は、結果に意味を見いだそうとします。

自戒を込めて言いますが、「アンケート結果に執着」しがちです。
通常なら無視すべき1%の差や、0.02ポイントの差を、過大に評価し、
何かしら特別な発見に仕立て上げる。
その方が、結果を受け取る側(上司だったり、クライアントだったり)も喜ぶ。
そんな会議、ありませんか?

コメントを残す