サンプル調査の精度

こんにちは、高橋(佑)です!

1月11日をもって、38歳となりました。
今後ともよろしくお願いいたします。

さて、今回は調査の精度について書きます。

私がサンプル調査の設計をするとき、目安にするのは信頼度95%、標本誤差5%の精度です。
これは何かというと、「100回同じ調査をした時、95回はだいたい同じ結果になる」事を指します。
「だいたい」ってどれだけか、となると、「前後5%くらいの間に収まる」程度です。
これくらいの精度で、母集団(調査したい相手)の実態が推察できる。

調査設計では、これくらいが標準的ではないでしょうか。
自治体の調査でも、これくらいの水準が要求されます。
(用途によっては、もっと信頼度を落としてもOKです)

ただ、お気づきになられたかと思いますが、
前後5%くらいに収まる、というのは、結構なバラツキです。

例えば、ある調査結果が75%と80%だったとして、統計的には差が認められないことになります。
これは、内閣支持率なんかを思い出してもらえばわかりやすい話です。
ある新聞紙は40%としているのに、別の新聞紙では35%だったり、45%だったりする。
これを「テキトーだな」と感じるか、「適当だな」と感じるか。
統計的には適当です。

ところが、実際の調査結果の扱われ方をみると、ゾッとします。

地元の新聞に掲載された記事にこんなものがありました(うろ覚えです)。
「県政に対する満足度」を調査したデータなのですが、

1位…○○ 10%
2位…×× 8%
3位…△△ 6%

みたいな結果に対して、
「○○が1位になったのは~な理由で、その点が××と△△とは異なる。だから、今後は○○をより強化する必要があります」
みたいなことを県の担当者さんがコメントしている!

なぜ?2

いやいや、多分、1位から3位までの結果は、統計的には「偶然」の差ですよ?
こんな「偶然」を根拠に施策展開をされたら困る!
どうせ我々の税金を使うなら、有効な使い方をしてくれ!
っていうか、マスコミの方も、こんなコメントに無批判なのはいいんでしょうか。

自治体がアンケートしてるけど、さっぱり反映されないなー、という印象が強いのは、こんな事情があるのかも。

このように、サンプル調査ではバラツキの発生が問題です。
あまり細かく質問をすると、統計的に意味のある差が生まれにくくなります。
でも、大ざっぱな質問では、大事な「声」を聞き逃す可能性がある。

そこで私たちはどうするかというと、集計した回答結果を統計的に処理し、
意味のある差が推察されるまで、細かい質問を束ねていきます。
これは、因子分析と呼ばれる手法です。
こうすることで、アンケート結果を、本当に注目すべき事項に整理するのです。

コメントを残す