アンケートの技法２・信頼性について
アンケートの信頼性をどのように評価するかについてです。信頼性というものはきわめて主観的な指標であり、そのままでは数学的な処理に耐えるものではありません。ここで登場するのが誤差です。誤差とは信頼性を定量化した値であり、数学的な処理が可能です。
誤差要因
誤差の要因は大きく分けて
- 統計誤差
- 確率的に振る舞う現象を観測した場合、実際に測定した値の分布から真の分布を推測する際の誤差。
- 系統誤差
- 現実には採り得る手法の範囲内で測定するため、真に理想的な測定を行った場合とのずれの上限を見積もった誤差。
の二つある。
統計誤差
真の分布がYES=50%,NO=50%となる質問をした場合を考える。100人に調査を行って全員の回答が得られた場合の結果の分布はどうなるか。計算上は
| YESの人数 | 0-9 | 10-19 | 20-29 | 30-39 | 40-44 | 45-49 | 50 |
|---|---|---|---|---|---|---|---|
| 範囲に収まる確率 | 1.7% | 12% | 32% | 8% |
という確率に従う(式はWikipedia:二項分布を参照)。
ちょうど50対50になる可能性はたったの8%しかない。それでも90%以上の確率で40人以上60人以下の範囲には収まる。生成確率が高いものから順に累積してある一定の基準*1までの事例は十分に起こると想定できる。
測定結果の分布から真の分布確率を推定するためには逆の計算をすればよい。つまり、分布確率を変化させながら、実際の測定結果を再現できる分布確率の上限・下限を求める。この上限と下限の幅が統計誤差になる。
ちなみに誤差の単位としては標準誤差σや半値全幅FWHMといったものがある。σとFWHMは定数倍の関係にあるものの、その比例定数が想定した確率分布によって異なるため、統計データを見る際には確認しておくと良い。
系統誤差
測定する手法が完全ではないことに由来する誤差である。統計誤差とは違って数学的に決定することはできず、ある程度は経験的に決める必要がある。例えば、「正直」は選択式の質問で自分の考えにもっとも近い選択肢を選ぶ。それでも「自分の考え」そのものではないためずれが生じる。このずれは系統誤差に含まれる。
また、調査や分析の手法がどれだけ信用できるかという尺度も系統誤差に含まれる。似たような調査・測定の事例が大量にある場合はそれらの測定同士のばらつきを統計的に扱うことができる。このような手法をメタ統計分析と呼び、測定法自体の精度を推定することにも活用されている。
誤差の解釈
大雑把に言ってしまえば、もう一度まったく同じ測定をしたとしても誤差の幅くらいずれた結果が得られる可能性があります。誤差の範囲内なら結果がずれていたとしてもまったく意味がない、という解釈もできます。
例えば、視聴率調査の結果は0.1%まで細かく表記されています。でも、ビデオ・リサーチ社の調査では関東地方は600世帯のサンプリング調査なので統計誤差だけでも±2%ほどであり*2、0.1%の桁にはまったく意味がありません。さらに系統誤差が加わればどうなることやら。
結論
このように誤差を考慮して始めて統計データから意味を読み取ることができます。誤差を考慮しない調査やそれに基づく結論は「俺が言っているのだから信じろ」というレベルの主張だとみなすべきでしょう。
