アンケートの技法
アンケートの技法について考えてみましょう。統計学は知っているけれどアンケートを採った経験が多いわけではないので話半分に読んでください。
目標
- 質問紙法を用いる。
- 精確なデータを採取する。
要するにWebアンケートの精度を上げることを目標にしている。対面調査は詳しいデータが採れるけれども面倒で偏向しやすいから嫌いだというのもある。
仮定
アンケートの相手は人間だからなかなか良いデータを採れないという点を考慮する必要がある。回答者モデルとして「正直」「ランダム」「ミーハー」「相槌」を仮定しよう。
- 「正直」は自分の考えに沿うものを選ぶ。
- 「ランダム」は全ての選択肢を等しい確率で選ぶ。
- 「ミーハー」は最も有名な選択肢を選ぶ。
- 「相槌」は質問者の考えだと想定したものを選ぶ。
要するに「ランダム」と「ミーハー」と「相槌」は自分の意見を持っていないノイズだ。だからといって「正直」だけを選び出そうという姿勢も良くない。それは「正直」の中だけのデータに過ぎないから。
一応、補足しておくと、どのノイズ・モデルもアンケートを妨害しようとしているわけではない。「よいひと」ほど「相槌」的に振舞うかもしれないし。「ランダム」や「ミーハー」が興味のない事柄でも答えるという彼らなりの協力なのかもしれないし。まあ、モデルの心理をとやかく言っても意味はないのだけど。
一応、世間の意見に賛同する「付和雷同」は「正直」の中に入れておく。確固とした考えではないとしても自分の考えには違いない。意図的にデータを汚染しようとする「嘘吐き」は数が少ないと期待する。有意な「嘘吐き」が発生していないかどうかはアンケートの外部で監視する方が容易い。
検出法
- 対「ランダム」
- 意味が同じだが表現の異なる質問を繰り返す。
- 対「ミーハー」
- 意味が異なるが表現が似ている質問を繰り返す。
- 対「相槌」
- 回答者と質問者の間の情報を遮断する。
対「ランダム」と対「ミーハー」の検出用質問はあまり違いがない。要するに一つのテーマについて何度も質問をして一貫性があるかどうかを試すものだからだ。ただし、自分の知っているテーマでは「正直」で知らないテーマでは「ミーハー」という振る舞いもありがち。でも検出用質問だと気付くと一貫した答えを返すようになるかも。
「相槌」が最も厄介だ。他のノイズ・モデルはアンケートの誤差を広げる方向にしか作用しないが、「相槌」は中心値を変える方向に作用する。アンケートの結果を決定的に間違ったものにする可能性すらある*1。だから「相槌」が同調する材料を与えてはならない。
矛盾
対「相槌」には質問者の属性を知らせないことが重要だ。でも質問者の属性を知らせなければ答えてくれないことも多い。前述の世論調査などはその良い例だ。正体不明の人間が「卒論のための調査です。あなたの支持政党を教えてください」と言ってきたら門前払いするように。
それに質問者の属性を知らせないで質問したとしたら、質問者の属性を知らせなくても答えられる回答ばかり得られるかもしれない。特にその考えを持っていることが(＋にせよ−にせよ)差別の対象になっている場合はそれが顕著だ。例えば性的マイノリティの問題だとか。
ちなみにこの問題は回答者に「質問者が回答者の属性を知らない」ということを保障することで幾分緩和される。とは言えそれは同時に、回答を集めるのが困難だったり、多重回答するのが容易だったり、という状況に繋がりやすい。
結論
ええと、質問紙法を使う限り大した精度は出ません。
これだけだと酷すぎるので観点を変えましょう。精度が悪いことを認めた上で的確な情報を提示すれば良いのです。それに必要なものは
- どのようなバイアスがかかっているか。
- どのような誤差が入っているか。
の二点です。
例えば、質問手法を形式化するのは良い考えです。質問者の振る舞いが回答者によって異なっていたとしたらバイアスを定量化することはできません。質問紙法では一律に同じ依頼文と質問紙を送るだけです。
例えば、結果を公表する際にその質問手法も公開するのは良い考えです。回答者は選択肢にないものを選択することはできません。質問紙法では依頼文と質問紙を公開するだけです。
例えば、無効データの数とその基準も公表するのは良い考えです。データを処理する段にもバイアスがかかる可能性があります。質問紙法では無効条件とその数を公開するだけです。
例えば、無作為抽出で回答者を決めるのは良い考えです。回答者の母集団を比較的均一にすることができます。質問紙法では依頼文と質問紙を無作為に送信するだけですが、それは同時にspamでありとても迷惑です。spamとみなさないでくれそうな母集団を設定するとともに公表時にその母集団を明示するのが良い考えです。
誤差の扱いについてはまた別に扱います、たぶん。
経緯
http://d.hatena.ne.jp/kim-peace/20090201/p1でのアンケートに対するhttp://d.hatena.ne.jp/iris6462/20090201/1233457111の反応への自分のブックマークhttp://b.hatena.ne.jp/kilrey/20090201#bookmark-11919039に関連する話*2。
http://d.hatena.ne.jp/nishiohirokazu/20080922/1222094878に関するhttp://d.hatena.ne.jp/kilrey/20080922#p1、http://d.hatena.ne.jp/kilrey/20080923#p2の記事も参照のこと。
