2006年11月28日 Version 7.1

安い、早い、いいかげん! ネット調査はやめましょう!のページ

−電子調査など社会調査の新技法に関する最新情報−

村瀬 洋一


  ご覧いただきありがとうございます。
  あなたはこのページの     回目のアクセスです。
    2004年3月9日          7190    アクセスを記録。



ネット調査とは

 電子調査、電子アンケート、などと呼ばれる、非科学的なネット調査(ホームページ上の社会調査やアンケート、オンライン調査、web調査などとも呼ばれるもの)が、近年、横行しています。ネット調査は、科学的な社会調査の代わりにはなりません。普通必ず、都市部の高学歴者が多めのデータとなり、年齢や性別についてバランスよくとったつもりでも(とネット調査会社は主張するのだが)、景品やポイント獲得目的で、年齢を偽って一人で数十回答える人もいるし、チェックも万全ではありません。また実際のネット調査は、学歴や職業、心理的傾向まで正確に把握してバランスよいデータをとれるわけではないのです。ネット調査データで世論やマーケティングを調べるのは不適切です。真面目に無作為抽出をしたデータを用いましょう!

ネット調査の問題点

 無作為抽出をした通常型の社会調査は、十分な回収率(概ね7割以上が合格とされる)があれば、社会の縮図となります。つまり、社会の中の全員を調査しなくても、ある大きさの標本(社会統計学では最低、400人以上とされる)を対象に調査すれば、全員にきいた場合と同じ結果が得られます。しかし、無作為抽出をしないネット調査の結果は、これらの人はほとんど含まれず、40代以下のホワイトカラー男性の回答が多くなります(ひどい場合には、40代ビジネスマンのみ、またはネット懸賞を趣味にする人のみ、コンピューター関連職の人のみ、等の結果になります)。無作為抽出をしない調査や、低回収率の調査結果は、どれも社会の現実を反映しない非科学的なものです。社会の中の意見を、正確に代表したものにはならないのです。これらの調査結果をもとに何かを判断しても、決して良い結果にはなりません。しかし残念ながら、いい加減な調査の結果をもとに、政策判断や商品企画などを行うところは多いのです。ネット調査が、通常型の社会調査の代わりになるかのような意見も時々見られます。なお無作為抽出をした通常型の社会調査でも、回収率が低い場合、時間に余裕のある40代以上女性(多くは主婦)や老人が多い結果となります。これはこれで、ゆがんだ結果で良くないものです。

 回収率が低い調査やネット調査でも、調査後に結果を補正(ウェイト付け)をすれば大丈夫、という人もいますが、年齢や性別のみを手がかりに補正しても、学歴や職業、居住地などについて正確な補正はできませんし、価値観や社会意識、政策志向など社会心理学的特徴については、十分な測定は難しく、現実には補正できません。ネット調査の場合、性別や年齢や学歴を、社会の縮図になるように補正しても、価値観的には進歩的、左よりの人が多くなります。

 例えばネット調査に回答する人には、正社員ではなく、時間に余裕があるパートや契約社員など、非正規雇用の人が多く(情報関連会社の派遣や嘱託、契約社員など)、現在の職場や雇用形態、また社会全般に対して不満を持つ人が多いことが知られています。時間に余裕がある主婦のネット懸賞マニアや、職場でもあまり出世していない方で仕事時間中に回答できる人も多いようです。最近では、ネット上で懸賞や各種ポイントを貯めることを趣味とする人も増えています。また、自民党支持の人は少ないです(農村部の老人など、保守的、右よりな自民党支持層の人は、ネット調査にあまり参加しないので、当然です)。

 とくに日本の場合、肌の色や住んでいる場所で、人々の価値観を推測することは難しく、的確な補正は不可能です。米国等では、例えば都市中心部に住む黒人は、支持政党はどこで、どのような価値観かについて、ある程度は推測できるので、時々、補正が行われますが、日本では社会的亀裂が少なく、米国のような推測はできません。朝日新聞2005年11月6日、2006年10月5日、10月26日などで、ネット調査の問題点が書かれていますが、都市部高学歴者が多い一方、非正規雇用者も多く、独特な傾向のあるデータとなることが多いようです。

現実社会への害毒

 無作為抽出をしない調査結果は不正確です。社会の縮図にはなりません。例えば、そのような調査で、イエスが60%という結果が得られても、正確には20%かもしれません。あるいは90%かもしれません。そのようなデータで政策作りや製品開発をしても、根拠が不正確なため、失敗に終わることは確実です。優秀な日本企業が、さまざまな新製品開発で失敗する原因の一つはこの点にあります。毎年、どれだけの新製品が出ては消えていくことでしょう。最近は、大手メーカーの赤字もよく話題になりますが、ネット調査に頼ったマーケティングをしていては無理もありません。政策作りにおいても、社会の一部の人だけを考慮した調査結果をもとに、政策を考えていたら不適切です。ネット調査の結果には、ブルーカラー層や高齢者層が少なく、それらの人の意見は反映されていないし、長時間労働者、夜間労働者の多くも入っていません。

正確な判断のために

 科学的に正確な社会調査のためには、無作為抽出と高回収率が不可欠です。ネット調査を金儲けの道具に使う、いいかげんな調査会社は数多い(しかも調査結果が少人数なのに数百万円を取ったりする)のですが、このような調査を使うことは絶対にやめましょう!真面目な調査会社もあるし、科学的な社会調査は非常に重要です。

 最近では、回収率をあげることが厳しいという意見もありますが、調査の重要性を丁寧に説明する依頼状を作り、十分な長さの回収期間をとり、調査員の訓練をすれば、不可能ではありません。時間がないからと言って、急いでいいかげんなデータを取るのでは、決して良い結果にはなりません。

 少なくとも、ネット調査の結果を見るときは、最低限、男女比と年齢構成と学歴構成(できれば居住地と職業構成と基本的な価値観項目も)だけは、調査会社にまかせず十分なチェックをして(それがそもそも不可能なことも多いが)、サンプルの偏りを把握した上で調査結果を見た方が良いのです。いいかげんな調査会社が、金儲けのためにネット調査を勧めることも多いのですが、ネット調査はほとんど役に立ちません。またマスコミも、社内の世論調査部以外の人間は、科学的な社会調査のことを分かっていないので、ネット調査をもとにした記事を出すことも多いのです。しかし、これらの記事の多くは非科学的で信用できません。いいかげんなネット調査をもとに、物事を判断するのはやめましょう!!




このページは、村瀬 洋一.1996.

  「インターネット調査の光と陰 −偏りの大きい調査をどう使うか−」.
       (フォーラム インターネット(1)).数理社会学会編集委員会編.
       『理論と方法』Vol.11 No.1.通巻19.1996年7月.ハーベスト社.
 に関する、最新情報です。


 数理社会学会発行『理論と方法』Vol.11 No.1.では、「フォーラム インターネット(1)」として、    以下の3つの文章が掲載されました。 村瀬 洋一.「インターネット調査の光と陰 −偏りの大きい調査をどう使うか−」 遠藤 薫. 「インターネットと社会学」 岩本 健良.「社会学・統計学・社会調査のためのインターネット・イエローページ」  このページには、村瀬の原稿に関連して、インターネットを用いたオンライン調査や 社会調査の新技法について、紙面では載せられなかった最新情報などを随時掲載します。 なお『理論と方法』は、各地の大学図書館等で閲覧可能です。
0.オンライン調査(on-line survey, あるいは電子調査 electronic survey,     ネット調査、webアンケートなどと呼ばれるもの)  パソコン通信やインターネットなどの通信ネットワーク・システムを利用した調査 のこと。この調査は、時間的、労力的、金銭的コストが小さいなどの点でとても魅力 的に見えますが、調査結果の偏りが大きく、通常型の調査の代わりにはならないので 注意が必要です。  インターネット上のホームページの記述言語であるhtml(Hyper Text Markup Language)には、調査票作成に使用できる書式(フォームタグ)が設けられています。 これを用いれば、インターネットでのオンライン調査(以下インターネット調査と略) の調査票を作成できます。回答者は、画面に表示された質問文を読み、いくつかの選 択肢についているボタンをマウスで選択するだけで回答できます。 1.電話調査とインターネット調査の、短所と長所  社会調査は、「標本抽出(サンプリング)が可能な調査」、つまり、母集団が確定 しており、何らかの対象者名簿が存在しているものと、「標本抽出が不可能な調査」、 の2つに大別できます。インターネット調査は、多くの場合、後者となります。ただ し、何らかの方法で調査対象者を選定し、依頼状、依頼メールを送り、対象者にのみ ホームページで回答してもらうならば、前者としても使いうるでしょう。例えば、あ る学会の学会員を母集団とした調査、ならば、前者となりえます。  インターネット調査の長所と短所は、電話調査にかなり似ている部分があります。 主な長所は低コストであること、短所はサンプルが偏ることです。とくに短所につい て、十分な注意が必要です。インターネット調査に参加するのは、40代以下の男性 が多いのです。男女差はいずれなくなるかのような主張もありますが、現状では、老 人の女性がインターネット調査に参加することはほとんどありません。また、若い男 性に関しても、事務職や専門職が多く、労務的職業の参加が少ないという点で、かな りの偏りがあります。決して通常型の社会調査のように、社会の縮図を作ることには なりません。インターネット調査は、科学的な世論調査の代わりにはならないことは 間違いありません。  電話調査の対象者の選び方 1)選挙人名簿などでサンプリングして対象者を選んでから電話番号を調べる 2)電話帳を使ってサンプリングする 3)ランダムな番号に電話をかける(RDD Random Digit Dialing)  3)は、基本的にはランダムにかけるものです。ただし、電話番号の付け方がわかっ ており、何番台は企業やFAXだから電話調査では使わない、などの情報を活用しつ つ、何らかの規則性を持って電話をかければ、かなりうまく、擬似的な世帯調査とし て用いることができるでしょう。もっとも、若い人が、1人1台電話を持つようにな ると、若い人に偏ったサンプルになってしまうおそれもあります。  また、1)から3)のいずれにせよ、通常の電話番号のみを標本抽出に用いると、若い 人や単身者は、携帯電話やPHSをよく使う傾向があるので、それらの人が少なめに なる可能性があります。  日本では、諸外国と比べ住民票や選挙人名簿がよく整備されていることもあり、電 話調査はサンプルが偏るという点で問題が多いため、学術的な調査で用いられること は少ないのが現状です。実際、どう工夫しても偏りが大きく、調査後の補正も、基本 属性以外の、心理的属性まで考慮した的確な補正はできないので、現実には、ほぼ不 可能なのです。  しかし、最近では、マスコミが中心となって、低コストという長所を生かし、電話 調査が用いられることがあります。特に、小選挙区制導入を機に、選挙結果の予測関 連の電話調査が増える傾向にあるようです。これは、300の小選挙区が全国にでき、 従来とくらべて選挙区の数がかなり増えたため、すべての小選挙区を母集団として、 選挙予測のために300の調査を行うのが困難だからです。ただ、電話調査は上述の ように問題が多く、若い人や単身者の答えが少なくなる可能性があり、調査の精度は 落ちます。電話調査を元にした選挙予測は、調査結果をうのみにすると、かなりの予 測ミスを起こすことになるでしょう。 電話調査関連の文献 Frey, James H. 1989. Survey research by telephone. Second Edition. Sage Publications. Groves, Robert M. Robert L. Kahn. 1979. Surveys by telephone : a national comparison with personal interviews. New York : Academic Press. Groves, R.M. et al. 1988. Telephone Survey Methodology. John Wiley & Sons.  ★全32章からなる、電話調査の詳しい解説書。電話の保有率の影響、電話調査にお   けるサンプリング方法、非回答の問題、回答の質、CATI、電話調査の管理など   について、他の調査と比較したり、国際比較しつつ、実証的に検討(注1)。 Groves, R.M. 1990. "Theories and Methods of Telephone Surveys." Annual Reviews of Sociology. Annual Reviews Inc. Lavrakas, Paul J. 1993. Telephone survey methods : sampling, selection, and supervision. 2nd ed. (Applied social research methods series ; v.7) Sage Publications.  謝辞 この文章を書くにあたり、金沢大学の岩本健良氏より、いくつかの点につい てご教示をいただきました。特に、(注1)の部分は、全面的に岩本氏からの情報に よります。記して感謝いたします。 2.郵送調査で高回収率を挙げる方法 −TDM(The Total Design Method)について  最近、学会などで、郵送調査でのTDM(Dillman. 1978を参照)が話題になること があります。日本での郵送調査は、回収率が2、3割程度と低く、選られたデータの 偏りが大きいため、重要視されていませんでした。特に、若い世代や単身者、プライ バシー意識が高く調査への不信感が強い都市部での回収率が低くなることが考えられま す。しかし、米国を中心とした研究では、TDMを用いれば、7割前後の回収率が得ら れるというのです。  TDMの主要な特徴は以下の通りです。 ・お願い状、督促状などを定型化 ・督促状を、複数回送る。 ・ただし、高回収率を得るには、質問項目をかなり少なくする必要がある。  郵送調査も、対象者本人が答えたかどうかわからない、という欠点を持つ点では、 インターネット調査や電話調査と同じです。ただ、労力的コストが小さい、高回収率 が得られるならば、対象者名簿を作成し、母集団が明確な調査ができる、という長所 があります。 郵送調査でのサンプルの偏りについて 間々田孝夫・西村雄郎.1986.「郵送調査の可能性」.『現代社会学』21号.  ★郵送調査と面接調査を比較し、郵送調査の偏りについて実証的に論じている、数   少ない論文。郵送調査と面接調査を比較すると、基本属性項目は変わらないが、 保守的−革新的態度に関連する変数に差がある。  この件に関しても、もう少し情報が集まったら文章を掲載します。  間々田(1986)を見る限り、基本属性項目のみを手がかりにしてサンプルの補正を したとしても限界がある。補正をしたいなら、最低限、「保守的−革新的、進歩的 」などの、何らかの心理的属性(態度、社会意識)についての変数が必用である。 郵送調査関連の文献 Dillman, Don A. 1978. Mail and Telephone Surveys: The Total Design Method. New York: John Wiley. 林 英夫. 1996. 「郵送調査における応答誤差 −応答の安定性および正確度−」.   『日本行動計量学会第24回大会発表論文抄録集』(特別セッション 社会調査の   精度)26-29. 井上文夫.井上和子.小野能文.西垣悦代.1995.『よりよい社会調査を目指して』.   創文社.  ★p.54以降、TDMの解説が載っています。 小島秀雄. 1993. 「TDMによる郵送調査の実践」.『茨城大学教育学部紀要(人文・   社会科学、芸術)』第42号.185-194. 小島秀雄. 1995. 「郵送調査の立場から」.『日本行動計量学会第23回大会発表論文 抄録集』(自主シンポジウム 社会調査における実査をめぐる今日的課題)118-119. 間々田孝夫・西村雄郎.1986.「郵送調査の可能性」.『現代社会学』21号. Mangione, Thomas W. 1995. Mail Surveys: Improving The Quality. Sage Publications.   =林英夫・村田晴路訳.1999.『郵送調査法の実際 −調査における品質管理の   ノウハウ』同友館. 村田晴路. 1996. 「郵送調査の返信率を左右する効果要因の研究 −電話および郵便   による督促効果−」.『日本行動計量学会第24回大会発表論文抄録集』(特別セッ   ション 社会調査の精度)30-33. 3.オンライン調査に関する文献情報 アリアドネ.1996.『調査のためのインターネット』.筑摩書房. Dillman, Don A. 2000. Mail and Internet Surveys: The Tailored Design Method. New York: John Wiley. 星野竹男ほか.1993.「迅速・的確なオンライン調査システム ”キャプテンリ   サーチ”」.『ビジネスコミュニケーション』 Vol.30 No.12. 川上善郎.1989.「社会調査法における新しい試み −パソコン通信を利用した   電子調査法−」.『情報研究』第10号. pp51-63. 文教大学情報学部紀要委員会. 川上善郎・川浦康至・池田謙一・古川良治.1993.『電子ネットワーキングの社会心理    −コンピュータ・コミュニケーションへのパスポート』誠信書房. 川上善郎編.2001.『情報行動の社会心理学 −送受する人間のこころと行動』   北大路書房. Kiesler, Sara and Lee S. Sproull. 1986. Response effects in the electronic survey. Public Opinion Quarterly. Vol.50:402-413. Maisel, Richard, Katherine Robinson and Jan Werner. 1995. "Creating a Benchmark Using On-Line Polls". The Public Perspective. February/March 1995 pp8-10. The Roper Center for Public Opinion Research. 村瀬洋一.1998.「代表性のない調査をいかに活用するか −インターネット調査について」.   鎌原雅彦他編著.『心理学マニュアル 質問紙法』p52.北大路書房. 村田晴路. 1995. 「電子調査の立場から」.『日本行動計量学会第23回大会発表論文 抄録集』(自主シンポジウム 社会調査における実査をめぐる今日的課題)120-123. 大隅昇ほか.2000.『調査環境の変化に対応した新たな調査法の研究(文部省科学研究費   特定領域研究報告書)』統計数理研究所. Sproull, Lee S. 1986. "Using electronic mail for data collection in organizational research." Academy of Management Journal. Vol.29, No.1:159-169. 社団法人中央調査社.1996.「パーソナル先端商品の利用状況と利用意向」.   『中央調査報』No.462. リメイ,ローラ著.武舎広幸他訳.1995.『続・HTML入門 −新機能,CGI,   Webの進化』.株式会社トッパン.


村瀬の目次に戻る


All Rights Reserved, Copyright(c), MURASE,Yoichi
ご意見、お問い合わせは、お気軽にどうぞ E-mail : murase@rikkyo.ac.jp