大規模言語モデルは社会科学実験の結果を予測できる
大規模言語モデル（LLM）が社会科学の実験結果を高い精度で予測できることが示された。研究チームはLLMを用いて、人間の行動や社会的相互作用に関する実験の結果をシミュレートし、その予測が実際の実験結果と高い一致を示すことを確認した。このアプローチは社会科学の研究方法に新たな可能性をもたらす。
背景メモ
- 大規模言語モデル（LLM、GPT-4など膨大なテキストで学習したAI）が、社会科学の実験結果を人間の被験者を使わずに予測できるかを検証した研究。
- 研究チームは、実際に行われた社会科学実験（約1000件）の説明文をLLMに入力し、実験結果（効果の大きさや方向性）の予測精度を測った。
- 結果として、LLMの予測は「専門家による事前予測」よりも正確で、社会科学の知見をすでに組み込んだ統計モデル（GEST）に匹敵するか上回る性能を示した。
- 意義：人間を募集・実験するコストと時間を削減できる可能性。ただし、LLMの予測はあくまで「訓練データ（既存の人間の文章や知見）の延長」であり、未知の現象や因果関係の探索には限界がある。