信頼を得るために、LLMは思考過程を明示すべき
大規模言語モデル（LLM）が科学的発見において信頼されるためには、単なる結果の出力ではなく、その推論プロセスを透明に示す必要がある。本記事では、「AI化学者」がどのように自らの思考過程を開示することで、研究者からの信頼を獲得し、創薬などの分野で真に活用されるようになるのかを考察する。
背景メモ
- 計算化学や創薬の分野では、研究データの解析や化合物スクリーニングに大規模言語モデル（LLM）の活用が進んでいるが、LLMが「ブラックボックス」であるという問題が指摘されてきた。
- 本稿が扱うのは、LLMによる予測や提案に対して、その根拠を明示させる「説明可能AI」のアプローチ。具体的には、LLMに推論過程を自然言語で出力させる「思考連鎖プロンプティング」や、特定の学習データに遡って理由を検証する手法などが取り上げられている。
- 創薬のように規制や安全性の厳格な領域では、AIの判断が「なぜ」そう結論づけたのかを説明できない限り、製薬企業や規制当局は実際の意思決定に使えないという実務上の課題がある。
- 背景として、GPT-4やClaudeなどの汎用LLMを化学ドメインにファインチューニングしたモデル（例：ChemBERTa、Galactica）が登場し、論文の知見抽出や反応条件の予測で成果を挙げている一方、根拠のない「もっともらしい間違い」を生成するハルシネーション問題も顕在化している。