AI組織におけるトレードオフのシミュレーション
現在、単一のエンティティによる統治（シングルトン）と複数の主体が共存する体制（マルチポーラー）のトレードオフをシミュレーションする試みはほとんどない。また、隠れたエージェントと既知のエージェント、同質なエージェントと多様なエージェントといった他のトレードオフについても同様である。LLMを用いれば、これらのアイデアをテストできるサンドボックスが得られるのではないか。
背景メモ
• この投稿は、AIの安全性やガバナンスに関する議論（AIアライメント（人間の意図に沿うようAIを制御する問題）や、超知能が誕生した世界の政治体制のシミュレーション研究）の文脈に属する。<br>• 「シングルトン」とは、Nick Bostrom（オックスフォード大）が提唱した概念で、単一の超知能エンティティが世界全体を統治するシナリオを指す。「マルチポーラー」は複数の超知能エンティティが併存・競合するシナリオ。<br>• LLM（大規模言語モデル）を使えば、従来は理論的・哲学的にしか議論できなかったこうしたシナリオを、シミュレーション環境で実験的に検証できるのではないか、という提案。<br>• 「隠されたエージェント vs 既知のエージェント」「均質 vs 多様なエージェント」といった要素も、実際のAIシステム設計や規制の設計に影響するトレードオフとして研究されつつある。