Show HN: モデルの尖り具合を3Dで可視化「Model Map」
モデルには「尖り(スパイキネス)」——すなわち相対的な強みと弱みが存在する。Model Mapは、それらの特性を3D空間で可視化し、自由に飛び回って探索できるツール。通常は表で表現されるスパイキネスを直感的に把握可能。スター・ウォーズ風の隠しミニゲームあり。WASD+マウスで操作し、発射体を撃ってノードを調べられる。
背景メモ
- 「モデルの尖り具合(スパイクネス)」とは、あるAIモデルがタスクごとに持つ得意・不得意の偏りのこと。例えば、コード生成は得意だが创意的な文章は苦手、といったプロファイルを指す。
- 従来こうした比較は表(リーダーボード)で表示されることが多く、直感的に把握しづらい。本ツールは各モデルを3D空間に配置し、ユーザーが視点を動かしながら相対的な強みを俯瞰できるようにした。
- 作者は同時に、ナレッジベース(知識グラフ)を3D可視化するためのOSSライブラリ「3dGraph」も公開している。今回のモデルマップはその応用例。