Don't Train the Model, Evolve the Harness
This project introduces a novel approach to large language model optimization that shifts focus from training the model itself to evolving the "harness" — the surrounding infrastructure and prompt strategies. By optimizing the harness rather than model weights, the method achieves significant performance improvements with minimal computational cost, offering a practical alternative to traditional fine-tuning approaches for LLM enhancement.
背景メモ
Hugging Face上で公開されている「Harness Optimization」という対話型デモ（Spacesアプリ）に関する記事。タイトル「モデルを訓練するな、ハーネスを進化させよ」が示す通り、LLM（大規模言語モデル）自体のファインチューニングではなく、プロンプトや出力を評価・加工する「評価ハーネス」（evalsや出力パース処理）を遺伝的アルゴリズムで最適化するアプローチを提案している。
- 「ハーネス（Harness）」＝ モデルの入出力をラップする評価・前処理パイプライン。従来は人手で設計されることが多い
- 遺伝的アルゴリズムを使って、評価スコアが最大になるハーネスの構成（プロンプトテンプレートや正規化ルールなど）を自動探索する
- 「モデルを訓練するより安上がりで、かつ性能向上が得られる」という実用志向の主張
- Hugging Face Spacesは、誰でもMLデモをホストできるプラットフォームで、この種の実験的プロジェクトの共有場所としてよく使われる