Pulpie：ウェブクリーニングのためのパレート最適モデル

- ウェブから収集した大規模テキストデータ（コーパス）には、広告文やテンプレート文章など品質の低いものが大量に混ざっており、LLM（大規模言語モデル）の性能はこの「データの質」に大きく左右される。 - 既存のデータクリーニング手法には、人手で作ったルール（ヒューリスティック）や、教師あり分類器、あるいはLLM自体に評価させる方法があるが、それぞれコストや精度に課題があった。 - Pulpie（パルピー）は「パレート最適」という概念を応用し、複数の品質指標（例：言語的な自然さ、情報量の多さなど）を同時に満たすデータだけを効率的に選別する手法。パレート最適とは、ある指標を改善しようとすると別の指標が必ず悪化する「トレードオフの最終地点」のこと。 - 著者はFeyn（ファイン）というAIスタートアップのメンバーで、Pulpieを同社のデータ処理パイプラインで実際に使っている。ブログ記事ではその設計思想と実験結果が詳細に共有されている。