First Token Cutoff LLM sampling

この記事では、現在広く使われているトップ-p（nucleus sampling）の代替として、First Token Cutoff（FTC）という新しいサンプリングアルゴリズムを提案しています。FTCは、最高確率トークンに対する相対的な確率のしきい値（co）に基づいて選択可能なトークンを制限し、低品質なトークンの選択を防ぎつつ、適切な多様性を確保します。