利用熵提升大语言模型的创意写作能力
本文探讨如何通过引入熵（信息论中的不确定性度量）来改善大语言模型（LLM）在创意写作中的表现。传统方法往往导致文本过于可预测、缺乏新意，而通过调整生成过程中的熵值，可以在流畅性与创造性之间取得更好平衡，使模型产出更具多样性和惊喜感的叙事内容。
背景速读
- 这篇文章讨论的是大型语言模型（LLM，如 ChatGPT、Claude 等）在创意写作中的一项改进技巧。核心概念是"熵"（entropy）——在信息论中，它衡量一段文本的"意外程度"或"信息量"：熵越高，内容越不可预测、越有创意；熵越低，内容越机械、重复。
- 通常 LLM 的生成方式（如"核采样" top-p 或"温度"调整）会在每个词都试图平衡"稳妥"与"随机"，导致创意写作容易平庸或杂乱。作者提出一种更直接的方法：在生成过程中实时监控文本的熵值，当熵值过低（太无聊）时主动引入更多不确定性，当熵值过高（太混乱）时拉回一些确定性。
- 这项工作的背景是：LLM 在代码、摘要等"确定性"任务上已经很强，但在诗歌、小说、隐喻等需要真正原创性的领域始终表现不佳。改进创意写作能力，对 AI 辅助创作、游戏叙事、广告文案等领域有直接意义。
- "Count Bayesie"是一个知名的统计与机器学习博客，作者擅长用直观方式解释复杂概念，本文延续了这一风格。