两种不同的快速LLM推理技巧

本文分析了Anthropic和OpenAI最近推出的"快速模式"背后的不同技术原理。Anthropic通过降低批处理大小实现2.5倍加速，而OpenAI则利用Cerebras巨型芯片实现15倍加速，但后者使用的是能力较弱的蒸馏模型。