大模型非要一个词一个词往外蹦吗？斯坦福这篇论文说，可以先画草稿再填细节

今天 Hacker News 首页上有一篇斯坦福的论文，138 分。它问了一个看起来很基础的问题：大模型生成文本，为什么一定要一个词一个词往外蹦？

现在主流的大模型都是自回归的：先出第一个词，再根据前面的词出第二个，一个接一个。这种方式质量稳定，但代价是快不起来——生成一千个词就要跑一千次。推理成本正在变成大头，这个问题就从学术问题变成了钱的问题。

斯坦福 Hazy Research 这篇 Next-Concept Modeling（NCM）给的答案是：先画草稿，再填细节。

做法分两步。第一步，一个多尺度残差 VQ-VAE 把文本压成“从粗到细”的多层离散编码：最粗的一层只有几个码，概括整段话的大意；越往下越细，直到还原出完整文本。第二步，Transformer 一层一层地生成，每层内部的所有位置并行出。也就是说，模型先定骨架，再一层一层补血肉，而不是逐词接龙。这个思路借鉴了图像生成的 next-scale prediction——画画本来就是先构图再细化。

作者自报的数字很亮眼，但先说清楚，这些数字都是作者自己跑的，没有独立验证：在 LM1B 上，生成困惑度比最强的扩散语言模型基线更好，同时快 21 倍；OpenWebText 上质量相当，快 10 倍；XSum 摘要上 ROUGE-L 相当，快 31 倍；Hard Sudoku 上解出率 86.1%，高于自回归和扩散基线。

数字之外，有四条边界必须写全，否则这篇就成了标题党。

第一，对比对象是扩散语言模型，不是现在商用的自回归大模型。21 倍、31 倍是“比另一条并行路线快”，不是“比你正在用的模型快”。

第二，实验规模只有约 1 亿参数，跑的是特定任务的检查点。它不是一个通用聊天模型，你今天没法用它替代手里的任何一个模型。

第三，论文是 10 月 9 日上的 arXiv 预印本，还没有独立复现。

第四，它也不是全胜。WMT14 翻译任务上，NCM 的 BLEU 是 22.6，比基线的 24.8 还低。先画草稿再填细节的思路，在翻译这种“每个词都要对得上”的任务上，目前并不占优。

那为什么还值得看？因为思路本身可能比数字走得更远。“先定结构再填内容”和人写东西的方式更像，也可能先落在摘要、结构化生成、大纲式写作这类任务上。更重要的是方向：推理降本这条赛道上，自回归优化是一条路，扩散语言模型是一条路，NCM 这样的粗到细并行生成是第三条路。三条路最后谁跑出来，现在没人知道，但押注正在发生。

结论何时不成立：如果后续独立复现发现速度优势主要来自实验设置，或者放大到十亿、百亿参数规模后质量跟不上，那 NCM 就只是一个小规模上有意思的思路，而不是一条可行的路线。今天值得看的，是这个思路本身，不是对着 21 倍、31 倍下注。