扩散语言模型被碾压！NCM生成速度快31倍还更准！
Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation
📖 AI 总结
该研究提出“下一概念建模”（Next-Concept Modeling, NCM），一种由粗到细的两阶段文本生成框架。其核心思路是先用多尺度残差VQ-VAE将文本编码为离散码的层级结构，再由Transformer逐层生成，并在每一层内并行预测所有码，从而兼顾生成质量与速度。实验显示，在参数量匹配的情况下，NCM在LM1B上的生成困惑度优于最强扩散语言模型基线，速度快21倍；在OpenWebText上具竞争力且快10倍；在XSum上ROUGE-L相当且快31倍；在数独推理任务上，NCM在所有难度级别均超越自回归与扩散基线，且所需函数评估次数更少。该工作为降低推理成本、提升并行生成效率提供了新路径。
🔑 关键词速览
| Next-Concept Modeling (NCM) | 一种两阶段由粗到细的文本生成框架，先编码文本为多尺度离散码，再逐层并行生成。 |
| Diffusion Language Models (DLMs) | 基于扩散过程的语言模型，通过并行采样加速生成，但步数减少时质量下降。 |
| VQ-VAE | 向量量化变分自编码器，将连续文本表示离散化为码本中的编码。 |
| Generative Perplexity | 衡量语言模型生成文本质量的指标，值越低表示模型对文本的预测越准确。 |
| ROUGE-L | 一种基于最长公共子序列的文本摘要评估指标，衡量生成摘要与参考摘要的相似度。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅