🔥 今日值得一读
首个全离散多码本扩散语言模型，统一图像视频3D，性能领先！
Intern Lumina U2: A Multi-Codebook Diffusion Large Language Model for Omni-Visual Understanding and Image Generation
👨💼 主理人解读 · 为什么值得关注
提供统一多模态理解与生成的新范式，开发者可基于多码本扩散架构构建更高效的多模态应用。
📖 AI 总结
Intern Lumina U2 是一种多码本扩散大语言模型，旨在统一视觉理解与图像生成。研究指出，现有多模态生成范式各有局限：单码本离散方法虽与文本建模天然兼容，但表征能力有限；连续与混合方法虽保留更丰富的视觉表征，却因文本与图像处于异构空间、训练目标不同，易引发模态间的优化冲突。该模型首次在完全离散空间中表示多码本视觉词元，每个视觉位置由来自互补码本的一组编码构成，输入端拼接嵌入，输出端以轻量级多码本自回归头逐位预测，扩散主干则并行处理所有位置。基于 AToken 的统一 4D 表示，模型在单一主干内支持图像、视频与 3D 输入，在视觉理解、图像生成和图像编辑任务上均取得领先性能，并构建了跨昇腾与英伟达平台的全栈训练、推理与评估系统，同时通过稳定性感知采样策略提升推理效率。
🔑 关键词速览
| 多码本视觉 token（Multi-Codebook Visual Token） | 用多个互补码本共同表示一个视觉位置，以在离散空间中提升视觉表征容量。 |
| 扩散语言模型（Diffusion Language Model） | 以扩散过程进行文本或离散 token 建模与生成的语言模型。 |
| 统一多模态生成（Unified Multimodal Generation） | 在单一模型中同时完成文本与图像等多种模态的理解与生成任务。 |
| AToken 统一 4D 表示 | 一种统一表示图像、视频和 3D 数据的四维 token 化方案，作为模型输入基础。 |
| 稳定性感知采样（Stability-Aware Sampling） | 结合置信度平台引导解掩码与漂移触发缓存刷新的推理加速采样策略。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅