🔥 今日值得一读
单流Transformer统一生成图像文本，2.1B参数GenEval达0.88！
JUICE: Unified Multimodal Modeling in Pretrained Representation Spaces
👨💼 主理人解读 · 为什么值得关注
探索用同一生成过程统一出图与出文，为构建更灵活的多模态生成模型提供新思路。
📖 AI 总结
该论文针对现有多模态模型图像与文本生成不对称、输出顺序固定的问题，提出JUICE模型，在冻结的图像与文本预训练编码器空间中，用单一流匹配Transformer联合建模两种模态的分布，各模态设独立噪声水平，通过控制哪些模态干净、哪些生成来切换图像生成、图像描述、视觉问答或联合生成等任务。受控预训练实验显示，以连续状态生成文本不会损害图像生成质量（GenEval 48.41，对比纯文生图模型的47.86），但描述文本会损失部分精确措辞；联合去噪与条件去噪一起训练优于单独训练，语义编码器空间优于VAE潜变量和原始像素。2.1B参数、无语言模型初始化、224×224分辨率下，GenEval达0.88，VQAv2达73.1。联合采样可同时绘制地图路线并写出对应走法，多解迷宫联合成功率从独立采样的54.6%提升至93.7%，视觉空间规划任务在训练规模地图上解决率达99.8%。
🔑 关键词速览
| JUICE | 本文提出的统一多模态模型，在连续编码器空间中联合建模图像和文本的生成。 |
| 流匹配Transformer | 一种基于流匹配（flow matching）的Transformer架构，用于生成连续表示。 |
| 连续编码器空间 | 预训练编码器（如图像和文本编码器）输出的连续表示空间，作为生成目标。 |
| 耦合采样 | 从联合分布中同时采样两种模态的方法，使模态间相互适应。 |
| GenEval | 评估文本到图像生成质量的基准指标。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅