🔥 今日值得一读
八叉树直接喂给大模型，图像转3D的FID直降17.4%！
Octrees as an Explicit 3D Language
👨💼 主理人解读 · 为什么值得关注
让LLM直接以八叉树令牌理解3D形状，开发者可构建不损失语言能力的3D生成与理解模型。
📖 AI 总结
现有3D大语言模型存在两方面局限：一是将形状压缩为潜码索引或坐标文本，使模型失去对空间结构的直接感知；二是通过微调骨干网络获取3D模态能力，从而损害其通用语言能力。针对此，研究者提出OctLLM，将几何信息以八叉树占用令牌的显式3D序列输入模型。由于完整八叉树序列随深度迅速膨胀，该方法随机清空倒数第二层节点并省略其后代，在保持形状的前提下生成更短的稀疏八叉树，用于位置感知的掩码建模生成与3D理解。在参数层面，OctLLM不修改预训练语言通路，而是在部分模块中为网格令牌增设独立可训练分支，文本与图像令牌仍走冻结的视觉语言通路，两路通过共享自注意力交互。该方案训练参数远少于全量微调，却在统一多模态模型中取得新的最优结果：图像到3D的FID降低17.4%，渲染接地的描述生成提升28.7分，同时在通用语言基准上与骨干模型持平。
🔑 关键词速览
| OctLLM | 一种三维大语言模型，使用八叉树占用令牌作为显式三维表示，并通过独立可训练分支添加三维能力而不修改预训练语言通路。 |
| S-Octree | 稀疏八叉树，通过随机清空倒数第二层节点并省略后代来缩短序列，同时保持形状，用于位置感知的掩码建模生成和三维理解。 |
| LoRA | 低秩适应（Low-Rank Adaptation），一种参数高效微调方法，通过低秩矩阵更新预训练模型参数，但可能限制新模态的容量。 |
| FID | Fréchet Inception Distance，一种评估生成模型质量的指标，衡量生成图像与真实图像分布的距离，值越低表示质量越好。 |
| 掩码建模生成 | 一种生成方法，通过随机掩码部分输入并训练模型预测被掩码部分，用于三维形状生成和理解任务。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅