🔥 今日值得一读
Kairos把文本图像音频视频激光雷达全塞进一个字节空间，1–15M参数小模型也能跑出近10⁻³损失！
Kairos: Toward a Byte-Level Foundation Model for Every Modality
👨💼 主理人解读 · 为什么值得关注
开发者可参考其架构组合，在单机资源下探索统一字节空间的多模态建模，降低多模态预训练门槛。
📖 AI 总结
Kairos 是一项探索性研究，旨在构建一个面向所有模态的字节级基础模型。该模型将双向门控 DeltaNet 线性注意力、滑动窗口注意力、块级注意力残差聚合、稀疏专家混合前馈层以及多尺度字节级编解码器整合在一起，并在文本、图像、音频、视频、激光雷达和控制流共享的单一字节空间上，以均匀噪声去噪目标进行训练。作者的核心问题是：这一组合能否正常优化，而非它是否有用。为此，研究报告了各组件基于代码推导的算法，并开展收敛性检验：在仅文本、1 至 1500 万参数条件下过拟合单句 440 字节句子，对编解码器和注意力选择使用三个随机种子，另对七个因素做单次扫描。结果显示，两种注意力变体在 3000 步时最低损失接近 10 的负 3 次方；600 步后，不同编解码器的平均最低损失从 0.018 到 0.354 不等，且三个种子排序一致。共享注意力投影相对独立投影的表面优势会随步数或数据多样性增加而消失，冻结投影时甚至反转，说明这是收敛速度效应而非容量效应。作者强调，这些检验仅表明实现能够优化，不涉及泛化、多模态训练或与现有模型的比较，这些将由计划中的预训练来回答。讨论部分对 2 亿总参数、2500 万激活参数的目标做了分析性估算，但吞吐量数据均非实测。
🔑 关键词速览
| Kairos | 本文提出的字节级基础模型架构，旨在用统一字节空间处理文本、图像、音频、视频、激光雷达和控制等多种模态。 |
| LiZAttention2 | 一种结合双向门控 DeltaNet 线性注意力与滑动窗口注意力、并共享投影的混合注意力机制。 |
| MoE（Mixture-of-Experts） | 混合专家模型，通过稀疏激活多个专家子网络来扩大模型容量而不显著增加计算量。 |
| 字节级编解码器（byte-level codec） | 将不同模态数据统一编码为字节序列并解码还原的组件，使模型能在单一字节空间上训练。 |
| 均匀噪声去噪目标（uniform-noise denoising objective） | 一种训练目标，通过向输入添加均匀噪声并让模型学习去噪，从而在共享字节空间上统一训练多种模态。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅