16MB冻结码表替代168M嵌入参数，小模型提速5倍还省7倍内存！
Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models
📖 AI 总结
这篇论文针对小型语言模型中词嵌入表占比过高的问题，提出用一张冻结的16 MB、512位编码词表替代可训练嵌入表。该词表由预训练嵌入经主成分投影和符号二值化一次性生成，不含可训练参数。作者以相同数据（2.05B token）从头训练相同结构的Gemma模型进行对照：可学习词表虽多出2.6倍可训练参数，仅换来0.20 nats的验证损失优势，且在LAMBADA、HellaSwag、PIQA上冻结词表模型表现持平或更优，仅ARC-Easy落后。搭配三值BitNet主体后，整模型文件仅46 MB，在笔记本CPU上以62 MB内存实现每秒615至740 token的生成速度，约为浮点模型8位GGUF的五到六倍，内存仅为其七分之一。冻结词表在生僻词上领先1.7至2.3 nats，训练后新增一万词仅损失3%性能，而可学习词表骤降43%。研究提示小型模型嵌入表存在显著冗余，冻结方案在效率与鲁棒性上更具优势，全部权重、数据和评测结果已公开。
🔑 关键词速览
| 嵌入表 | 将词汇表中的每个词映射到稠密向量的参数矩阵，通常是语言模型中最大的参数部分。 |
| 主成分投影 | 一种降维技术，通过保留数据方差最大的方向来压缩表示。 |
| 符号二值化 | 将数值转换为仅包含 +1 和 -1 的二进制表示，以减少存储和计算。 |
| 三值 BitNet b1.58 | 一种使用三值权重（-1, 0, 1）的神经网络架构，旨在实现高效推理。 |
| GGUF | 一种用于存储量化语言模型的文件格式，常用于 llama.cpp 等推理框架。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅