📖 AI 总结

该论文提出baseVultra，一种紧凑的非线性循环单元，核心思路是将循环计算容量从门控变换重新分配到候选状态生成。具体而言，它把稠密循环预算集中于单个H×H候选生成矩阵，用O(H)对角交互替代循环门矩阵，并结合两条低秩辅助分支、EMA缓存与可学习输出混合，门控还通过对角项获得对h_{t-2}的轻量二阶访问。在TinyShakespeare字符级语言建模的单层20万参数设置下，验证损失为1.594，优于参数匹配的LSTM（1.604）和GRU（1.616），稠密循环矩阵向量计算量约为同隐藏维度GRU的54%。在约45倍规模的text8上，其1.854 bpc与全门控单元基本持平（GRU 1.849、LSTM 1.837）。形式语言探针显示，增益集中在隐藏容量受限的场景（H=16时Counter任务OOD2准确率0.991，对比GRU 0.761、LSTM 0.691），并随隐藏规模增大而消失。研究刻画了候选聚焦式容量分配的适用边界：优势集中于紧凑区间，大规模下全门控单元仍具竞争力。

🔑 关键词速览