提出可长度外推的循环模型训练方法,通过干预状态信用解决BPTT失效。
| Backpropagation Through Time (BPTT) | 时间反向传播,一种用于训练循环神经网络的算法,通过时间步展开计算梯度。 |
| State Credit | 状态信用,指未来损失通过反向传播到达较早循环状态的信号,用于更新参数。 |
| Credit Stabilization through Time (CST) | 时间信用稳定化,一种在反向传播中局部重缩放状态信用信号以稳定其范数的方法。 |
| Length Extrapolation | 长度外推,指模型在训练时未见过的更长序列上仍能保持性能的能力。 |
| Recurrent Models | 循环模型,一类具有内部状态以处理序列数据的神经网络,如RNN、LSTM等。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅