基于牛顿求根法

人们普遍认为RNN是无法并行化的，因为其本质上的序列特性:其状态依赖于前一状态。这使得人们难以用长序列来训练RNN。近日，一种新算法的出现打破了这一惯常认知，可以并行化RNN和NeuralODE等非线性序列模型的评估和训练，从而为相关研究和开发带来显著的速度提升。