登陆注册

新算法实现并行训练和评估RNN

  • 基于牛顿求根法,新算法实现并行训练和评估RNN,带来超10倍增速

    人们普遍认为RNN是无法并行化的,因为其本质上的序列特性:其状态依赖于前一状态。这使得人们难以用长序列来训练RNN。近日,一种新算法的出现打破了这一惯常认知,可以并行化RNN和NeuralODE等非线性序列模型的评估和训练,从而为相关研究和开发带来显著的速度提升。
    站长网2023-10-07 18:16:02
    0000