登陆注册

打开LLM黑盒

  • 智能的本质就是压缩?马毅团队5年心血提出「白盒」Transformer, 打开LLM黑盒

    【新智元导读】来自UC伯克利,港大等机构的研究人员,开创性地提出了一种「白盒」Transformer结构——CRATE。他们通过将数据从高维度分布压缩到低维结构分布,实现有效的表征,从而进一步实现了有竞争力的模型性能。这也引发了一个更为深远的讨论——难道智能的本质就是压缩吗?AI界大佬对于大模型的安全问题一直以来争吵不休,全都归咎于神经网络「黑盒」,让所有人捉摸不透。
    站长网2023-11-27 14:01:41
    0002