可为人体生成3D空间音频

要点:上海AI实验室和Meta联合开发的开源模型能够为人体生成3D空间音频，实现身临其境的3D音场效果。该模型利用头戴式麦克风的音频信号和人体姿态作为输入，通过多模态融合模式解决音源位置未知、麦克风距离音源较远等技术难题。尽管取得了在3D空间音频生成方面的技术突破，但目前仅适用于渲染人体音，难以处理非自由音场传播环境，计算量较大难以部署到资源受限的设备上。