多模态神经网络SALMONN

SALMONN是一个多模态神经网络，能够直接处理和理解包括语音、音频事件和音乐在内的一般音频输入，并在多种语音和音频任务上取得竞争性表现。论文地址:https://arxiv.org/pdf/2310.13289v1.pdfSALMONN采用了两个互补的音频编码器，一个用于处理语音，另一个用于处理非语音音频事件，以实现对各种音频任务的优越性能。