音频文本多模态LLM SALMONN:可处理语音、音乐等基本音频

**划重点:**

1. 🤖 SALMONN是一个单一的音频-文本多模型大型语言模型框架，旨在使大型语言模型能够直接理解和处理包括语音、音频事件和音乐在内的通用音频输入。

2. 🎙️ 该框架通过使用两个听觉编码器（非语音BEATs音频编码器和源自OpenAI Whisper框架的语音编码器）以及窗口级Q-Former等组件，实现了高水平的时间分辨率，用于音频-文本对齐。

3. 📊 在经过激活调整阶段后，SALMONN框架在训练任务中取得了竞争性的性能，包括音频字幕、语音翻译和识别，但在不经过激活调整的情况下，对于跨模态任务的性能下降明显，激活调整阶段的加入显著提高了性能。

近日，一个名为SALMONN的新型框架引起了广泛关注，旨在将大型语言模型的能力扩展到通用听觉领域。这个由语音、音频事件和音乐构成的通用音频输入是人工智能在真实环境中的关键组成部分。

SALMONN，全称Speech Audio Language Music Open Neural Network，是一个单一的音频-文本多模型大型语言模型框架。它的独特之处在于，它整合了语音和音频编码器与预训练的基于文本的大型语言模型，形成了一个统一的音频-文本多模型。这使得大型语言模型能够直接理解和处理通用音频输入，从而在多种音频和语音任务中取得竞争性的性能，包括问题回答、语音识别和翻译、说话者验证、情感识别以及音频和音乐字幕等。

SALMONN的核心架构包括两个听觉编码器:一个用于非语音BEATs音频编码器，另一个来自OpenAI Whisper框架的语音编码器。这两个编码器通过自监督迭代学习方法进行训练，以提取语音和非语音高级音频语义。框架还采用窗口级Q-Former结构，用于在帧级别作为连接模块，将Q-Former生成的序列与文本指令提示相结合，然后提供为LoRA适应方法的输入，以生成所需的响应。

在训练方法方面，SALMONN框架采用了三阶段的跨模态训练方法。预训练阶段使用大量音频字幕和语音识别数据对LoRA和Q-Former组件进行预训练。指令微调阶段使用音频事件、音乐任务和语音事件的列表对音频-文本指令进行微调。最后，激活调整阶段针对音频字幕和语音识别任务的过拟合问题进行了调整。

SALMONN框架通过三个不同级别的基准测试来评估其认知听觉能力，涵盖了从简单的翻译和音频字幕到复杂的语音-音频共同推理和基于音频的叙事任务。结果表明，在第一级别的任务上，SALMONN框架在不经过激活调整的情况下取得了竞争性的结果。然而，对于第二和第三级别的任务，没有激活调整，SALMONN框架在任务上过度拟合，性能显著下降。但是，通过激活调整，结果得到了显著改善。

SALMONN框架标志着大型语言模型迈向通用听觉能力的重要一步。其多模型架构和激活调整阶段的引入使其在音频和语音任务中取得了显著的竞争性性能，为大型语言模型的通用听觉能力提供了新的可能性。