SALMONN

**划重点:**1.🤖SALMONN是一个单一的音频-文本多模型大型语言模型框架，旨在使大型语言模型能够直接理解和处理包括语音、音频事件和音乐在内的通用音频输入。2.🎙️该框架通过使用两个听觉编码器（非语音BEATs音频编码器和源自OpenAIWhisper框架的语音编码器）以及窗口级Q-Former等组件，实现了高水平的时间分辨率，用于音频-文本对齐。

SALMONN是一个由清华大学电子工程系和字节跳动合作开发的大型语言模型（LLM），能够处理语音、音频事件和音乐输入。