魔搭社区开源多模态对齐统一框架OneLLM

OneLLM是一种多模态对齐的统一框架，它使用通用编码器和统一的投影模块与LLM（LargeLanguageModel）对齐多模态输入。OneLLM还通过使用modalitytokens实现了在不同模态之间的切换。OneLLM的核心组件包括多模态token的tokenizer、通用编码器、统一的投影模块和大语言模型。