开源多模态模型

多模态生成一直是OpenAI、微软、百度等科技巨头的重要研究领域，但如何实现连贯的文本和相关图像是一个棘手的难题。为了突破技术瓶颈，加州大学圣克鲁斯分校研发了MiniGPT-5模型，并提出了全新技术概念“GenerativeVokens"，成为文本特征空间和图像特征空间之间的“桥梁”，实现了普通训练数据的有效对齐，同时生成高质量的文本和图像。

安徽工程大学、南洋理工大学和理海大学的研究人员开源了多模态大模型——TinyGPT-V。TinyGPT-V以微软开源的Phi-2作为基础大语言模型，同时使用了视觉模型EVA实现多模态能力。尽管TinyGPT-V只有28亿参数，但其性能可以媲美上百亿参数的模型。此外，TinyGPT-V训练只需要24GGPU就能完成，不需要A100、H100那些高端显卡来训练。