MiniGPT

多模态生成一直是OpenAI、微软、百度等科技巨头的重要研究领域，但如何实现连贯的文本和相关图像是一个棘手的难题。为了突破技术瓶颈，加州大学圣克鲁斯分校研发了MiniGPT-5模型，并提出了全新技术概念“GenerativeVokens"，成为文本特征空间和图像特征空间之间的“桥梁”，实现了普通训练数据的有效对齐，同时生成高质量的文本和图像。

MiniGPT-4是一个具有图像理解能力的开源聊天机器人，基于Vicuna-13BLLM和BLIP-2视觉语言模型。