全模态大模型

6月16日，在人工智能框架生态峰会2023上，中国科学院自动化研究所正式发布“紫东太初”全模态大模型。“紫东太初”全模态大模型是在千亿参数多模态大模型“紫东太初”1.0基础上升级打造的2.0版本，在语音、图像和文本三模态的基础上，加入视频、信号、3D点云等模态数据，研究突破了认知增强的多模态关联等关键技术，具备全模态理解能力、生成能力和关联能力。