智源悟道3.0“Emu”模型开源
站长网2023-07-14 16:31:070阅
智源研究院发布了首个全能多模态预训练模型 Emu 的开源版本。Emu 在多项性能指标上超越了 DeepMind 的 Flamingo 模型,具备统一多模态学习框架和视频数据的大量采用的能力。

Emu 可以完成任意图生文和文生图的多模态任务,包括图像描述、图像问答、视频问答、文图生成、图像融合和多模态对话等。Emu 还具有强大的少样本上下文学习能力,可以根据给定任务的几个示例样本进行上下文学习。
Emu 在8个基准测试中展现出极强的零样本性能,具有强大的泛化能力。模型还具有世界知识丰富、视频理解能力强、图像融合和上下文图像生成等技术亮点。

Emu 首次大量采用视频数据,并创新性建立了统一多模态学习框架,将不同来源的多模态交错数据进行自回归建模,同时首次采用了海量视频作为图文交错序列数据。
模型训练方面,Emu 使用自回归方式预测多模态序列中的下一个元素作为统一的学习目标。总之,Emu 是一款功能强大的全能多模态预训练模型,具备广泛的应用前景。
论文链接:
https://arxiv.org/pdf/2307.05222.pdf
模型链接:
https://github.com/baaivision/Emu
Demo链接:
https://emu.ssi.plus/
0000
评论列表
共(0)条相关推荐
周鸿祎回应带队360直播带货:高度关注网红经济
刚刚,周鸿祎对市场传言作出回应,他表示会在下午的视频中分享自己对直播带货背后的短视频直播商业模式和网红经济现象的想法。有媒体报道,业内人士透露360计划效仿东方甄选的模式,选择和培养主播进行直播带货。这一战略举措引发外界广泛关注。据悉,周鸿祎近年来一直保持对网红经济的高度关注,并与多家企业家和明星就此展开交流。站长网2024-02-06 14:51:170000蚂蚁集团发布DevOps领域大模型评测基准DevOps-Eval
蚂蚁集团联合北京大学发布了面向DevOps领域的大语言模型评测基准——DevOps-Eval。该评测基准包含了计划、编码、构建、测试、发布、部署、运维和监控等8个类别的选择题,共计4850道题目。此外,还针对AIOps任务做了细分,并添加了日志解析、时序异常检测、时序分类和根因分析等任务。站长网2023-11-02 15:31:590000麦肯锡表示:“约一半”的员工正在使用生成式人工智能
全球咨询公司麦肯锡(McKinseyandCompany)在67个国家拥有3万多名员工,该公司正在大力采用新的生成式人工智能工具。目前,该公司近50%的员工正在使用ChatGPT和类似技术。站长网2023-06-08 07:06:190000Google CEO表示,生成式AI对搜索业务不构成威胁
划重点:-Google首席执行官SundarPichai表示,公司推出的生成式人工智能技术将不会取代其价值数十亿美元的搜索业务,而是会增强其功能,提高搜索结果的相关性。-Google在其年度GoogleI/O大会上宣布了几项新的人工智能功能和产品,包括Gemini1.5Flash、Gemma2、Veo和Imagen3。站长网2024-05-15 15:03:590000华为鸿蒙智行App正式上线 集成资讯、购车、远控等功能
站长之家(ChinaZ.com)12月13日消息:华为官方宣布,鸿蒙智行App正式发布,可前往华为应用市场、AppStore等各大应用市场下载体验。这款App作为一个综合性的平台,提供了丰富的功能,包括官方资讯、订车购车、智能车控、充电服务以及精选购物等。用户可以通过这款App远程操控汽车,例如锁车、控制车窗和后备箱、调节空调等。站长网2023-12-13 08:46:310000