智源研究院推出新一代多模态小模型Bunny-3B
站长网2024-02-23 09:55:224阅
智源研究院近期提出了一项新技术，通过数据浓缩技术获得高质量训练数据，从而提升多模态小模型的性能。
具体来说，他们将 LAION-2B 压缩成2M 核心集，得到更丰富的预训练数据，同时精选数据集进行指令微调，训练出性能强劲的小模型。这一技术路线带来了新一代多模态小模型 Bunny 系列，其中 Bunny-3B 表现出色，在多个基准上超越了其他近期热门模型，与大模型相媲美。
Bunny 模型采用经典的 Encoder Projector LLM 架构，支持多种 Vision Encoders 和 LLM Backbone，提供可扩展的组合框架。在各类多模态模型评估中，Bunny 表现优异，甚至在一些指标上超越了13B 大模型。该技术的关键在于数据驱动的多模态模型研究，为多模态大模型轻量化提供了新思路和工具。
总的来说，通过数据浓缩技术获得高质量训练数据，Bunny 系列小模型在多模态任务上表现优异，将促进大模型技术的发展和普及。
项目地址:https://github.com/BAAI-DCAI/Bunny
模型下载地址:https://huggingface.co/BAAI/bunny-phi-2-siglip-lora
在线Demo:https://bunny.dataoptim.org
0004
评论列表
共(0)条相关推荐
AI游戏教育与产业联盟专委会正式成立
7月29日，2023中国首届国际AI游戏产业大会在上海图书馆东馆举行。在会上，AI游戏教育与产业联盟专委会正式成立。浦东新区区委宣传部副部长、文体旅游局局长孙毓表示，AI技术给游戏产业带来了前所未有的机遇，上海浦东将集聚一批AI为核心的研究机构，打造AI产业高地，集聚全球顶尖科研人才，为游戏产业提供强大的技术支持。浦东将在产业政策、运营规范、国际交流等方面，为AI和游戏产业的发展提供大力支持。站长网2023-07-31 08:45:550000一张照片定制AI拜年视频，悄悄惊艳所有亲戚（附教程）
有了AI，现在这春节过得越来越“科幻”了。前两天我们刚送出用AI绘画制作的微信红包封面，现在又流行起了AI拜年视频——小红书@蜡笔年糕小红书@爱宠大酱抖音@老麦的工具库是不是看起来有点眼熟?没错，一个月前火爆全网的“科目三”AI视频也是这样生成的:在阿里云通义千问APP中选择“全民舞王”应用，上传一张照片就能生成舞蹈视频，只不过这次动作换成了拜年姿势，套上了新春模板。站长网2024-02-07 16:06:400002Meta工程师称全球AI推理用电仅需新增两座核电站即可满足
近日，Meta公司的生成式人工智能工程总监谢尔盖·埃杜诺夫在硅谷数字工人论坛上透露，为满足明年全球不断增长的人工智能应用推理需求，仅需新增两座核电站的发电量即可。埃杜诺夫表示，他仅通过简单的数学计算得出这个结果。他专门分析了人工智能“推理”阶段的用电量。推理指的是在实际应用中利用人工智能模型进行预测、回答问题等过程。这与模型训练阶段的用电量不同，后者需要大量数据训练模型。站长网2023-11-14 15:23:360000英国最高法院裁定：人工智能不能成为专利申请的「发明人」
站长之家(ChinaZ.com)12月21日消息：英国最高法院于周三裁定，人工智能（AI）不能被列为专利申请的发明者，这一决定随着AI工具的广泛使用可能会产生重大影响。这起案件起源于StephenThaler在2018年提交的两项专利申请，一项涉及食品包装形状，另一项涉及一种闪光灯类型。0000反思潮牌：个性和规模相悖，快生意难以持续
双11已经落幕。各行业的品牌都在研究增长数据，发掘品类新机会。然而，那些风靡一时的潮牌，却在这场大促狂欢之前就“倒”下了。10月初，奢侈品集团LVMH宣布将旗下潮牌Off-White出售给美国品牌管理公司BluestarAlliance。9月29日，Off-White在中国的最后一家专卖店——位于杭州湖滨银泰in77的门店也正式闭店，一代街头传奇就此落幕。0000
