智源研究院推出新一代多模态小模型Bunny-3B
站长网2024-02-23 09:55:224阅
智源研究院近期提出了一项新技术，通过数据浓缩技术获得高质量训练数据，从而提升多模态小模型的性能。
具体来说，他们将 LAION-2B 压缩成2M 核心集，得到更丰富的预训练数据，同时精选数据集进行指令微调，训练出性能强劲的小模型。这一技术路线带来了新一代多模态小模型 Bunny 系列，其中 Bunny-3B 表现出色，在多个基准上超越了其他近期热门模型，与大模型相媲美。
Bunny 模型采用经典的 Encoder Projector LLM 架构，支持多种 Vision Encoders 和 LLM Backbone，提供可扩展的组合框架。在各类多模态模型评估中，Bunny 表现优异，甚至在一些指标上超越了13B 大模型。该技术的关键在于数据驱动的多模态模型研究，为多模态大模型轻量化提供了新思路和工具。
总的来说，通过数据浓缩技术获得高质量训练数据，Bunny 系列小模型在多模态任务上表现优异，将促进大模型技术的发展和普及。
项目地址:https://github.com/BAAI-DCAI/Bunny
模型下载地址:https://huggingface.co/BAAI/bunny-phi-2-siglip-lora
在线Demo:https://bunny.dataoptim.org
0004
评论列表
共(0)条相关推荐
红果短剧是新内容时代的「超级电视台」
红果短剧不仅重塑了短剧行业的商业模式，同时使得短剧与长剧在用户群体和内容形态上的重合度不断提高，从「下沉」变得更加年轻化、主流化。华策集团董事长赵依芳、柠萌影视董事长苏晓、正午阳光创始人侯鸿亮、爱奇艺高级副总裁杨海涛……乍一看这串出席嘉宾的名字，还以为是长视频行业的开年盛会。然而，再看会场两侧醒目的字节跳动标识——这些在长剧领域熟悉的面孔，此次都是为红果短剧站台而来。站长网2025-01-15 09:19:430000法院裁定谷歌垄断 搜索引擎市场面临重重挑战
近日，一名联邦法官裁定谷歌在一般搜索服务和文本广告市场上拥有垄断地位，这一判决是在2024年5月的抗辩后作出的。法官阿米特・梅赫（AmitMehta）表示，谷歌通过其“默认分发”策略，不仅推动了广告收入的增长，还非法压制了竞争。梅赫塔在判决书中指出:“法院得出的结论是:谷歌是一家垄断企业，并且采取了措施来维持这一垄断地位。”这项裁决违反了《谢尔曼法》第2条。站长网2024-08-07 10:40:190000英伟达为英国GW4联盟打造新超算：基于Grace CPU Superchip的Isambard 3
英伟达宣布，将基于GraceCPUSuperchip为英国GW4联盟打造一台新的超级计算机，名为Isambard3。届时这台新的超算系统将安装在英国布里斯托尔和巴斯科学园，里面搭载了384颗基于Arm架构的GraceCPUSuperchip，预计性能和能效将达到现有Isambard2的六倍，使其成为欧洲最节能的系统之一。站长网2023-05-24 09:55:160000OpenAI 竞争对手 Anthropic 寻求新投资者
划重点:-💰AI初创公司Anthropic吸引了价值超过10亿美元的投资者兴趣。-🚫拒绝接受沙特阿拉伯资金，出于国家安全考虑。-💼拟通过售出FTX所持股份筹集资金，用于偿还客户债务。AI初创公司Anthropic近期吸引了投资者的兴趣，有一份价值超过10亿美元的股份备受关注。然而，该公司出于国家安全考虑已经拒绝了来自沙特阿拉伯的资金。0000炸裂！小红书蒲公英内测报备“拼广”！
“拼广”对于博主和品牌来说应该不算陌生。“拼广”也就是字面的意思，简单来说，就是在一篇笔记里，同时出现了多个品牌的产品，但每个产品都是付费的广告。但需要注意的是，并不是出现了多个品牌产品的就一定是拼广。站长网2023-08-16 11:53:450000
