智源研究院推出新一代多模态小模型Bunny-3B
站长网2024-02-23 09:55:224阅
智源研究院近期提出了一项新技术，通过数据浓缩技术获得高质量训练数据，从而提升多模态小模型的性能。
具体来说，他们将 LAION-2B 压缩成2M 核心集，得到更丰富的预训练数据，同时精选数据集进行指令微调，训练出性能强劲的小模型。这一技术路线带来了新一代多模态小模型 Bunny 系列，其中 Bunny-3B 表现出色，在多个基准上超越了其他近期热门模型，与大模型相媲美。
Bunny 模型采用经典的 Encoder Projector LLM 架构，支持多种 Vision Encoders 和 LLM Backbone，提供可扩展的组合框架。在各类多模态模型评估中，Bunny 表现优异，甚至在一些指标上超越了13B 大模型。该技术的关键在于数据驱动的多模态模型研究，为多模态大模型轻量化提供了新思路和工具。
总的来说，通过数据浓缩技术获得高质量训练数据，Bunny 系列小模型在多模态任务上表现优异，将促进大模型技术的发展和普及。
项目地址:https://github.com/BAAI-DCAI/Bunny
模型下载地址:https://huggingface.co/BAAI/bunny-phi-2-siglip-lora
在线Demo:https://bunny.dataoptim.org
0004
评论列表
共(0)条相关推荐
仅4年！中国制造特斯拉出口突破100万辆
快科技9月28日消息，今天特斯拉对外事务副总裁陶琳宣布，今天第100万辆出口的中国制造特斯拉从上海南港码头装船启航。陶琳表示，从首批车辆出口至今，短短四年时间，中国制造特斯拉远销欧洲、亚太、澳新等多个国家和地区，获得海外市场的高度认可。她对每一位新老车主的喜爱和支持表达的感谢：我们持续用优质产品服务全球消费者，加速世界向可持续能源的转变！”0000AI视野：Stability AI发布代码模型Stable Code3B；书生·浦语2.0正式开源；阿里推新项目MotionShop；Win11新增AI生成图像功能
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解：https://top.aibase.com/🤖📈💻💡大模型动态StabilityAI发布全新代码模型StableCode3B站长网2024-01-17 15:43:150000谷歌准备在其AI搜索中投放广告
🔍划重点:1.谷歌第三季度财报显示，搜索业务仍然是母公司Alphabet的主要盈利来源，而公司讨论了广告如何融入其AI驱动的搜索体验。2.谷歌的搜索业务在强大竞争中表现出色，同时积极将人工智能应用于多个产品领域，但其广告业务仍然保持强劲增长，去年同期增长了11%。3.谷歌在AI搜索方面的长期规划，包括通过AI改进搜索和助手，并强调广告仍然是其核心关注点之一。站长网2023-10-25 18:21:090000百度文心一言响应速度一个月提高十倍 后台成本大幅降低
在昨日的人工智能专利运用助推产业发展论坛上，百度首席技术官（CTO）王海峰表示，百度是全球为数不多，进行全栈布局人工智能的公司。从高端芯片昆仑芯，到飞桨深度学习框架，再到文心预训练大模型，再到自动驾驶、小度、智能云等应用，都有领先业界的自研技术。站长网2023-04-27 08:33:210000淘宝联盟开启「未来战略计划」：扶持100万个AI科技先锋淘客
在今日的阿里妈妈淘宝联盟双11合作伙伴大会上，淘天集团阿里妈妈淘宝联盟总经理承渊表示，淘宝联盟未来三年将重磅开启「未来战略计划」，计划3年扶持100万个深度运用AI的科技先锋淘客、10万个服务10万消费者的用户先锋淘客、100个货品分发规模破亿的生态先锋服务商。站长网2023-10-12 17:42:370000
