万卡训练史上最大参数模型!百度文心大模型4.0最快下周见
站长网2023-10-09 15:37:380阅
快科技10月9日消息,日前有媒体报道称,百度正加紧训练文心大模型4.0,已经接近可发布状态,这将是文心大模型3.5版本后,又一个重磅版本。
消息称,文心大模型4.0进展比预期快很多,将是基础模型的大升级,理解、生成、逻辑、记忆核心能力都将提升,特别是在逻辑推理、代码和数学等方面提升最明显。
根据我们获得的最新消息,上述消息基本属实。目前了解到,文心大模型4.0实际上已经在小流量测试。
根据我们拿到的消息,文心大模型4.0的参数规模要大于目前所有公开发布参数的LLM,也是国内首次使用万卡集群训练的大模型。这意味着文心大模型4.0的参数规模预计能突破万亿级别。
万卡集群什么概念?国内之前只有华为、阿里透露已建成万卡AI集群,但我们都没看到基于它推出的具体模型。万卡集群就不容易建了,如果用起来发挥最大化作用则更难了。
据分析,正是因为飞桨的深度联合,才能高效地基于万卡集群训练起如此规模的模型。
不仅训练成本在增加,文心4.0的推理成本比3.5增加很多,我们还没拿到具体每千token的推理成本,但据传大概是此前的8-10倍,这还是在高利用率(MFU)的情况下。如果利用率更低,估计成本还会继续增加。
不得不说,大模型真的很费钱。可见,打造领先的底层基础打模型,就是一场巨头的游戏。
根据IDC发布的首个大模型评估报告《AI大模型技术能力评估报告,2023》,百度文心大模型3.5拿下12项指标的7个满分,综合评分第一,算法模型第一,行业覆盖第一,综合能力在众多国产大模型中遥遥领先。
经过全面升级后,文心大模型4.0的训练速度、推理速度等将进一步提升,能否与GPT-4一战甚至超越后者的表现,我们拭目以待。
0000
评论列表
共(0)条相关推荐
颠覆任天堂?首个AI游戏引擎Buildbox 4 Alpha问世
要点:首个AI游戏引擎Buildbox4Alpha问世,能通过简单文字指令生成游戏资产和动画。黄仁勋预测未来5-10年游戏完全由AI生成,将颠覆传统游戏开发方式。AI技术在游戏开发中的应用将使游戏创作变得更加高效和普及化。站长网2024-03-25 19:12:140000李彦宏称重复造大模型将造成极大资源浪费 应该卷AI原生应用
在2023年世界互联网大会乌镇峰会上,百度CEO李彦宏发表了对AI大模型的看法。他认为,繁荣的AI原生应用生态将推动新一轮的经济增长,但开发好用的大模型存在很高的技术壁垒和成本门槛,社会资源不应该浪费在重复造轮上。站长网2023-11-09 11:43:450000DeepMind CEO惊人预言:10年内将实现通用人工智能
DeepMind首席执行官DemisHassabis预测,通用人工智能(AGI)将在10年内实现,与人类的认知能力相匹配。这与GeoffreyHinton和YannLeCun等其他AI领导者表达的担忧形成鲜明对比。AGI的发展是人工智能研究行业的热门话题,许多人认为这是一个只在科幻小说中发现的概念。然而,AGI的实现可能对人工智能和人类社会的未来产生重大影响。站长网2023-05-06 10:28:350000归母净利润暴增2748%!阿里发布2024财年半年报
快科技12月24日消息,近日,阿里巴巴发布2024财年中期报告(截至2023年9月止六个月),报告期内实现归母净利润620.38亿元,同比增长达2748%。报告显示,在报告期内阿里巴巴实现收入4589.46亿元,同比增长11%;经营利润760.74亿元,同比增长52%。归母净利润620.38亿元,同比增长2748%;摊薄每股收益3.01元,同比增长达2849%。0000视频解析工具Video-ChatGPT上线 可用文本描述视频内容
虽然像RunwayML这样的公司在将文本转换为视频方面取得了长足的进步,但VideoChatGPT却另辟蹊径,赋予语言模型分析视频的能力。Video-ChatGPT可以用文本描述视频的内容,例如,通过突出显示不寻常的元素来解释为什么剪辑可能很有趣。开发人员通过一段长颈鹿从跳水板上跳入水中的视频来演示这一点。Video-ChatGPT指出:“这并不常见,因为长颈鹿并不擅长杂技或潜水。”站长网2023-05-29 16:25:080000