阿里开源千亿参数模型 Qwen1.5-110B,性能超越 Meta-Llama3-70B
站长网2024-04-28 17:54:540阅
近日,阿里巴巴宣布开源其最新的 Qwen1.5系列语言模型 - Qwen1.5-110B。这是 Qwen1.5系列中规模最大的模型,也是该系列中首个拥有超过1000亿参数的模型。
据悉,Qwen1.5-110B采用了与其他Qwen1.5模型相同的Transformer解码器架构,并引入了分组查询注意力(GQA)机制,在模型推理时更加高效。该模型支持32K tokens的上下文长度,同时仍然是多语言的,支持英、中、法、西、德、俄、日、韩、越、阿等多种语言。
与最近发布的SOTA语言模型Meta-Llama3-70B和Mixtral-8x22B进行对比,结果显示Qwen1.5-110B在基础能力方面至少与Llama-3-70B相媲美。
阿里巴巴表示,与之前发布的72B模型相比,在两个聊天模型的基准评估中,110B模型表现显著更好,这表明即使在没有大幅改变后训练方法的情况下,更强大、更大规模的基础语言模型也可以带来更好的聊天模型性能。
Qwen1.5-110B是Qwen1.5系列中规模最大的模型,也是该系列中首个拥有超过1000亿参数的模型。它在与最近发布的SOTA模型Llama-3-70B的性能上表现出色,并且明显优于72B模型。
0000
评论列表
共(0)条相关推荐
微信宣布上线“安静模式” iOS版本可体验
今日,微信宣布上线了一个新功能,“安静模式”。在iOS微信更新到最新版本,通过“微信”-“我”-“设置”-“关怀模式”-“安静模式”,就能开启。之后,微信在消息通知、音视频通话、视频号内容播放等所有场景下,都不会再发出声音。微信表示,“安静模式”可以为聋人自如地玩手机创造更好的环境。“安静模式”下,一切无声,但如果你需要临时开启声音,可以点击手机“”音量:站长网2023-06-20 17:10:370001谷歌宣布推出适用于 Android 和 iOS 的「Bard 助手」
站长之家(ChinaZ.com)10月5日消息:在MadebyGoogle活动中,谷歌首次推出了Pixel8和PixelWatch2硬件,并宣布推出了搭载Bard的助手,该助手利用生成式AI为用户提供个性化的帮助。谷歌公司表示,这个新的AI增强助手可以帮助您规划下一次旅行,找到电子邮件收件箱中的详细信息,甚至创建购物清单。站长网2023-10-05 10:05:090000学生党福音!BrainyPDF支持用户与PDF文档聊天
BrainyPDF是一款先进的AI工具,为处理PDF文档开辟了新的可能性,为学生、研究人员和专业人士提供了宝贵资源。用户可以从BrainyPDF中获得即时信息、适用于各个领域的学术和研究支持、多语言支持、引用来源和文件安全存储等多方面的利益。这使BrainyPDF成为处理PDF文档的强大工具,为用户提供了便捷和可信赖的服务。体验地址:https://brainypdf.com/站长网2023-10-07 17:18:490000Snap AI聊天机器人涉嫌侵犯青少年隐私,英国展开调查
文章概要:1.英国信息委员会发出初步执法通知,对Snap公司的生成式AI聊天机器人提出担忧。2.调查指出Snap未能充分识别和评估"MyAI"对儿童和其他用户隐私风险,但调查结果尚不确定。3.Snap承诺与信息委员会合作,确保其风险评估程序,同时该AI机器人在发布前经过法律和隐私审查。站长网2023-10-07 12:12:580001今日AI:GPT-4.5意外曝光可能6月发布、UP主借AI识别情绪播放量186万、全球首个AI程序员诞生
欢迎来到【今日AI】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解:https://top.aibase.com/📢一分钟速看版▶OpenAI的GPT-4.5Turbo意外曝光,可能6月发布▶全球首个AI程序员诞生码农饭碗被砸站长网2024-03-13 15:22:530000