通义千问团队开源首个千亿参数模型Qwen1.5-110B
站长网2024-04-28 20:50:580阅
通义千问团队开源的首个千亿参数模型，Qwen1.5-110B。该模型在基础能力和 Chat 评估中表现出色，与其他同类模型相比有显著提升。Qwen1.5-110B 采用了 Transformer 解码器架构，支持多种语言，并且具有高效的分组查询注意力机制。在 Chat 评估中，该模型相较于之前的版本表现更好，显示了更大规模模型的潜力。
110B 模型的性能提升主要来自于增加的模型规模，而训练方法并未大幅改变。然而，尽管未改变训练方法，模型规模的增加依然带来了更好的 Chat 模型效果，这表明模型规模的扩展在提升性能方面具有重要意义。
Qwen1.5-110B 是通义千问系列中规模最大的模型，也是首个拥有超过1000亿参数的模型。它在与最近发布的 SOTA 模型的性能比较中表现出色，显示出在模型大小扩展方面仍有很大的提升空间。
未来，团队将继续探索模型规模提升和扩展预训练数据规模两种方法带来的优势。
模型链接:
Qwen1.5-110B-Chat:
https://www.modelscope.cn/models/qwen/Qwen1.5-110B-Chat
Qwen1.5-110B:
https://www.modelscope.cn/models/qwen/Qwen1.5-110B
0000
评论列表
共(0)条相关推荐
吸引谷歌、 Salesforce 等巨头投资的生成式 AI 初创公司 Typeface 估值达 10 亿美元
站长之家(ChinaZ.com)6月30日消息:用于企业内容创作的生成式人工智能平台Typeface周四表示，在由Salesforce全球投资部门领投的B轮超额认购融资后，使公司估值达到10亿美元，融资总额达到1.65亿美元。站长网2023-06-30 19:36:070003Google Play Store整顿生成式AI应用 严控不当内容传播
Google近日发布了针对AI应用程序的新指导方针，旨在减少“不适当”和“被禁止”的内容传播。根据报道，GooglePlayStore宣布了对生成式AI类应用的整顿，要求这类应用限制不当内容的传播。根据最新政策，所有提供生成式AI功能的应用必须采取有效措施，防止生成和传播色情、暴力等受限制的内容。此外，开发者需要对AI模型进行严格的测试，以确保其生成的内容符合社会道德和法律规定。站长网2024-06-08 09:51:500000斯坦福大学实锤GPT-4变笨了，OpenAI最新回应：确实存在“智力下降”
大模型天花板GPT-4，它是不是……变笨了?之前有不少用户提出质疑，并晒出了不少证据。对此，OpenAI7月14日澄清:“我们没有把GPT4弄笨。相反的，我们的每个新版本，都让GPT4比以前更聪明了。”PeterWelinder是OpenAI的产品产品VP但为了验证OpenAI的说法，斯坦福大学和加利福尼亚大学伯克利分校的三位研究员调查了3月至6月期间ChatGPT性能的变化。站长网2023-07-21 22:05:360000干掉 ChatGTP ！！！
最近网上出现了不少用人工智能创作的绘画、语音读物等作品，逼真度相当高，警方也是迅速出警对一些违规的进行处置，但是不可否认的是一秒创作王羲之书法、梵高风格的绘画作品、写程序代码等技术已经走进了我们的生活……站长网2023-05-23 22:14:020000赛力斯2022年营收翻倍：问界M5/M7立大功
快科技4月29日消息，赛力斯日前公布2022年报，营业收入为341.05亿元，同比增长104.00%。赛力斯指出，营收变动原因主要系新能源汽车问界M5、M7单台售价较高，销量增加所致。据了解，赛力斯2022年全年销售整车26.72万辆，同比增长0.24%，其中新能源汽车累计销量13.51万辆，同比增长225.90%，增速超行业平均水平。站长网2023-05-12 20:38:190000
