Stability AI发布30亿参数语言模型StableLM Zephyr 3B 更小更快更节省资源
**划重点:**
- 🚀 Stability AI发布StableLM Zephyr3B,3B参数的大语言模型,优化用于聊天应用,包括文本生成、摘要和内容个性化。
- 🔍 新模型比之前的7B模型更小更快,可在更广泛的硬件上部署,资源占用更低,同时提供快速响应。
- 🌐 使用直接偏好优化(DPO)训练,结合优化的数据集,StableLM Zephyr3B在性能评估中表现出色。
Stability AI以其stable diffusion文本到图像的生成人工智能模型而闻名,但这已不再是该公司的全部业务。
最新发布的StableLM Zephyr3B是一款30亿参数的大语言模型,专为聊天应用场景进行了优化,包括文本生成、摘要和内容个性化。这款新模型是Stability AI早在今年四月首次提及的StableLM文本生成模型的较小、优化版本。
StableLM Zephyr3B的承诺在于,它比7B的StableLM模型更小,带来了一系列好处。由于体积更小,它可以在更广泛的硬件上部署,占用更低的资源,同时仍然提供快速响应。该模型经过优化,特别适用于问答和指令跟随类型的任务。
Stability AI首席执行官Emad Mostaque表示:“相对于以前的模型,StableLM经过更长时间、更高质量数据的训练,例如与LLaMA v27b相比,尽管体积只有其40%,但在基础性能上却能够匹配。”
StableLM Zephyr3B并非全新模型,而是Stability AI定义的现有StableLM3B-4e1t模型的扩展。Zephyr的设计方法受到HuggingFace的Zephyr7B模型的启发。HuggingFace的Zephyr模型是在开源MIT许可下开发的,旨在充当助手。Zephyr采用一种称为Direct Preference Optimization(DPO)的训练方法,StableLM现在也受益于这一方法。
Mostaque解释说,Direct Preference Optimization(DPO)是一种替代以前模型中使用的强化学习的方法,用于调整模型以符合人类偏好。DPO通常用于更大的70亿参数模型,而StableLM Zephyr是首批在更小的30亿参数大小中使用该技术的模型之一。
Stability AI使用了来自OpenBMB研究组的UltraFeedback数据集进行DPO。UltraFeedback数据集包含超过64,000个提示和256,000个响应。DPO、较小的体积和优化的数据训练集的组合为StableLM提供了在Stability AI提供的指标中表现出色。例如,在MT Bench评估中,StableLM Zephyr3B能够胜过包括Meta的Llama-2-70b-chat和Anthropric的Claude-V1在内的更大模型。
StableLM Zephyr3B是Stability AI近几个月推出的一系列新模型之一,该初创公司继续推动其能力和工具的发展。虽然公司忙于进入不同领域,但新模型并没有让Stability AI忘记文本到图像生成的基础。上周,Stability AI发布了SDXL Turbo,作为其旗舰SDXL文本到图像stable diffusion模型的更快版本。
Mostaque还明确表示,Stability AI还将推出更多创新。他表示:“我们相信,针对用户自己的数据进行调整的小型、开放、性能良好的模型将胜过更大的通用模型。随着我们新的StableLM模型的未来全面发布,我们期待进一步实现生成语言模型的民主化。”
支持534种语言,开源大语言模型MaLA-500
无论是开源的LLaMA2还是闭源的GPT系列模型,功能虽然很强大,但对语言的支持和扩展比较差,例如,二者都是以英语为主的大模型。为了提升大模型语言的多元化,慕尼黑大学、赫尔辛基大学等研究人员联合开源了,目前支持语言最多的大模型之一MaLA-500。MaLA-500以LLaMA2为基础模型,再用多语言数据库Glot500-c进行语言扩展训练,支持语言达到了惊人的534种。站长网2024-02-05 09:15:290000微软Windows停止支持Cortana 并专注于生成式 AI
概要:1.微软宣布将停止支持Windows上的Cortana,转而专注于生成式AI。2.Cortana将在OutlookMobile、TeamsMobile和MicrosoftTeams等应用中继续可用。3.微软计划在Windows11中引入新的AI功能,如Windows11语音访问和AI驱动的Bing。站长网2023-08-07 16:36:550000摩根大通正寻求雇佣更多AI员工 比同行高出两倍
根据Evident数据显示,今年2月至4月期间,摩根大通在全球宣传招聘3651个人工智能相关职位,几乎是花旗和德意志银行的两倍。通过AI帮助高盛集团和ING等公司的EigenTechnologies表示,2023年第一季度银行问询量是去年同期的五倍。站长网2023-06-02 00:11:240000单条视频点赞1350W,今年涨粉最快的抖音达人出现了
抖音10月涨粉榜已出,我们先一起来看榜:一眼望去,涨粉榜上久违地出现了涨粉量超过500W的账号——@大圆哥,该账号以787.9W的绝对优势位居涨粉榜榜首,为“沉寂已久”的内容生态注入了一丝活力。站长网2023-11-20 18:24:120001民意调查显示:大多数美国人支持政府监管人工智能
根据TheTechOversightProject一项针对1,200多名登记选民的一项新民意调查发现,54%的受访者认为国会应该采取“迅速行动来规范人工智能”,以促进隐私和安全,并确保该技术“为社会带来最大利益”。民意调查显示出罕见的两党合作迹象,共和党人和民主党人对监管人工智能表达了几乎相同的支持。站长网2023-05-05 10:14:500000