开源工具xTuring厉害了,三行代码就能创建自己的大语言模型
xTuring 是一个开源工具,可以让用户只用三行代码就能创建自己的大语言模型 (LLMs)。
据了解,xTuring由 Stochastic 团队开发,旨在优化和加速人工智能大语言模型。Stochastic 拥有一支由聪明的机器学习工程师、博士后和哈佛大学研究生组成的团队,专注于优化和加速法学硕士的人工智能。
自动文本传输、聊天机器人、语言翻译和内容制作等应用程序是人们努力利用这些概念开发和创建新应用程序的领域。训练和微调这些模型可能既耗时又昂贵。无论是使用 LLaMA、GPT-J、GPT-2还是其他方法,xTuring 都可以轻松快速地进行模型优化。
xTuring 可以适应不同的硬件配置,通过内存高效的微调技术 LoRA,加快学习过程,降低硬件成本。据称,xTuring 使用 LoRA 等内存高效微调技术来加速学习过程,并将硬件支出减少多达90%。通过减少微调所需的内存量,LoRA 有助于更快速、更有效的模型训练。
与其他微调技术相比,xTuring 在 LLaMA7B 模型的微调能力上取得了出色的结果。LLaMA7B 模型被用作 xTuring 微调能力的基准,团队将 xTuring 与其他微调技术进行了比较。数据集由52K token组成,测试中使用了335GB CPU 内存和4xA100GPU。
结果表明,使用 DeepSpeed CPU 卸载对 LLaMA7B 模型进行每个 epoch21小时的训练消耗了33.5GB GPU 和190GB CPU。在使用 LoRA DeepSpeed 或 LoRA DeepSpeed CPU 卸载进行微调时,GPU 上的内存使用量分别急剧下降至23.7GB 和21.9GB。CPU 使用的 RAM 量从14.9GB 下降到10.2GB。此外,使用 LoRA DeepSpeed 或 LoRA DeepSpeed CPU 卸载时,训练时间从每个 epoch40分钟减少到20分钟。
操作方面,用户可以通过简单的鼠标点击来微调模型,并且 xTuring 的用户界面非常简单易用。该团队表示,xTuring 是调整大型语言模型的不错选择,因为它支持单个和多个 GPU 训练,使用内存高效的方法,并具有直观的界面。
项目网址:https://github.com/stochasticai/xTuring
https://xturing.stochastic.ai/
华为4月17日首发全液冷超充架构 充电桩功率“遥遥领先”
日前,快科技了解到,华为宣布将在4月17日举行华为智能电动新品发布会,首发全液冷超充架构、充电网络解决方案,同时还将发布AITO问界M5智驾版。此前报道显示,华为液冷超充桩在某汽车园区内就已曝光,充电桩通体呈大红色,造型方正,底部设有散热装置。充电桩铭牌信息信息显示,其制造厂商为华为数字能源技术有限公司,外部尺寸295*340*1700mm,型号为DT600L1-CNA1型。站长网2023-04-16 09:06:290000DreamGift:你的AI个性化购物助手 帮你轻松找到完美礼物
DreamGift是一个帮助用户挑选完美礼物的在线服务。它利用人工智能技术,根据用户提供的礼物接收者信息、具体场合以及预算,为用户提供个性化的礼物建议。体验地址:https://dreamgift.ai/站长网2023-09-14 12:40:550000新春开工AIGC领域就业需求暴增 同比增长6倍
猎聘大数据研究院最新发布的《2024新春开工首周就业洞察报告》揭示了一个令人瞩目的趋势:随着人工智能与图形计算领域的新星OpenAISora的涌现,相关行业的就业需求呈现出了惊人的增长。根据猎聘大数据显示,与去年相比,AIGC领域相关职位数量增长了惊人的612.5%!更令人瞩目的是,这些职位的平均年薪高达44.37万元,吸引了大量求职者的目光。站长网2024-02-27 15:40:190000手机小视频制作软件“逗拍”APP将于6月30日停服
手机小视频制作软件“逗拍”发布停服公告称,因平台运营策略调整,决定将于6月30日正式停止运营及服务。正式停止运营及服务后,金币、会员权益、使用记录等所有帐号数据将会被全部删除。停服具体事宜安排如下:如您仍有剩余的金币、会员权益尚未使用,可在2023年6月30日前在应用内或[逗拍]公众号联系客服处理站长网2023-05-22 15:06:350000华为发布AI大模型存储新品OceanStor A310、FusionCube A3000
7月14日,华为发布两款AI大模型存储新品OceanStorA310、FusionCubeA3000。其中,OceanStorA310面向基础/行业大模型数据湖场景,实现从数据归集、预处理到模型训练、推理应用的AI全流程海量数据管理。站长网2023-07-14 16:31:090000