开源工具xTuring厉害了，三行代码就能创建自己的大语言模型
xTuring 是一个开源工具，可以让用户只用三行代码就能创建自己的大语言模型 （LLMs）。
据了解，xTuring由 Stochastic 团队开发，旨在优化和加速人工智能大语言模型。Stochastic 拥有一支由聪明的机器学习工程师、博士后和哈佛大学研究生组成的团队，专注于优化和加速法学硕士的人工智能。
自动文本传输、聊天机器人、语言翻译和内容制作等应用程序是人们努力利用这些概念开发和创建新应用程序的领域。训练和微调这些模型可能既耗时又昂贵。无论是使用 LLaMA、GPT-J、GPT-2还是其他方法，xTuring 都可以轻松快速地进行模型优化。
xTuring 可以适应不同的硬件配置，通过内存高效的微调技术 LoRA，加快学习过程，降低硬件成本。据称，xTuring 使用 LoRA 等内存高效微调技术来加速学习过程，并将硬件支出减少多达90%。通过减少微调所需的内存量，LoRA 有助于更快速、更有效的模型训练。
与其他微调技术相比，xTuring 在 LLaMA7B 模型的微调能力上取得了出色的结果。LLaMA7B 模型被用作 xTuring 微调能力的基准，团队将 xTuring 与其他微调技术进行了比较。数据集由52K token组成，测试中使用了335GB CPU 内存和4xA100GPU。
结果表明，使用 DeepSpeed CPU 卸载对 LLaMA7B 模型进行每个 epoch21小时的训练消耗了33.5GB GPU 和190GB CPU。在使用 LoRA DeepSpeed 或 LoRA DeepSpeed CPU 卸载进行微调时，GPU 上的内存使用量分别急剧下降至23.7GB 和21.9GB。CPU 使用的 RAM 量从14.9GB 下降到10.2GB。此外，使用 LoRA DeepSpeed 或 LoRA DeepSpeed CPU 卸载时，训练时间从每个 epoch40分钟减少到20分钟。
操作方面，用户可以通过简单的鼠标点击来微调模型，并且 xTuring 的用户界面非常简单易用。该团队表示，xTuring 是调整大型语言模型的不错选择，因为它支持单个和多个 GPU 训练，使用内存高效的方法，并具有直观的界面。
项目网址:https://github.com/stochasticai/xTuring
https://xturing.stochastic.ai/
AI孙燕姿爆火，谁先坐不住了？
最近，“AI孙燕姿”成了B站网红，B站上流传的各种“孙燕姿”翻唱其他歌手的视频，点击量往往超过了十万，甚至有些突破百万。在一个又一个视频里，印着孙燕姿头像的光盘缓缓旋转，由其声音翻唱的各种经典或流行歌曲包括周杰伦的《发如雪》《爱在西元前》、刘欢的《好汉歌》等等。站长网2023-05-22 16:08:110003免费试玩！商汤绘画大模型 RAPHAEL 出手即大作，击败 Stable Diffusion XL
商汤大模型团队提出的文生图大模型RAPHAEL，可以生成具有高度艺术风格或者摄影风格的图片，速度极快。RAPHAEL通过Space-MoE、Time-MoE和Edge-supervisedlearning三个组件实现。论文地址:https://arxiv.org/pdf/2305.18295.pdf站长网2023-07-14 00:35:460001OpenAI官方的Prompt工程指南：你可以这么玩ChatGPT
写好prompt已经成为LLM的一项必修课。随着ChatGPT、GPT-4等大型语言模型（LLM）的出现，提示工程(PromptEngineering)变得越来越重要。很多人将prompt视为LLM的咒语，其好坏直接影响模型输出的结果。如何写好prompt，已经成为LLM研究的一项必修课。0000ChatGPT 和 LLM 应用程序的快速工程技巧
本文主要为大家介绍如何有效地使用ChatGPT和其他大型语言模型（LLM）应用程序的快速工程技巧。文章强调了写清晰具体的指令和引导语言模型进行逐步推理的重要性。以下是一些关键技巧:1.提供上下文:为了获得有意义的结果，给语言模型提供足够的上下文信息是至关重要的。比如，在起草电子邮件时，告诉模型收件人、与收件人的关系、你的角色、预期结果以及其他相关细节，可以帮助模型更好地理解任务。站长网2023-07-25 15:51:460000Repilot开源：自动程序修复的高效补丁生成工具
Repilot是一款旨在提高程序修复效率的工具，它结合了语义导向的代码补全引擎和大型语言模型，能够自动生成有效的程序补丁。Repilot的核心功能包括错误修复、智能代码补全、与大型语言模型的集成、Docker支持以及详细的文档支持。如果您是开发人员或软件维护者，Repilot可能会成为您提高工作效率的得力助手。站长网2023-09-19 11:35:320000
