LLM

Dify是一个易于使用的LLMOps平台，旨在赋予更多人创建可持续的AI原生应用的能力。通过为各种应用类型提供可视化编排，Dify提供了开箱即用的应用程序，还可以作为后端服务API提供。统一开发过程，使用一个API进行插件和数据集集成，并使用单一界面进行提示工程、可视化分析和持续改进。项目地址:https://github.com/langgenius/dify使用Dify创建的应用包括:

文章概要:1.LLMGuard是一个旨在增强大型语言模型（LLMs）安全性的工具包，可轻松集成和部署在生产环境中。2.它提供了广泛的评估器，用于LLMs的输入和输出，包括清理、检测有害语言和数据泄漏，以及防止注入和越狱攻击。3.该工具包旨在简化公司对LLMs的安全采用，通过提供一站式的必要工具，希望成为市场首选的开源安全工具包。

深度求索发布了一个67B的大模型，名为DeepSeekLLM67B。这个模型完全开源，可以通过访问chat.deepseek.com来使用。DeepSeekLLM67B在公开评测榜单上表现良好，特别是在推理、数学和编程能力方面。DeepSeek还开源了7B和67B的两种规模的模型，并提供了9个训练中途的模型checkpoints的下载。

供本地使用的LLM（大型语言模型）通常作为一组权重分布在数GB文件中。这些软件不能直接单独使用，这通常使得它们比其他软件更难分发和运行。给定的模型也可能经历了更改和调整，如果使用不同的版本，则会导致不同的结果。

划重点:⭐️医疗人工智能技术发展迅速，Apollo项目推出轻量级多语言医疗LLMs，旨在实现医疗AI的全球民主化。⭐️Apollo采用创新方法培训多语言医疗模型，为全球医疗AI技术的普及打开新局面。⭐️Apollo的成功为全球医疗服务领域构建了跨语言沟通桥梁，为未来多语言医疗AI创新奠定基础。

划重点:🔍加州大学伯克利分校的研究人员开发了一种名为Ghostbuster的新方法，用于检测LLM生成的文本。🧠Ghostbuster使用结构化搜索和线性分类的三阶段训练过程，表现出强大的性能。📈Ghostbuster在不同数据集上均表现出色，优于DetectGPT和GPTZero。

AutoLLM是一个强大的工具，能够让您在几秒钟内部署基于Retrieval-AugmentedGeneration（RAG）的大型语言模型(LLM)Web应用。它为开发人员提供了一种简化、统一和增强LLM应用程序的方式，具备多项核心功能，包括支持100多种LLM模型、统一API、20多种向量数据库、成本计算、以及一键将LLM引擎转换为FastAPI应用的能力。

声明:本文来自于微信公众号新智元（ID:AI_era），作者:桃子润，授权站长之家转载发布。【新智元导读】H100让模型推理性能最高跃升8倍!英伟达最新开源软件TensorRT-LLM，将彻底改变LLM推理现状。「GPU贫民」即将告别困境!刚刚，英伟达发布了一款开源软件TensorRT-LLM，能够加速H100上大型语言模型的推理。那么，具体能提升多少倍?

近日，外国博主r/aipromptprogramming在reddit上发布了一则介绍PromptTools的视频。在视频中，该博主展示了工具的界面和操作流程，并强调了该工具的开源性和自托管特点。开发团队希望用户能够下载并使用该工具，并积极参与其后续的改进。

微软亚洲研究院提出一种使用预训练的大型语言模型（LLM）来进行工业控制的方法。该研究通过使用GPT-4模型来控制空气调节系统(HVAC)，并且仅需少量示例样本就能达到优于传统强化学习方法的效果。传统的强化学习方法在处理异构任务、样本低效以及在线适应新场景等方面存在问题，而使用预训练LLM可以作为解决方案。

近日，HiDream.ai创始人梅涛在接受AI科技评论采访时表示，做一家对标MJ和SD的公司，比扎堆做LLM机会更大。据悉，梅涛曾在微软和京东工作多年，积累了丰富的技术和商业经验。他创办HiDream.ai的目标是在视觉基础模型领域超越国外的StableDiffusion和Midjourney，并实现全球市场的影响力。

据机器之心报道，斯坦福开发者发布了LLM微调工具Lamini，该工具被称为能为每个开发人员提供从GPT-3到ChatGPT的超能力。最近，Lamini推出了全新的Alpha公测版，通过简洁的代码和快速的速度，让微调变得更加容易。目前，4亿参数以内的LLM微调完全免费，这标志着LLM微调的开始。Lamini的优势包括免费、迅速、可扩展的prompt大小和学习能力。

CipherChat是一个AI框架，旨在系统地研究将安全对齐方法应用于非自然语言（具体来说是密码）的可行性。CipherChat通过密码提示、系统角色分配和简洁的加密演示，使人类与LLM(LargeLanguageModels)进行交互，全面检查LLM对密码的理解、参与对话的能力以及对不恰当内容的敏感度。

最近，GitHub上发布了一个名为Character-LLM的项目。该项目旨在通过对大型语言模型进行训练，以模仿历史上的杰出人物，如贝多芬和凯撒大帝，通过提供特定的人物信息来捕捉他们的语言风格和思维特征。项目地址:https://github.com/choosewhatulike/trainable-agents

“虽然在2012年到2015年间，深度学习在图像识别领域获得了巨大成功，但要达到通用人工智能，还需要时间。”这是读研究生时刘小洋的老教授告诉他的。

VSP-LLM是一种通过观察视频中人的嘴型来理解和翻译说话内容的技术，也就是识别唇语。该技术能够将视频中的唇动转化为文本（视觉语音识别），并将这些唇动直接翻译成目标语言的文本(视觉语音翻译)。不仅如此，VSP-LLM还能智能识别和去除视频中不必要的重复信息，使处理过程更加快速和准确。

LangChain的LLM应用开发平台LangSmith正式开放给了所有人使用，同时宣布获得了Sequoia领投的A轮融资。LangSmith是一个统一的DevOps平台，用于开发、协作、测试、部署和监控LLM应用程序。它是LangChain的重要组成部分，为用户提供了从原型到生产的一体化开发体验。官网地址:https://top.aibase.com/tool/langsmith

划重点:⭐️IBM研究推出了一种创新的LLM基准测试方法，可以将计算成本降低99%。⭐️该高效方法利用微型化基准测试，显著减少了评估LLM所需的时间和金钱成本。⭐️新方法已经引起AI社区的关注，并被广泛采用，有望推动人工智能模型评估领域的快速发展。

划重点:⭐️HuggingFace发布了一个新的医疗任务评估基准，旨在测试生成式人工智能模型在健康相关任务上的表现。⭐️OpenMedical-LLM基准由现有测试集拼接而成，涵盖多个医学领域，如解剖学、药理学、遗传学和临床实践。

划重点:1.🏥健康领域迎来革命性变革:可穿戴传感器技术不断监测生理数据，与大语言模型（LLMs）交叉，挑战在健康预测中的传统能力。2.🧠MIT和Google研究引入Health-LLM框架，通过可穿戴传感器数据调整LLMs，评估了包括GPT-3.5和GPT-4在内的八种LLMs在健康预测任务中的表现。

划重点:1.🔄自动化设置和执行:LLMAutoEval通过使用RunPod简化设置和执行过程，提供便捷的Colab笔记本，实现无缝部署。2.🎚可定制的评估参数:开发者可以通过选择两个基准套件（nous或openllm）来微调评估，提高LLMs性能。

智谱AI发布了专为中文大语言模型（LLM）而生的对齐评测基准AlignBench，这是目前第一个针对中文大模型的评测基准，能够在多维度上细致评测模型和人类意图的对齐水平。AlignBench的数据集来自于真实的使用场景，经过初步构造、敏感性筛查、参考答案生成和难度筛选等步骤，确保具有真实性和挑战性。数据集分为8个大类，包括知识问答、写作生成、角色扮演等多种类型的问题。

但凡偷懒一点，喜欢用浏览器或者翻译插件来看英语新闻的同学，估计都免不了在AI大模型火热的当下，被满篇的「法学硕士」晃得眼瞎不已。并不是大语言模型LLM（LargeLanguageModel）真的和法学有强关联，而只是一个缩写词的歧义解释而已。为什么大模型掀起的新一波AI浪潮已如此汹涌，而浏览器和翻译软件，还是坚持将LLM翻译成「法学硕士」?大模型这「硕士帽」什么时候能摘掉?

要点:1.陈丹琦团队开发了LLM-Shearing大模型剪枝法，可以将大型预训练模型剪枝至低成本，但高性能水平。2.剪枝方法将模型剪枝看作一种约束优化问题，同时学习剪枝掩码矩阵以最大化性能为目标。3.这种方法提供了一种有效的方式，可用于将剪枝后的模型继续预训练，最终超越从头开始预训练的模型。

Evisort成功开发了专门用于法律协议的大型语言模型（LLM），并将其作为其新的多方位生成AI引擎的关键组成部分。该LLM将使Evisort能够提供比通用的第三方LLMs更准确和响应更灵活的AI创新，从而帮助组织更好地管理合同。图源备注：图片由AI生成，图片授权服务商Midjourney

站长之家(ChinaZ.com)9月21日消息:亚马逊的Alexa即将迎来革命性变革，而其新面貌可能非常引人注目。在周三的秋季硬件发布活动中，该公司揭示了由其全新Alexa语言模型提供支持的全新Alexa语音助手。根据亚马逊设备与服务部门的现任高级副总裁DaveLimp所说，这个新的Alexa能够理解对话短语并做出恰当回应，更有效地解释上下文，并完成多个请求。

文章概要:-中国研究人员最近取得了在大型语言模型（LLM）指令调整领域的显着进展。-ImageBind-LLM是一种多模态指令调优方法，通过ImageBind进行大型语言模型的微调，能够响应多种形式的输入指令。-该模型使用视觉语言数据来调整多模态指令，特别建议仅使用视觉语言数据进行调整。

exllamav2是一个用于在现代消费级GPU上本地运行大型语言模型（LLM）的快速推理库。它能够利用最新的GPU技术，在不牺牲太多质量的情况下，以非常快的速度对巨大的神经网络进行推理。项目地址:https://github.com/turboderp/exllamav2

floneum是一个面向本地AI和社区插件的图形化工作流编辑器。它提供了一个简单易用的图形界面，无需编程知识就可以组合和运行各种插件与本地AI模型。它针对的是对新闻提要摘要或情感分析等语言处理任务感兴趣的非开发人员。它没有系统依赖性，即使您没有编程背景，也可以轻松安装。它可以让您使用从网站和新闻源等不同来源获取的信息来创建更加结构化的提示链。

OnPrem.LLM是一个Python包，它可以帮助用户在本地机器上使用非公开数据运行大型语言模型（LLM）。它受privateGPT仓库和SimonWillison的LLM命令行实用程序的启发，旨在帮助将本地LLM集成到实际应用中。项目地址:https://github.com/amaiya/onprem核心功能:1.支持在本地环境中运行不同的语言模型，无需将数据上传到云端

文章概要:1.Dictionary.com最近扩充了其词汇，将生成式人工智能、GPT和LLM等与人工智能相关的词汇加入其单词列表。2.除了增加词汇外，Dictionary.com还扩展了“幻觉”的定义，该定义涉及产生虚假信息并将其呈现为真实信息，与生成式人工智能有关。3.此外，该词典还计划在秋季增加大量新条目和定义，以跟上不断演化的英语语言。

大语言模型微调中心（LLMFinetuningHub）是一个开源项目，它包含了大规模语言模型(LLM)微调和部署的代码库以及相关研究成果。该项目由GeorgianPartners旗下的GeorgianIO团队开发，目的是帮助用户轻松地针对具体业务场景对各种LLM进行微调，并根据综合评估结果选择最适合的模型。

要点:共生矩阵的大模型GS-LLM-Beta在权威的中文基础模型评估指数C-Eval上击败众多巨头，杀入前三甲。共生矩阵团队过硬的算法积累是取得佳绩的关键，而不是资本。团队成员在大模型理论和工程方面都有非常深厚的积累。当前大模型市场存在很多噪音，但共生矩阵有信心突破技术瓶颈，引领中国的通用AI发展。

OpenAI联合创始人兼CEOSamAltman在日前麻省理工学院「想象力行动」活动上谈到了大语言模型（LLM）的发展趋势和安全问题。SamAltman认为，OpenAI正接近LLM规模的极限，规模越大并不一定意味着模型越好，而可能只是为了追求一个数字而已。LLM的规模不再是衡量模型质量的重要指标，未来将有更多的方式来提升模型的能力和效用。

站长之家(ChinaZ.com)8月11日消息:AMDGPU通过MLC（Machinelearningcompilation）项目在编译和部署大模型方面取得了进展，实现了与英伟达GPU相当的性能。MLC-LLM方案在AMDRX7900XTX上的性能达到了英伟达GeForceRTX4090的80%，而价格只有RTX4090的60%。

MetaphorAPI是一个基于大语言模型的革命性搜索引擎，旨在恢复搜索的魅力。团队通过购买GPU集群，利用GPT3等先进技术，为搜索引擎增加了人工智能的能力。

LP-MusicCaps是一种基于LLM的伪音乐字幕生成方法。该项目的目标是为音乐生成字幕。它通过将大型语言模型应用于标签数据集，生成了一个大规模的音乐字幕数据集，为研究者们提供了更多的训练数据，以便成功训练音乐字幕生成模型。项目地址:https://github.com/seungheondoh/lp-music-caps其核心功能包括:

【新智元导读】有了3D-语言模型，去重庆导航也不在「话」下!大型语言模型（LLM）和视觉语言模型(VLM)在各种评测基准中都展现出了强大的性能，比如可以看图说话、进行常识推理。但这些模型的训练过程并没有引入3D物理世界，也就无法理解更丰富的现实概念，包括空间关系、布局、物体反馈等。

研究人员推出了一款名为3D-LLM的新方法，可以将对3D环境的理解融入到大型语言模型中。这意味着聊天机器人将能够理解和处理3D空间的概念，从而更好地在三维世界中导航和操作。大型语言模型和多模态语言模型可以处理语音和2D图像，比如ChatGPT、GPT-4和Flamingo。然而，这些模型缺乏对3D环境和物理空间的真正理解。研究人员现在提出了一种称为3DLLM的新方法来解决这个问题。

引言

本文主要为大家介绍如何有效地使用ChatGPT和其他大型语言模型（LLM）应用程序的快速工程技巧。文章强调了写清晰具体的指令和引导语言模型进行逐步推理的重要性。以下是一些关键技巧:1.提供上下文:为了获得有意义的结果，给语言模型提供足够的上下文信息是至关重要的。比如，在起草电子邮件时，告诉模型收件人、与收件人的关系、你的角色、预期结果以及其他相关细节，可以帮助模型更好地理解任务。