Tanuki通过自动模型蒸馏 轻松构建LLM技术驱动的应用
Tanuki.py是一个用于构建LLM(Large Language Models)驱动应用的工具库。该库旨在通过自动模型蒸馏,实现应用在使用过程中的成本和延迟的逐渐降低,最多可达到90%的成本降低和80%的延迟降低。
Tanuki的使用非常简单,用户只需使用@tanuki.patch和@tanuki.align装饰器即可将LLM引入Python函数。@tanuki.patch用于将LLM嵌入函数体,而@tanuki.align用于通过测试驱动对函数的行为进行对齐。对齐的目的是确保LLM输出与期望的输出一致,从而提高可预测性。
项目地址:https://github.com/Tanuki/tanuki.py
这个工具库的特色之一是对类型的支持。用户可以使用类型提示,如Python基本类型、Pydantic类、Literals、Generics等,确保LLM输出符合函数的类型约束,防止出现意外错误。
除了类型支持,Tanuki还提供了对RAG(Retrieval Augmented Generation)的支持,允许用户通过嵌入输出来集成下游RAG实现。这样,用户可以在降低成本和延迟的同时提高对长篇内容的性能。
在使用Tanuki构建LLM-powered函数时,用户可以通过对齐函数来验证期望的输出。这种测试驱动的对齐方法有助于确认函数是否符合预期行为,捕获行为细微差异,并支持迭代开发。
Tanuki的工作原理是在开发过程中调用tanuki-patched函数时,会使用n-shot配置的LLM生成类型化的响应。响应经过后处理,确保返回正确的类型。这些响应将作为未来训练数据存储,随着数据量的增加,将使用更小的模型进行蒸馏,从而实现更低的计算成本、更低的延迟,无需额外的MLOps努力。
Tanuki.py提供了一种简单而强大的方式,通过LLM构建应用,并通过自动模型蒸馏实现成本和性能的优化。其类型感知、RAG支持和测试驱动的对齐方法使其成为构建可靠、可预测、逐渐优化的LLM-powered应用的理想选择。
爆款图像工具Magnific背后:两个人的初创公司
最近,一个名为Magnific的图像超分&增强工具火了。Magnific能够提高图像的清晰度和锐度,并且能够通过你的提示将画面中的细节补充完整,甚至在一些细微之处能够通过AI帮助你完成想象。这不仅在给图像升频,更是完成了对图像的再创造。站长网2024-01-13 10:10:510000Real AI发布欧洲首个人本主义开源大语言模型项目HOMINIS
**划重点:**1.🖥️LEONARDO超级计算机将支持RealAI建设欧洲首个人本主义大语言模型HOMINIS。2.🌍项目HOMINIS旨在构建道德、无偏见的AI系统,减少环境影响。3.🤝RealAI与UNINA和NVIDIA合作,致力于推动创新解决方案,涵盖多个领域。站长网2023-11-23 16:52:100000知网与华为成立人工智能联合创新实验室 共创“华知”大模型
8月20日,同方知网与华为公司联合筹建的人工智能联合创新实验室在知网总部揭牌成立。知网表示,双方将充分发挥各自优势,积极开展联合创新和技术攻关,共建人工智能联合创新实验室,共创“华知”大模型,重点研究大模型在知识服务领域的应用,合作开发各类行业大模型和场景大模型,力争实现人工智能关键核心技术的突破和赶超,更好地服务我国科技创新跨越式发展。站长网2023-08-25 16:16:000000金山软件一季度营收19.7亿元 雷军:将持续深耕人工智能
今日,金山软件发布公告称,第一季度实现营收19.7亿元,同比增长6%,环比下降7%;净利润1.92亿元,同比增长96%,环比增长304%。对此,金山软件董事长雷军表示:二零二叁年第一季度,金山办公集团全力推进人工智能新技术在应用层面落地,积极投入相关研发;面对生成式人工智能和大语言模型带来的技术变革,金山办公集团重点发力人工智能领域,与大语言模型公司合作,专注自身业务,做好应用层。站长网2023-05-23 17:11:530000Midjourney V6版本预计今年发布 将实现质量飞跃
文章概要:1.MidjourneyCEODavidHolz承诺V6版本将带来更好的文本理解和图像生成,预计今年内发布。2.Midjourney计划分两个阶段推出Web版本,首先是更新的网站,然后是带有图像生成和社交功能的版本。3.Midjourney的路线图还包括3D和视频生成,Holz对3D生成特别乐观,认为它可以改善视频游戏图形。站长网2023-09-21 17:52:160000