OnnxStream:内存友好的机器学习推理引擎 可在树莓派Zero 2上运行Stable Diffusion 1.5
OnnxStream是一款专注于减少内存占用、提高推理效率的机器学习推理引擎。它的设计目标是在资源受限的环境中运行深度学习模型,如树莓派Zero2,该设备只有512MB的RAM。
通过OnnxStream,用户现在可以在这种低功耗设备上运行复杂的算法,这对于需要在移动环境中处理大量数据的用户来说是一个重大突破。

项目地址:
https://github.com/vitoplantamura/OnnxStream/tree/846da873570a737b49154e8f835704264864b0fe
目前,OnnxStream的源代码已经在GitHub上开源,任何感兴趣的用户都可以查看和使用。这一创新为在资源有限的环境中运行深度学习算法提供了新的可能性,对于技术爱好者和开发者来说是一个令人振奋的消息。
核心功能:
1. 内存占用极低:OnnxStream的最大特点之一是其出色的内存管理能力。它可以将内存占用降低到极低的水平,甚至可以在RAM只有512MB的树莓派Zero2上运行大型深度学习模型,如Stable Diffusion XL1.0。
2. 权重加载器:OnnxStream提供了权重加载器(WeightsProvider)的接口,用户可以根据自己的需求实现不同的权重加载逻辑。默认情况下,OnnxStream提供了两种加载器:DiskNoCache和DiskPrefetch,分别用于不缓存和预加载权重数据。
3. 注意力切片:在运行UNET模型时,OnnxStream支持注意力切片(Attention Slicing),这可以显著减少计算中的内存占用,从而使模型在资源受限的设备上运行更加顺畅。
4. 动态量化和静态量化:OnnxStream支持动态量化和静态量化,这有助于减少模型的内存占用,并提高推理速度。用户可以根据自己的需求选择不同的量化方式。
5. 跨平台支持:OnnxStream可以在多个平台上运行,包括Linux、Mac、Windows和Termux。它的跨平台性使得用户可以在不同的设备上灵活使用。
AI日报:GPT-4o可自动生成Figma设计稿;视频换衣被I2VEdit搞定了;抖音“AI证件照”特效爆火;和GPT4玩狼人杀,人类因太蠢出局
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解:https://top.aibase.com/1、又炸!GPT-4o可自动生成Figma设计稿站长网2024-05-29 19:51:280000使用 VPN 之前,一定要看!
兄弟们,大家周末好呀。最近ChatGPT简直是全网爆火,尤其是在程序员圈,几乎是人均体验官。在日常的工作中,都已经开始用智能AI短暂的解放双手了。但是哈,想要体验一把并不是那么的容易,首先你要知道一个叫VPN的东西。出于一个凑字数,阿呸,是给小白同学普及知识的目的,咱们先来说一下什么是VPN。站长网2023-05-23 10:44:0100037微信视频号竞价广告上线
腾讯广告官方宣布,为了帮助广告主轻松实现单条广告投放到腾讯全生态,降低广告投放的人力投入、操作复杂度和管理难度,解决起量成本高等问题,腾讯广告全流量通投不断进化,将“微信视频号”纳入通投范畴。至此,单条广告可以同时投放到微信视频号微信朋友圈微信公众号与小程序腾讯平台与内容媒体(含QQ浏览器、QQ、腾讯音乐及游戏、腾讯新闻、腾讯视频)优量汇等广告版位,覆盖更多潜在用户,获取更好的投放表现。站长网2023-05-16 14:35:260000人形机器人+LLMs=? 答案就在这个2分钟视频里
图源备注:图片由AI生成,图片授权服务商Midjourney你可以用自然语言与机器人交谈,并要求它完成一项任务。未来对机器人的控制可能会像骑马,你可以把AI看作是骑手,机器人的物理智能就是马。当生成AI被植入数千个系统中时,迟早有一天也会来到人形机器人身上。不过,AgilityRoboticsCEODamionShelton最初并不相信它们的双足机器人需要这玩意儿。0001TrendForce:新型 AI 加速芯片助力 HBM3 和 HBM3e 主导 2024 年市场
站长之家(ChinaZ.com)8月2日消息:据市场研究公司TrendForce最新报告指出,2023年HBM(高带宽存储器)市场的主导产品是HBM2e,该产品由英伟达A100/A800、AMDMI200以及大多数云服务提供商的自主开发的加速器芯片所采用。站长网2023-08-02 17:35:020000