0.6秒出图!手机跑Stable Diffusion创下最快速度,而这仅仅是开始
如今,随着将大模型塞进手机的进程加快,普通用户也能亲自体验生成式 AI 的魅力了。
2023已经行至尾声,这一年大模型和生成式 AI 成为人工智能圈的主流趋势。自 ChatGPT 出现以来,各式各样通用、专业的 AI 大模型层出不穷,喷涌之势已经不可阻挡。随着量化、网络剪枝和知识蒸馏等模型压缩技术进步,手机等终端设备 AI 算力持续增强,大模型在云端部署之外正在向终端落地迈进。
对于这场已经拉开了序幕的「终端侧革命」,芯片巨头和手机厂商们成为主力军,他们不断尝试在手机等终端设备上部署运行生成式 AI 大模型,时不时给人们一点小小的惊喜和震撼。
今年2月,我们第一次看到了在手机上运行超过10亿参数的文生图大模型 Stable Diffusion。那是在一部搭载高通第二代骁龙8移动平台的安卓手机上运行的,不到15秒的时间执行20步推理,生成了一张512×512像素的图像。这也创造了当时智能手机上最快的推理速度。

你以为这就是手机运行 Stable Diffusion 的速度极限了吗?显然不是。在上个月举行的2023骁龙技术峰会上,不到15秒的生成时间又被整整缩短数十倍。高通最新旗舰移动平台第三代骁龙8(以下简称骁龙8Gen3)让速度飞升成为可能。
在峰会现场,高通用搭载了骁龙8Gen3的手机运行相同的 Stable Diffusion 大模型,这次不到1秒(0.6秒)的时间便在本地生成了一张图像。从15秒到0.6秒,终端侧生成式 AI 大模型的进化速度让我们惊叹不已。

这只是高通在本届骁龙技术峰会上展示其终端侧 AI 能力的牛刀小试。除了生成速度(从15秒到0.6秒)有了质的飞跃,骁龙8Gen3将支持运行的大模型参数规模(从10亿到百亿)提升一个量级。
大模型赋能平台也不再局限于手机,高通下一代 AI PC 芯片骁龙 X Elite 亮相,将百亿参数大模型「塞进」PC 平台,极大拓展了生成式 AI 应用的广度。
至此,高通在终端侧 AI 领域积累起来的领导力和技术领先性进一步得到加强,更赋予了手机、PC,甚至耳机等厂商更多终端 AI 落地的想象力和可能性。
双平台并进,让生成式 AI 更加触手可及
自今年2月以来,高通先后在搭载第二代骁龙8移动平台的安卓手机上运行 Stable Diffusion、ControlNet,让大模型跑在手机端成为现实。此次骁龙峰会上发布的骁龙8Gen3将大模型终端侧落地的潜力提升到了新的高度,使其自身继续在该领域引领潮流。
据了解,骁龙8Gen3采用的高通 AI 引擎拥有面向移动终端的强大 Hexagon NPU,集成了升级后的硬件加速单元、微切片推理单元、加强张量、标量和矢量单元,所有单元共享2倍带宽的大容量共享内存。同时支持 INT8 INT16的混合精度以及 INT4、INT8、INT16和 FP16的所有精度。性能较前代提升98%,能效提升40%。
骁龙8Gen3集成的高通传感器中枢也更强,拥有2个始终感应 ISP、2个 micro NPU 和1个 DPS,内存增加了30%,支持 INT4精度,AI 性能提升了3.5倍。

可以说,骁龙8Gen3赋予了手机前所未有的强大终端侧 AI 性能,成为高通首个专为生成式 AI 打造的移动平台。那么这款旗舰级移动平台是否名副其实呢?这是我们大家最为关心的问题。
在该平台上,高通 AI 引擎首次支持多模态生成式 AI,包括了多种大语言模型、视觉语言模型等。尤其是在终端侧,骁龙8Gen3首次支持运行100亿参数的模型,规模迈入百亿量级。同时将 Stable Diffusion 生成图像的时间降到了1秒之内,再次创下最快速度。
在跑 Meta 大语言模型 Llama2-7B 时,骁龙8Gen3每秒可以生成20个 token,同样是手机终端侧最快之一。
高通公司产品管理高级副总裁 Ziad Asghar
现在,骁龙平台已经支持运行 OpenAI、Meta、微软、安卓、stability.ai、BLOOM、百度、智谱、百川智能、有道等企业或机构的大模型,既为这些厂商将自身大模型能力「下放」到终端侧提供契机,也为用户体验生成式 AI 带来了丰富的选择项。
牵一发而动全身,随着高通在赋能大模型终端落地上的进一步动作,采用骁龙8Gen3移动平台的手机厂商快速跟进,加速了大模型集成到手机的进程。
以首发搭载骁龙8Gen3移动平台的小米14系列新机为例,AI 大模型技术已经集成到小米全新澎湃 OS 中,并上线各种终端侧应用。有了大模型能力加持,小米14支持了 AI 妙画、AI 搜图、AI 写真、AI 扩图等多项功能,让输入法、WPS、相册焕发新的活力。
vivo 旗下品牌 iQOO12系列同样搭载了骁龙8Gen3移动平台,全新高通 AI 引擎使其影像体验大幅升级,照片质感和细节拉满。同时该系列手机预装的 OriginOS4系统引入生成式 AI 功能,AI 助手蓝心小 V 可以进行超能语义搜索、超能问答、超能写作、超能创图、超能智慧交互,智能化程度明显提升。

此前在骁龙峰会上,荣耀 CEO 赵明宣布新旗舰手机荣耀 Magic6将搭载骁龙8Gen3移动平台,已支持70亿参数的终端侧 AI 大模型,为用户提供更加智能化的体验。他在现场演示了终端侧 AI 进行照片搜索、生成视频等智能操作,效果着实不错。

手机终端融合大模型能力催生了大量或好玩、或有助于提升生产力的生成式 AI 应用。未来更加丰富的生成式 AI 应用会让更多用户切身体验到 AI 的魅力,提升自身交互体验,这也正是高通致力于在终端侧打造生成式 AI 能力的重要源动力之一。
在持续利用 AI 赋能手机移动平台之外,高通也在寻求利用并把握好大模型及生成式 AI 的发展契机,以此来重塑 PC 行业,扩大自身在 AI 领域的领先优势。
生成式 AI 有了「第二阵地」
高通发布了面向 PC 平台的全新处理器骁龙 X Elite,它采用4nm 制程工艺,集成定制的高通 Oryon CPU,运行速度是英特尔12核处理器的2倍,功耗比英特尔竞品低68%,高峰时段的运行速度比苹果 M2快了50%。
如果这些参数还无法让你相信骁龙 X Elite 的强悍,那就跑个分吧。骁龙 X Elite 拥有两个版本:分别是注重续航表现的23W 版本和主打性能的80W 版本。Geekbench6测试下的单核和多核得分情况如下图所示,单核性能尤为亮眼。

图源:fonearena
同样地,骁龙 X Elite 专为 AI 打造。它采用业界领先的、集成高通 Hexagon NPU 的高通 AI 引擎,异构算力高达75TOPS,Hexagon NPU 算力为45TOPS,为创意应用、视频会议和生产力助手的变革性体验提供了算力基础。高通 AI 引擎还支持了大量的加速应用程序和体验,创造无限可能性。
超强生成式 AI 能力也成为骁龙 X Elite 的一大标签,截止到发布时,它已支持在端侧运行超过130亿参数的生成式 AI 模型,面向70亿参数大模型每秒生成30个 token,AI 处理速度是竞品的4.5倍。下图为 PC 端 AI 作画能力的展示。

从手机到 PC,多样化的端侧平台为释放生成式 AI 能力提供了更多渠道。这也表明,高通在终端侧生成式 AI 落地这条赛道上继续「加码」,背后既离不开技术上的厚积薄发,也是其在大模型时代自身 AI 发展战略的延续。
手机、PC 加速迎来全新 AI 时代
在当今大模型时代,终端侧部署生成式 AI 这条路线越来越明晰。基于此,高通始终秉持「混合 AI 是 AI 的未来」这一理念和战略,注重云端与终端的协同发展,并认为终端侧 AI 是扩展生成式 AI 至全球更广泛范围的关键。
遵循这一前瞻性认知,高通一步步积累,逐渐在自身布局中构建了强大、全面的终端侧 AI 能力,并引领了端侧大模型及生成式 AI 的革新与进步。毫无疑问,此次骁龙峰会上发布的骁龙8Gen3、骁龙 X Elite 将进一步夯实高通作为终端侧 AI 领导者的地位。

高通全栈 AI 优化方案
如果大模型继续保持当前的落地步伐,我们将可以在手机、PC 甚至 XR 可穿戴设备、智能网联汽车等智能终端上体验到更多生成式 AI 应用,让人机交互更加自然且个性化。反过来,这些生成式 AI 应用以及带来的体验变革也将对这些终端设备产生深远影响,甚至改变它们的核心驱动力,重新定义它们。
我们以与人们工作、生活息息相关的手机为例,在追求绝对性能之外,人们越来越多地关注一些创意性应用。这就需要 AI 大显身手,生成式 AI 性能更是成为下一代手机处理器角逐的核心竞争力。
因此,骁龙移动平台近年来持续发力于此也在意料之中了。从去年的骁龙8Gen2到此次骁龙峰会上的骁龙8Gen3,AI 早已无处不在,生成式 AI 一跃成为「AI 皇冠上的新明珠」,受到了广泛关注和青睐。
随着大模型及生成式 AI 在手机终端落地的范围越来越广、成熟度越来越高,我们或许可以看到:传统智能手机被生成式 AI 能力全方位加持的「AI 手机」所取代。小米等手机厂商新发布的旗舰机在这方面已经初具雏形,利用生成式 AI 增强一些场景的使用体验和效率,为未来颠覆手机的质变做好了充分的量变。
同时,PC 终端的革新也有类似向生成式 AI 能力倾斜的发展趋势。在这方面,集成到 Windows 中的微软 Copilot 是一个很好的例证。当然还有更多生成式 AI 变革人与 PC 交互的场景和方式,借此实现更高效的智能协作、更简化的工作流程、更强大的生产力、更定制化的使用体验。
骁龙 X Elite 一出手便瞄准生成式 AI,势必会为当前的 PC 市场注入新鲜血液。在第六届虹桥国际经济论坛 ——「智能科技与未来产业发展」分论坛上,高通公司中国区董事长孟樸发表了主题演讲,认为下一代 PC 将进入一个全新的「AI PC」时代,以智能、高性能、高效等为特点, 并将对办公效率等方面产生重要意义。
相信未来高通会在骁龙8Gen3等移动平台和骁龙 X Elite 等 PC 平台的基础上,继续加强自身在大模型和生成式 AI 上的基础能力。加之更多搭载这些平台的厂商发布全新旗舰手机和 PC 产品,他们不断增强的自主性及自研能力可以让我们期待更多样化生成式 AI 应用的亮相。
不过,在「AI 手机」和「AI PC」的时代真正到来之前,还要看生成式 AI 能力是否能让用户产生强烈感知、是否能准确满足他们的需求、是否能对相关应用产生依赖性、以及是否能带动他们换机的欲望,这些都是高通和手机厂商现在及未来要考虑的问题。
结语
自发布以来,骁龙8Gen3、骁龙 X Elite 展现出的强大生成式 AI 能力留给人们无限的想象空间。正如高通公司总裁兼 CEO 安蒙所言,「我们正在进入将改变用户体验的生成式 AI 时代,也将创造一个移动行业和计算行业的全新周期。」
在这一进程中,作为终端侧领导者的高通正担负起应有的时代角色。一方面,利用自身强大的全栈 AI 优化能力汇聚软硬件各方,助力终端侧 AI 生态快速发展;另一方面,全新的跨平台技术「Snapdragon Seamless」实现安卓、Windows 和其他操作系统无缝衔接,这种多终端体验有望将 AI 在手机、PC 等终端上的落地进一步拓展开来。
可以预见,基于骁龙生态的 AI 体验会非常快速铺展开来,各种应用落地的速度也将大大加快。未来,高通将继续保持自身在终端侧 AI 的技术优势,推动大模型在部署应用时更便捷、更丰富、更有吸引力。同时携手各大厂商创新基于大模型的生成式 AI 应用,降低普通用户使用生成式 AI 的门槛。
随着新的生成式 AI 时代开启,高通是否能持续满足人们的期待,我想这次骁龙峰会已经给了我们答案。
参考链接:
https://www.qualcomm.cn/news/releases/2023/10/releases-2023-10-24-3
抖音联手KOL掀起龙年AI写真热 全网都在晒龙年芭莎AI大片
AI写真在新年再度崭露头角,此次与《时尚芭莎》合作的抖音联手“垫底辣孩”、“南翔不爱吃饭”、“Thurman猫一杯”等达人,共同打造了引人注目的龙年时尚大片,引发了一场全网AI写真热潮。截至目前,相关话题#全网都在晒龙年芭莎AI大片#和#达人为抖音AI写真做模版#在抖音平台上的播放量均达到千万级。站长网2024-02-06 14:29:140006网易云音乐内测上线“私人DJ” 主打AI推荐音乐助手
网易云音乐已内测上线“私人DJ”功能,该功能基于领先的歌曲推荐算法的创新升级,实现了推荐歌曲的智能讲解服务。“私人DJ”将被打造成用户探索音乐世界的智能助手,它在传统音乐栏目的基础上,升级了个性化能力,在基于用户偏好个性化推荐歌曲的同时,也为用户讲解音乐,讲解内容包括推荐理由、歌曲解读、音乐百科等丰富内容。站长网2023-07-18 03:17:010000字节跳动发布豆包视频生成模型 包括PixelDance、Seaweed两个版本
在2024年AI创新巡展上,火山引擎科技有限公司隆重推出了豆包·视频生成模型,标志着其大模型家族再添新成员。火山引擎总裁谭待在会上表示,豆包·视频生成模型具备多项创新性能,包括精准的语义理解、多动作多主体交互、强大的动态效果和一致性多镜头生成能力。站长网2024-09-29 08:44:160000Elevenlabs 推出文本生成超逼真音乐特效功能,免费试用!
划重点:⭐️全新功能:Elevenlabs发布文本生成音乐特效功能,帮助用户轻松制作逼真音效。⭐️免费试用:用户可免费试用该功能,享受强大的音效生成体验。⭐️其他功能:除了音效生成,Elevenlabs还提供语音克隆和文本转语音等强大功能。站长网2024-06-01 21:37:110000AWS与NVIDIA扩大合作,提供先进的生成式AI基础设施
**划重点:**1.🌐AWS将成为首家在云上引入NVIDIAGH200GraceHopperSuperchips的云服务提供商,为联合客户提供规模化的AI计算能力。2.🤖合作包括在AWS上托管NVIDIADGXCloud,这是首个搭载GH200NVL32的云端AI培训服务,加速先进生成式AI和大型语言模型的训练。0000