高通展示在安卓设备上运行ControlNet 生成一张图仅需11.26秒

近日，高通在IEEE/CVF计算机视觉和模式识别年会上展示了在智能手机上运行生成式AI模型的进一步进展。

今年2月，Stable Diffusion在一台运行高通最新骁龙8Gen2芯片的智能手机上能够在不到15秒的时间内生成一张图片。当时这个时间被认为是创纪录的，但随后不久就被研究人员多次打破了。它可能类似于高通公司目前在智能手机上使用ControlNet生成图片。该公司使用15亿参数的图像到图像模型，从开始到完成的时间为11.26秒。

生成AI图像通常需要一台快速的计算机，根据高通展示的效果，通过优化硬件和软件，智能手机也可以完成这项工作。

虽然OpenAI和Midjourney为他们的图像生成器提供了专用服务器，并向客户收取费用，但Stable Diffusion也可以在硬件上运行。要在合理的时间内生成高质量的图像，计算机将需要一张不错的显卡。其他为AI计算优化的芯片设备，如苹果的硅芯片Mac或iPhone，也可以完成这项工作。针对这些系统的Stable Diffusion客户端已经有一段时间了。

现在，高通首次展示了在一款搭载其芯片的安卓智能手机上进行的Stable Diffusion图像生成。

据了解，高通骁龙8Gen2芯片于2022年底推出，预计将于今年搭载在各个制造商的高价位安卓智能手机，比如最近宣布的三星Galaxy S23。根据高通的说法，通过量化、编译和硬件加速，他们成功在该芯片上运行了Stable Diffusion。

基于Stable Diffusion的所谓图像生成器已经在谷歌应用商店上出现了。然而，这些只是依赖服务器计算能力的Web界面，因此需要互联网连接。而在智能手机上直接运行Stable Diffusion则不需要互联网连接，这会占用一些存储空间。

据称，一张512x512像素、经过20次推理处理的图像在高通芯片上仅需不到15秒。该应用程序还提供了修补、图像编辑、风格转换和超分辨率等功能。所有这些都可以在设备上离线使用。

Stable Diffusion是否会在安卓智能手机上广泛可用还有待观察。首先，高通的视频只是一个概念验证，目前还没有相应的应用程序，而且可能需要一款新的高端智能手机。

其次，像Midjourney和DALL-E2这样的商业替代方案在使用上更便捷，在付出较少努力的情况下能够获得更好的结果。然而，能够在智能手机上执行这些计算密集型任务的技术进步仍然是令人瞩目的。

作为全球第二大智能手机芯片制造商，高通已经多年来一直在探索人工智能。2018年，该公司宣布在其最新的智能手机芯片中优化了针对AI任务的"神经处理单元"。同年，该公司对人工智能初创企业投资了1亿美元。

2022年6月，高通通过其AI堆栈为更多多样化的AI应用铺平了道路，该堆栈结合了多个用于移动芯片（如智能手机、汽车或耳机中的芯片）开发的AI工具。据高通称，这里展示的Stable Diffusion应用程序也是使用AI堆栈在智能手机上实施和优化的。