谷歌发布 MediaPipe Diffusion 插件 推理效率比ControlNet高20倍以上
谷歌最近发布了 MediaPipe Diffusion 插件,这是一个可在移动设备上运行的低成本可控文本到图像生成解决方案。该插件可以提取条件图像中的特征,并将其注入到扩散模型的编码器中,以实现对图像生成过程的控制。
与 ControlNet 相比,MediaPipe Diffusion 插件的推理效率提高了20 倍,在 v100上运行甚至可以提速高达100倍。
扩散模型是一种在文本到图像生成中取得成功的方法,它通过迭代去噪的方式逐步生成目标概念的图像。通过将文本提示作为条件,可以大大提高图像生成的效果。然而,仅凭文本来控制图像的生成往往难以获得理想的结果,例如具体的人物姿势和面部表情。
为了解决这个问题,谷歌研究人员设计了 MediaPipe Diffusion 插件,该插件是一个轻量级的模型,具有600万参数,使用 MobileNetv2中的深度卷积和反向瓶颈实现快速推理。
插件可以连接到预训练的文本到图像生成模型中,并提供额外的条件信号,从而实现对图像生成过程的控制。
研究人员还开发了基于扩散的文本到图像生成模型与不同插件的应用示例,包括人脸标记、全身标记、深度图和 Canny 边缘。通过调节插件的参数,可以生成不同风格和特征的图像。
对于 face landmark 插件,研究人员进行了定量评估,并与 ControlNet 进行了比较。实验结果表明,插件生成的样本质量比基础模型好得多,而推理时间只增加了2.6%。此外,在移动设备上的性能测试中,MediaPipe 插件表现出明显的优势。
总之,谷歌的 MediaPipe Diffusion 插件是一个可在移动设备上运行的图像生成控制模型,可以提高推理效率并实现对图像生成过程的精确控制。这将为移动端应用提供更灵活和定制化的生成式 AI 能力。
淄博烧烤热下的加盟启示录
在微信运动的记录中,李彦最近每个周末都要走20000步,他并非运动爱好者,而是在精心挑选周边的店铺。“今年经济恢复还不错,但我时间不富裕,就想加盟个品牌,但店铺得自己跑。”每个周末,李彦都日行万步,结合自己地产行业累积的资源和知识,评估起店铺的位置、人流以及周边人群的消费水平。而加盟品牌能够吸引像李彦这样普通打工人的还不止这些,想要兼职创业的张可,最近在选择项目时,着实被震惊到了。站长网2023-05-12 20:38:100000AI漫画生成应用Dashtoon 小说推文制作一大利器
近日,一款名为Dashtoon的AI漫画生成应用引起了业界的关注。经过实际体验,我们发现该应用的功能相当成熟,不仅能够一次性生成漫画,还为用户提供了充分的编辑和自定义空间。这一发现无疑为国内许多仍处于手工使用各种AI工具拼凑阶段的小说视频制作提供了新的启示和机会。体验地址:https://top.aibase.com/tool/dashtoon站长网2024-03-04 19:15:170000一定要做个人IP!一定!
各位村民好,我是村长。尽管打造个人IP异常的困难,也不是每一个人都能成功的。但我依然建议各位,可以尝试从现在起,去建设自己的个人IP。其实个人IP不是这个时代的产物,几千年前就出现了,只是在互联网上,我们给了它一个新的名字而已。对IP我们用更通俗的词语描述就是印象,就是你在别人心目中是谁,有什么特点,别人会在什么想起你、需要你。0000WPS致歉:所有用户文档不会被用于AI 训练目的
11月19日消息,近日有媒体报道称,此前《WPS隐私政策》中提到“为提升您使用我们提供的包括但不限于在线文档美化、在线PPT美化、在线表格美化的AI功能的准确性,我们将对您主动上传的文档材料,在采取脱敏处理后作为AI训练的基础材料使用”,被质疑涉及用户隐私问题。站长网2023-11-19 16:13:280000特斯拉家庭充电服务包更新 赛博充4900元起、三代家充6800元起
特斯拉今日宣布更新其家庭充电服务包,均改为国标10米安装服务,赛博充4900元起(降价600元)、三代家充6800元起(降价1200元)。Cybervault充电桩为中国市场量身打造,重量为13千克,造型采用Cybertruck设计语言,产品以保护外箱和充电设备一体化,满足客户对安全,经济,美观,耐用的需求。站长网2023-10-18 21:34:350000