登陆注册
20343

ComfyUI的IPadapter插件重大更新 运行速度提升但旧版工作流失效

站长网2024-03-26 17:14:232

ComfyUI的IPadapter插件在23号进行了一次破坏性更新,用户需谨慎升级。更新后,所有旧版工作流中的IPadapter节点将失效,需要用户重新创建。但这次更新也带来了一些重要的新功能,比如运行速度提升和资源占用降低。

为了帮助用户更好地理解和使用新版本,今天,ComfyUI IPadapter Plus作者发布了一个教程。以下是这个教程的主要内容概要:

重大更新后的IP Adapter需要用户使用新节点重建工作流。

新版引入了统一的Loader节点,可以自动处理模型加载,简化了选择过程。

通过使用多个Loader节点,可以避免重复加载模型,从而减少不必要的开销。

专用于加载FaceID模型的Loader节点被引入,即使使用高性能GPU,FaceID的Provider也应设置为CPU以节省GPU显存。

IP Adapter新增了Advanced节点,提供调整模型权重、反向内外权重类型等高级选项。

新的Noise Generation节点可以生成多种类型的噪声,并可以将噪声叠加到图像上。

现在可以使用任何图像作为负面图像输入,而不再局限于噪声。

当需要混合多个参考图像时,可以使用Image Batch节点,支持多种混合模式。

IP Adapter Embedding节点操作的是编码后的嵌入向量,需要先用IP Adapter Encoder分别对正向和负向图像进行编码。

IP Adapter Encoder节点的mask输入用于接收CLIP Vision mask,让编码器只关注感兴趣的细节。

新版IP Adapter的大多数节点都有对应的批处理版本,会将多个嵌入向量分别应用到潜在图像上。

Named IP Adapter节点可以避免非正方形参考图像的裁剪问题,能够将整张图像编码。

Named IP Adapter节点默认使用占满全图的attention mask,如果用户希望生成结果聚焦到图像的特定区域,可以提供一个自定义的mask。通过设置mask,可以让模型的注意力集中在感兴趣的区域,其他部分的影响会相应减弱。

原始视频点此查看:

https://www.youtube.com/watch?time_continue=6&v=_JzDcgKgghY&embeds_referring_euri=https%3A%2F%2Ftwitter.com%2F&source_ve_path=MjM4NTE&feature=emb_title

0002
评论列表
共(0)条