AI视频生成工具ID-Animator:可保持角色一致生成视频动画
划重点:
⭐️ 提出了一种零样本人类视频生成方法,可根据单个参考面部图像进行个性化视频生成
⭐️ 引入面向身份的数据集构建流水线,提高身份信息在视频生成中的提取效率
⭐️ 结合控制网络,实现单帧或多帧控制图像与面部参考图像的融合生成视频
近年来,生成具有指定身份的高保真人类视频引起了广泛关注。然而,现有技术在训练效率和身份保持之间往往难以取得平衡,要么需要繁琐的逐案微调,要么在视频生成过程中通常会丢失身份细节。研究提出了一种名为 ID-Animator 的零样本人类视频生成方法,可以在无需进一步训练的情况下执行个性化视频生成,只需单个参考面部图像即可。
ID-Animator是一种零样本个性化视频生成方法,可以根据单个参考面部图像生成个性化视频,无需额外训练。ID-Animator 继承了现有基于扩散的视频生成框架,并引入了一个面部适配器,用于从可学习的面部潜在查询中编码与身份相关的嵌入。
为了促进视频生成中身份信息的提取,研究引入了一个面向身份的数据集构建流水线,该流水线结合了从构建的面部图像池中生成分离的人类属性和动作标题的技术。基于这一流水线,进一步设计了一种随机面部参考训练方法,以精确捕获参考图像中的与身份相关的嵌入,从而提高了模型对于特定身份视频生成的保真度和泛化能力。
大量实验证明了 ID-Animator 在生成个性化人类视频方面优于先前的模型。此外,该方法与流行的预训练 T2V 模型(如 animatediff)和各种社区骨干模型高度兼容,在需要高度保持身份的视频生成的真实应用中表现出高度可扩展性。
ID-Animator特色功能亮点:
随机参考训练:在训练过程中,随机从之前提取的面部池中选择一个参考图像,通过这种蒙特卡洛技术,平均化来自不同参考图像的特征,减少身份不变特征的影响。
生成能力 :ID-Animator 在基本提示下展示了生成能力,可以通过文本定制人物的上下文信息,包括头发和服装等特征,创造新颖的角色背景,并使他们执行特定的动作,同时包括性别和年龄。
身份混合 :通过将来自两个不同 ID 的嵌入以不同比例混合,我们有效地在生成的视频中结合了两个 ID 的特征。
与 ControlNet 结合 :ID-Animator 能够提供单帧控制图像或多帧控制图像。当提供单帧控制图像时,生成的结果巧妙地将控制图像与面部参考图像融合。当提供多个控制图像时,生成的视频序列紧密遵循多个图像提供的序列。
产品入口:https://top.aibase.com/tool/id-animator
微信刷掌支付功能正式在广东711便利店上线
微信支付宣布,广东711便利店1500多家门店已正式上线微信刷掌支付功能,这是全国零售行业首发的刷掌支付方式。据介绍,该支付方式目前需要到店在微信刷掌支付设备上开通服务。开通之后,用户只需将手掌放在带有圆环标志的专用设备上,即可完成支付,类似于扫描付款码,并且不需要携带手机等设备。站长网2023-09-06 17:35:560000苹果用户最好购车选择!小米汽车:SU7很快OTA上线CarPlay
快科技4月6日消息,小米SU7已经交付了首批车型,有用户反馈称目前对于苹果用户的支持还不完善,比如CarPlay还未上线。对此,小米汽车官方在最新的问答回复中表示,无线CarPlay很快将通过OTA远程升级的形式为大家推送。而iPad控车功能目前已经上线,只需到苹果AppStore搜索下载小米汽车拓展屏”APP,连接车机热点后即可享受座椅空调调节、多媒体调节、影音娱乐等原生车机般的体验。站长网2024-04-08 12:47:410000微软研究员发布EmotionPrompt方法:增强多语言模型的情感智能
划重点:-研究关注情感智能对多语言模型的潜在影响,提出了EmotionPrompt方法。-使用情感提示显著提高生成任务性能,验证多语言模型具备情感智能潜力。-结果表明多语言模型的情感智能可以通过情感刺激来增强,有望改进各种应用领域。微软研究员最近发布了名为“EmotionPrompt”的研究成果,旨在增强多语言模型的情感智能。站长网2023-11-10 15:14:360000Midjoureny网站Alpha版本优化 增加3个分类
Midjoureny网站的Alpha版本进行了一系列体验优化,主要是对探索页面进行了改进。这次更新主要包括对鼠标悬停效果的丰富化,对页面内容的进一步优化,以及新增了热门、精选和随机浏览选项。此外,还新增了相似图片搜索功能,用户只需点击放大镜图标即可使用。站长网2024-01-25 10:49:480000iPhone应用侧载即将到来 苹果拟建立管控机制确保用户安全
据wccftech报道,苹果公司有可能在2024年上半年实现iPhone应用程序侧载。所谓应用侧载,是指用户可以不经过AppStore,直接从第三方获取应用程序。这一举措将突破苹果长期坚持的封闭策略。站长网2023-11-14 10:11:020000