面部图像修复突破性AI方法Dual-Pivot Tuning 实现人脸模糊变高清
**划重点:**
1. 🌐 图像修复是一个复杂的挑战,研究人员提出了名为“Dual-Pivot Tuning”的个性化图像修复方法。
2. 🤳 该方法使用有限的高质量个体图像集,以保持图像对个体身份的高保真性。
3. 📊 实验证明,“Dual-Pivot Tuning”技术在盲目和少数样本的个性化面部图像修复方面优于其他最先进的方法。
图像修复一直是一个备受研究者关注的复杂挑战,其主要目标是在维持降质输入的感知质量的同时,创建视觉上吸引人且自然的图像。在没有有关主题或降质的信息的情况下(盲目恢复),了解自然图像范围至关重要。为了恢复面部图像,必须在确保输出保留个体独特面部特征之前包含身份信息。以往的研究已经探讨了使用基于参考的面部图像恢复的方法来解决这一要求。然而,将个性化整合到基于扩散的盲目恢复系统仍然是一个持久性的挑战。

加利福尼亚大学洛杉矶分校和Snap Inc.的研究团队开发了一种名为“Dual-Pivot Tuning”的个性化图像恢复方法。双轴调整是一种用于在盲目图像恢复背景下定制文本到图像的先验的方法。该过程涉及使用个体的一组有限数量的高质量图像来增强其其他降质图像的恢复。其主要目标是确保恢复的图像对个体的身份和降质输入图像具有高保真度,同时保持自然外观。
研究讨论了基于扩散的盲目恢复方法,当应用于降级的面部图像时,可能无法有效保留个体的独特身份。研究人员强调了以前在基于参考的面部图像恢复方面的努力,引用了各种方法,如GFRNet、GWAINet、ASFFNet、Wang等,DMDNet和MyStyle。这些方法利用单个或多个参考图像来实现个性化恢复,确保对降级图像中个体独特特征的更好保真度。与以往方法不同,提出的技术使用基于扩散的个性化生成先验,而其他方法使用前馈架构或基于GAN的先验。

研究概述了为图像恢复个性化引导扩散模型的方法。Dual-Pivot Tuning技术包括两个步骤:基于文本的微调,将身份特定信息嵌入扩散先验中,以及模型中心的枢轴,将引导图像编码器与个性化先验协调一致。文本到图像扩散模型的个性化运算符被定义为通过枢轴微调模型以创建定制版本。该技术包括上下文文本枢轴,注入身份信息,然后是基于模型的枢轴,利用通用恢复在实现高保真度恢复的图像之前。
提出的Dual-Pivot Tuning技术通过个性化恢复在恢复图像中实现了高身份保真度和自然外观。定性比较表明,基于扩散的盲目恢复方法可能无法保留个体的身份,而提出的技术在保持高身份保真度的同时,没有可感知的对降质输入的保真度损失。使用PSNR、SSIM和ArcFace相似性等指标的定量评估表明,所提方法在恢复图像方面对个体身份的高保真度非常有效。
通过Dual-Pivot Tuning实现的个性化恢复技术在恢复图像中实现了高身份保真度和自然外观。实验证明,与盲目和少数样本的面部图像恢复的各种最先进替代方法相比,定制模型在个体身份方面表现更好,并且在一般图像质量方面优于通用先验。该方法对不同类型的降解是不可知的,并在保持身份的同时提供一致的恢复。
项目体验网址:https://top.aibase.com/tool/personalized-restoration-via-dual-pivot-tuning
论文网址:https://arxiv.org/abs/2312.17234
通义千问开源基于Qwen1.5的代码模型CodeQwen1.5
通义千问昨晚开源了基于Qwen1.5的代码模型CodeQwen1.5,这是一个基于Qwen语言模型的代码专家模型。CodeQwen1.5拥有7B参数,采用GQA架构,经过约3Ttokens代码数据的预训练,支持92种编程语言,并且能够处理最长64K的上下文输入。站长网2024-04-18 16:16:590000文本合成语音工具Wunjo AI 可创建深度伪造动画
WunjoAI是一个由俄罗斯开发者创建的应用程序,可进行文本和语音识别,并进行文本到语音的合成,同时还能够创建深度伪造动画。该应用程序与其他类似的Web应用程序不同,它具有一项独特的功能,可以创建具有多种声音的多对话,并且字符数不受限制。站长网2023-08-24 23:31:480001华为MateX5联合谢霆锋发布动作微电影《锋行任务》 10月17日上映
华为手机在今日的官方微博上发布了一张预热海报,宣布华为MateX5即将在明天发布全新的动作微电影《锋行任务》,并且该电影由知名演员谢霆锋主演。这张预热海报中,谢霆锋手持华为MateX5亮相,下方文案为够硬核、够风潮、够机智”。据悉,《锋行任务》是一部动作微电影,由谢霆锋主演。而华为MateX5自上市以来,一直供不应求,长期缺货,官网显示暂不售卖”。站长网2023-10-16 13:56:580000Valve 解释关于 AI 的审核政策:不会允许侵犯版权的 AI 艺术作品 Steam 游戏上架
各个媒体在上周报道了一条来自Reddit用户potterharry97的六月发布帖子,声称Steam将不再发布由人工智能生成内容的游戏。同月稍后,另一位游戏开发者也发表了类似的帖子。然而,Valve表示情况并非如此。站长网2023-07-03 18:21:310004“1024 直接对标 ChatGPT!”科大讯飞星火大模型立 Flag、一手实测来了
短短半年之内,在大模型赛道上,国内外AI头部玩家陆续带着自己的AIGC产品迅速就位并“开跑”。现如今,谁能打造出中国版ChatGPT,已经不再是一个问题。但是,谁能做出更好的中国版ChatGPT,成为业界关注的重点。站长网2023-05-08 20:38:510000