阿里对口型项目EMO开启内测 可将照片转为唱歌视频
站长网2024-04-26 04:10:480阅
千呼万唤始出来!阿里对口型项目EMO终于开启内测了。它能够将一张简单的照片转化为唱歌视频,为用户提供了一种全新的数字人出镜体验。
EMO模型的特点:
简便的操作: 用户只需提供一张照片和克隆的语音模型,即可定制自己的数字人像。
低成本: 与Heygen等需要录制长视频和高算力成本的产品相比,EMO模型提供了一种免费且高效的解决方案。
广泛的适用性: 不仅限于写实人像,3D模型和二次元漫画风格也能生成视频,满足不同用户的需求。
自然的表达: EMO模型在talking head领域首次提出weak condition(弱控制)设计,通过较弱的控制条件引导diffusion去噪过程,生成表情丰富、表现力强的人脸。
技术实现:
EMO模型通过算法pipeline中的face locator和speed layers控制人脸生成区域与人头动作频率,保留了diffusion模型的生成创造能力。
模型在训练中学习音频特征与图像像素的对应关系,放大音频特征对相关像素的影响,确保人物表情口型与音频特征一致。
EMO在250小时的人物讲话视频上训练,不仅匹配了音频中具体发音与人像口型,还发现了音频中的语气特征与人物表情的关联性,将音频中的情绪色彩反映到人物微表情上。
内测链接申请地址:https://www.wjx.top/vm/exOVbr1.aspx#
项目地址:https://top.aibase.com/tool/emo
0000
评论列表
共(0)条相关推荐
华为否认中邮将全面承接鸿蒙智行用户中心代理
近日,有消息称中邮将全面接管华为车业务鸿蒙智行的用户中心代理,并初步计划投资300亿元用于各地汽车鸿蒙智行用户中心和门店的建设。此外,原先由赛力斯负责的用户中心将逐步移交中邮或进行托管,赛力斯将专注于造车业务。然而,华为方面迅速回应称这是不实报道。0000当韩国女团BLACKPINK进军二次元,清华叉院AI神器原来还能这么玩
如果你手机里有一些修图软件,你可能用过里面的「AI绘画」功能,它通常会提供一些把照片转换为不同风格的选项,比如动漫风格、写真风格。但如今,视频也可以这么做了:这些动图来自X平台(原推特)网友@CoffeeVectors生成的一段视频。他把韩国女团BLACKPINK代表作《DDU-DUDDU-DU》的原版MV输入了一个AI工具,很快就得到了动漫版的MV。站长网2023-11-17 09:08:440000报道称爆火的AI大模型 Kimi 每天获客成本或超20万元
划重点:-💥Kimi投放广告的每个用户获客成本约在10元,考虑到用户问答互动产生的算力成本,每个用户的获客成本达到12-13元。-💰近一个月来,Kimi在苹果端和安卓端的日均下载量为17805,每天的获客成本将烧掉至少20万元。-📈Kimi大模型在AI行业引起轰动,成为引领长文本处理新浪潮的领军者。站长网2024-03-25 19:11:200000OpenAI拟研发AI手机 软银将投资10亿美元
AI与手机结合会是什么样子呢!快科技9月29日消息,OpenAI正与被誉为iPhone之父”的前苹果首席设计师艾维(JonyIve)以及软银的孙正义进行深入谈判,拟成立一家合资企业,目的是打造一款AI时代的iPhone。据知情人士透露,孙正义、Altman和艾维已讨论创建一家公司,从三家公司中吸收人才和技术,软银计划向这家合资企业投资逾10亿美元。0000IGN满分“神剧”续作来了!《英雄联盟:双城之战》第二季2024年冬上线
9月1日消息,今天,在腾讯举办的腾讯视频V视界大会上,游戏《英雄联盟》衍生动画剧集《英雄联盟:双城之战》正式公布将推出续作。根据官方公布消息,《双城之战》的续作,将在2024年冬季正式上线,如此充裕的工期,让人很难不去期待该作最终呈现在观众面前的表现。值得一提的是,《双城之战》在上线后,于国内外均获得了极高的评价。0000