5分钟生成漫威3D数字人 渐进式3D生成框架“DreamFace”来了!
站长网2023-05-04 10:30:510阅
最近,影眸科技与上海科技大学的研发团队提出了一种文本指导的渐进式3D生成框架——DreamFace,结合了视觉-语言模型、隐式扩散模型和基于物理的材质扩散技术,可以生成符合计算机图形制作标准的3D资产。
项目网站:https://sites.google.com/view/dreamface
预印版论文:https://arxiv.org/abs/2304.03117
Web Demo: https://hyperhuman.top
HuggingFace Space:https://huggingface.co/spaces/DEEMOSTECH/ChatAvatar
这项技术可以解决基于神经辐射场(NeRF)的3D生成方法与传统3D渲染软件的兼容性问题,为3D生成技术的实际应用提供了新的可能性。
DreamFace可以根据文字描述生成3D资产,具有广泛的应用前景。这项技术可以帮助人们更好地理解和应对合成媒体的问题,提高媒体的可信度和透明度。
DreamFace的创新之处在于其几何体生成、基于物理的材质扩散生成和动画能力生成三个模块。
几何体生成模块使用CLIP框架根据文本提示生成几何模型。
基于物理的材质扩散生成模块针对预测几何体和文本提示生成面部纹理。
动画能力生成模块使用BlendShapes或生成的Personalized BlendShapes的面部资产具备动画能力。
DreamFace框架在名人生成、描述生成角色等任务上取得了良好的效果,只需5分钟生成指定3D资产,并且支持使用提示和草图进行纹理编辑,实现全局编辑效果(如老化、化妆)和局部编辑效果(如纹身、胡须、胎记),可用于影视、游戏等行业。
0000
评论列表
共(0)条相关推荐
Instruct-NeRF2NeRF,这个AI模型可以让用户通过文本编辑3D场景
Instruct-NeRF2NeRF使用生成式AI模型的方法,可以根据文本输入编辑3D场景。今年早些时候,加州大学伯克利分校的研究人员展示了InstructPix2Pix,这是一种允许用户使用文本指令在StableDiffusion中编辑图像的方法。例如,该方法可以替换图像中的对象或更改样式。站长网2023-04-19 15:09:190004每周AI大事件 | ChatGPT推iPhone版APP、OpenAI将开源新模型、Midjourney中文版在QQ开启内测申请
欢迎来到站长之家的[每周AI大事件],这里记录了过去一周值得关注的AI领域热点内容,帮助大家更好地了解人工智能领域的动态和发展风向。Part1动态[国内要闻]史上第一套高考AI模拟卷诞生王老吉宣布联合百度,运用文心大模型能力打造「高考AI模拟卷」。王老吉联合百度,邀请学科名师指导,语言理解与生成技术应用文心大模型能力,学习近十年的高考考点、题型等内容,智能生成“高考AI模拟卷”。站长网2023-05-19 09:37:100000瑞幸咖啡第三季度总净营收为72亿元 同比增长84.9%
瑞幸咖啡(OTC:LKNCY)近日发布了截至2023年第三季度的财报。财报显示,该公司第三季度总净营收为72亿元,比去年同期的38.946亿元增长了84.9%。净利润为9.880亿元,同比增长了87%;不按美国通用会计准则(Non-GAAP)计算,净利润为11.440亿元,而2022年第三季度净利润为5.149亿元。0000交通管理 AI 平台 NoTraffic 获得 5000 万美元 B 轮融资:利用 AI 技术改善交通
站长之家(ChinaZ.com)7月5日消息:基于人工智能的交通管理平台NoTraffic已获得5000万美元的B轮融资,该平台在美国各城市的发展势头强劲。站长网2023-07-05 18:20:230000生成式 AI 将使微软、谷歌和亚马逊的市值超过苹果公司的 3 万亿美元
Needham&Company分析师在向客户发布的报告中强调了生成式人工智能在重塑大型全球公司竞争格局方面的变革潜力。他们写道:「我们认为,包括苹果公司在内的许多公司即将被生成式人工智能所超越。」分析师指出,将生成式人工智能融入业务实践中的公司可以获得更快的产品和内容推出速度,从而提高收入并降低20-30%的成本。站长网2023-09-08 08:59:190000