AI透视眼!Wild2Avatar可逼真渲染视频中被遮挡的人物
**划重点:**
1. 🚀 **挑战与解决方案**:面对现有研究在理想条件下渲染3D人物的局限性,Wild2Avatar专注于解决真实场景中摄像头视野被遮挡导致部分遮挡的问题。
2. 🔍 **创新方法**:通过场景参数化,将场景分解为遮挡、人物和背景三个部分,并利用神经辐射场分别建模人物和遮挡/背景,以实现对被遮挡人物的准确渲染。
3. 🌟 **实验验证**:通过在野外视频上的实验证明,Wild2Avatar方法在解决真实世界场景下的挑战方面取得显著成效。
在渲染移动人物的视觉外观时,面对摄像头视野被遮挡的问题是一项巨大的挑战。大多数现有研究在理想条件下渲染3D人物,要求场景清晰且无障碍。然而,在真实世界场景中,可能会有障碍物阻挡摄像头视野,导致人物出现部分遮挡,这使得这些传统方法无法应用。
为了解决这一问题,著名人工智能教授李飞飞团队推出了Wild2Avatar,这是一种专为视频中被遮挡人物设计的神经渲染方法。
研究团队提出了一种考虑遮挡的场景参数化方法,将整个场景分解为遮挡、人物和背景三个部分。此外,我们设计了广泛的客观函数,以帮助强化人物与遮挡、背景的分离,并确保对人物模型的完整性。我们通过在野外视频上进行实验证明了我们方法的有效性。
方法介绍:
为了实现逼真的呈现,该方法将场景参数化为三个部分:遮挡物 → 人 → 背景,并通过新颖的优化目标将这些渲染解耦。为了处理在真实世界场景中可能出现的遮挡情况,该方法引入了感知遮挡的场景参数化,将场景解耦为遮挡、人和背景三个部分。此外,该方法设计了广泛的客观函数,以帮助强化将人从遮挡和背景中解耦,并确保人体模型的完整性。
具体来说,方法使用了场景的自分解技术,通过倒置球面参数化的扩展,引入了感知遮挡的场景参数化。在这个参数化中,除了第一个由倒置球面参数化定义的球体外,引入了第二个内部球体,并将从摄像机到内部球体边缘的区域定义为遮挡区域。通过分开渲染这个区域,可以将遮挡与场景的其余部分解耦。为了确保对人的高保真和完整呈现,方法通过像素级光度损失、场景分解损失、遮挡解耦损失和几何完整性损失的组合来聚合三个渲染。
该方法的贡献包括:
引入了感知遮挡的场景参数化,将场景解耦为遮挡、人体和背景三个部分。提出了一种新的渲染框架,分别渲染这三个部分,并设计了新颖的优化目标,以确保遮挡的清晰解耦和更完整的人体呈现。在具有挑战性的遮挡密集野外视频上对方法进行了评估,展示了其在呈现遮挡人体方面的有效性。
Wild2Avatar通过与Vid2Avatar(基线)和原始视频的对比,呈现了其在解决被遮挡人物渲染挑战方面的独特性能。
项目体验网址:https://top.aibase.com/tool/wild2avatar
论文网址:https://arxiv.org/pdf/2401.00431.pdf
Pirros获200万美元种子轮融资,用AI简化建筑设计
文章概要:1.Pirros是一家应用AI简化建筑设计绘图的初创公司,获得200万美元种子轮融资。2.Pirros通过提取和索引建筑信息模型Metadata,将设计图纸集中存储和管理。3.Pirros计划利用资金扩大团队,改进产品,扩大市场。站长网2023-09-01 10:47:460000Reddit爆火小游戏“human or not”上线 通过聊天判断对方是不是AI
最近,一款名叫humanornot的小游戏在Reddit上火了,玩家需要在和一个用户聊两分钟后判断是真人还是ChatGPT。如果玩家猜对了,系统就会说,spoton!如果猜错了,系统就会有不同的回复。如果你以为很简单,那你就错了!站长网2023-04-25 16:31:160000尽管需求激增,过去一年只有 13% 的员工接受AI培训
文章概要:-最新调查显示,尽管员工渴望接受人工智能(AI)培训,但企业在此方面进展缓慢。-Randstad的调查发现,全球范围内有20倍增长的AI技能需求,但仅有13%的员工在过去一年中接受了雇主提供的AI培训。-尽管员工对AI充满期待,但企业却未能提供足够的支持,导致技能需求与培训机会之间存在不平衡。站长网2023-09-07 12:00:510000投放力度超短剧,一个手机壳App怎么敢?
ZanmangxCASETiFY手机壳“淀粉肠”本名ZanmangLoopy,是韩国动画片《小企鹅宝露露》中的一个配角,设定是一只害羞、敏感的小海狸。它的人物设定让大批年轻人从中找到情感共鸣,再加上可爱的形象,被多才多艺的网友积极二创,在国内大火了一把。站长网2024-01-18 09:07:490000美国专利商标局宣布与埃森哲签署7千万美元人工智能专利搜索工具合同
**划重点:**1.🤝美国专利商标局计划授予埃森哲联邦服务公司一项估值为7千万美元的合同,以开发人工智能专利搜索工具。2.🔄合同将涵盖对专利搜索人工智能能力的全面系统开发,以及对现有能力的维护和新增功能的提供。3.🌐美国专利商标局旨在通过此合同加强其专利自动化信息系统,提升专利审查过程中的现代化水平。站长网2024-02-18 16:12:290001