AI透视眼!Wild2Avatar可逼真渲染视频中被遮挡的人物
**划重点:**
1. 🚀 **挑战与解决方案**:面对现有研究在理想条件下渲染3D人物的局限性,Wild2Avatar专注于解决真实场景中摄像头视野被遮挡导致部分遮挡的问题。
2. 🔍 **创新方法**:通过场景参数化,将场景分解为遮挡、人物和背景三个部分,并利用神经辐射场分别建模人物和遮挡/背景,以实现对被遮挡人物的准确渲染。
3. 🌟 **实验验证**:通过在野外视频上的实验证明,Wild2Avatar方法在解决真实世界场景下的挑战方面取得显著成效。
在渲染移动人物的视觉外观时,面对摄像头视野被遮挡的问题是一项巨大的挑战。大多数现有研究在理想条件下渲染3D人物,要求场景清晰且无障碍。然而,在真实世界场景中,可能会有障碍物阻挡摄像头视野,导致人物出现部分遮挡,这使得这些传统方法无法应用。

为了解决这一问题,著名人工智能教授李飞飞团队推出了Wild2Avatar,这是一种专为视频中被遮挡人物设计的神经渲染方法。
研究团队提出了一种考虑遮挡的场景参数化方法,将整个场景分解为遮挡、人物和背景三个部分。此外,我们设计了广泛的客观函数,以帮助强化人物与遮挡、背景的分离,并确保对人物模型的完整性。我们通过在野外视频上进行实验证明了我们方法的有效性。
方法介绍:
为了实现逼真的呈现,该方法将场景参数化为三个部分:遮挡物 → 人 → 背景,并通过新颖的优化目标将这些渲染解耦。为了处理在真实世界场景中可能出现的遮挡情况,该方法引入了感知遮挡的场景参数化,将场景解耦为遮挡、人和背景三个部分。此外,该方法设计了广泛的客观函数,以帮助强化将人从遮挡和背景中解耦,并确保人体模型的完整性。

具体来说,方法使用了场景的自分解技术,通过倒置球面参数化的扩展,引入了感知遮挡的场景参数化。在这个参数化中,除了第一个由倒置球面参数化定义的球体外,引入了第二个内部球体,并将从摄像机到内部球体边缘的区域定义为遮挡区域。通过分开渲染这个区域,可以将遮挡与场景的其余部分解耦。为了确保对人的高保真和完整呈现,方法通过像素级光度损失、场景分解损失、遮挡解耦损失和几何完整性损失的组合来聚合三个渲染。

该方法的贡献包括:
引入了感知遮挡的场景参数化,将场景解耦为遮挡、人体和背景三个部分。提出了一种新的渲染框架,分别渲染这三个部分,并设计了新颖的优化目标,以确保遮挡的清晰解耦和更完整的人体呈现。在具有挑战性的遮挡密集野外视频上对方法进行了评估,展示了其在呈现遮挡人体方面的有效性。
Wild2Avatar通过与Vid2Avatar(基线)和原始视频的对比,呈现了其在解决被遮挡人物渲染挑战方面的独特性能。
项目体验网址:https://top.aibase.com/tool/wild2avatar
论文网址:https://arxiv.org/pdf/2401.00431.pdf
IBM 发布新的 Watsonx.AI 和数据平台:超过 150 多家企业客户参与测试
IBM的watsonx.ai和数据平台的两个组件已经推出,第三个组件即将到来。IBM于周二宣布了watson.ai和watson.data的发布,并确认watsonx.governance将于十月推出。此外,IBM透露包括花旗银行、NASA、三星和Wimbledon在内的150多个企业客户参与了公司的测试版和技术预览。站长网2023-07-13 09:00:160000万人试用AI新应用:真人视频转动漫、像素风,从未如此丝滑
视频的次元壁就这么被打破了。在AI的加持下,一张照片可以千变万化,其实视频也能。这是新AI应用DomoAI公布的一些demo:只需要给AI一些原始视频,它就可以帮你把视频改成你想要的风格,比如动漫风、像素风或者3D卡通风格。这一应用在X平台上引起了很多人的关注。因此,除了官方demo,我们还能看到很多网友晒出的作品。站长网2023-12-19 18:56:330008曝iPhone 17系列顶配支持可变光圈 可控制进光量、景深等
苹果公司即将推出的iPhone17系列预计将包含至少一款支持可变光圈技术的机型。这一功能很可能成为该系列高端版本的专属特性。可变光圈技术允许用户根据拍摄需求调整镜头孔径的大小,进而控制进光量、景深和图像锐度。光圈的主要作用包括:控制进光量,与快门速度协同以确定曝光时间。调节景深,即背景虚化的程度,这对于拍摄人物肖像尤其重要。站长网2024-07-25 02:34:310000终结谷歌搜索!OpenAI免费开放ChatGPT搜索,无需注册
今天凌晨3点,OpenAI宣布向所有用户开放ChatGPT搜索功能,无需注册。与谷歌那种传统收录模式的搜索引擎相比,ChatGPT搜索可以更快抓取网络信息,能实现分钟级别的解析,这对于股票、体育、财经等,需要第一时间快速获取新闻内容的行业帮助非常大。同时借助大模型的能力,可以更好地解读用户的搜索想法,并且可以提供搜索结果的源地址。看到这个重磅福利之后,网友直接发了一连串谷歌安息~站长网2025-02-07 02:39:290000谷歌称Gemini Nano AI大模型暂不支持Pixel8手机
谷歌公司近日透露,由于硬件限制,其为移动设备开发的AI语言大模型GeminiNano暂时无法运行在新款Pixel8手机上,但未来有望在其他高端设备上推出。GeminiNano是谷歌旗下大模型Gemini的移动版本,能够在手机上本地运行,无需连接外部服务器。最初该模型仅计划支持Pixel8Pro手机。站长网2024-03-11 11:27:490001