微软AI研究提出AI模型HMD-NeMo:可基于部分手部动作准确生成全身动作
**划重点:**
1. 🌐 微软Mixed Reality & AI Lab的研究人员提出HMD-NeMo,一种新的神经网络模型,能够在手部部分可见的情况下生成真实和准确的全身动作。
2. 🧠 HMD-NeMo采用时空编码器和新颖的可调节时间蒙版token(TAMT),在实时和在线情景下操作,解决了虚拟现实中全身动作生成的挑战。
3. 🚀 该方法通过在Motion Controllers和Hand Tracking等场景下进行广泛评估,并在多个数据集上超越现有方法,展示了其在解决虚拟现实中生成全身动作的问题上的重要进展。
在混合现实场景中,生成准确和真实的全身虚拟角色动作一直是一个持久性的挑战。传统解决方案通常使用头戴式设备(HMDs),依赖有限的输入信号,如头部和手部的6自由度(DoF)。然而,最近的进展在从头部和手部信号生成全身动作方面取得了令人印象深刻的表现。然而,它们普遍存在一个共同的限制,即假设手部完全可见。这一假设在手部跟踪依赖于自我中心传感器的情况下成立,由于HMD的有限视野,导致手部部分可见。

来自微软Mixed Reality & AI Lab的研究人员引入了一种创新的方法 - HMD-NeMo(HMD神经运动模型)。这一统一的神经网络能够在手部仅部分可见的情况下生成真实和准确的全身动作。HMD-NeMo实时在线运行,适用于动态混合现实场景。
HMD-NeMo的核心是一种时空编码器,具有新颖的可调节时间蒙版令牌(TAMT)。这些令牌在没有手部观测的情况下鼓励生成真实的动作。该方法采用循环神经网络高效捕捉时间信息,并使用变压器模型复杂地建模不同输入信号组件之间的关系。
研究纸提出了两种评估场景:Motion Controllers(MC),其中使用运动控制器跟踪手部,和Hand Tracking(HT),其中使用自我中心手部跟踪传感器跟踪手部。结果表明,HMD-NeMo是第一种能够在统一框架内处理这两种情况的方法。在HT场景中,即使手部可能完全或部分不在视野中,可调节时间蒙版token在维持时间连贯性方面表现出色。
该方法使用损失函数进行训练,考虑数据准确性、平滑度以及在SE(3)中进行人体姿势重建的辅助任务。实验证明了HMD-NeMo在AMASS数据集上的出色性能,该数据集包含转换为3D人体网格的大量人体运动序列。采用关节位置误差(MPJPE)和关节速度误差(MPJVE)等指标评估HMD-NeMo的性能。
与运动控制场景中的最先进方法进行比较显示,HMD-NeMo实现了更高的准确性和更平滑的动作生成。此外,通过跨数据集的评估,证明了该模型的泛化能力,在多个数据集上优于现有方法。
深入研究了不同组件的影响,包括TAMT模块在处理缺失手部观测方面的有效性。研究表明,HMD-NeMo的设计选择,如时空编码器,对其成功起到了重要作用。
HMD-NeMo在解决混合现实场景中生成全身虚拟角色动作的挑战方面迈出了重要的一步。其在处理运动控制和手部跟踪等多种场景中的多功能性,以及出色的性能指标,使其成为该领域的开创性解决方案。
论文网址:https://www.microsoft.com/en-us/research/publication/hmd-nemo-online-3d-avatar-motion-generation-from-sparse-observations/
爆火的网球穿搭能火多久?
在巴黎奥运上,中国网球运动员QueenWen—郑钦文成功摘得奥运女单网球金牌,成为首位在红土赛场上击败现役第一的亚洲球员,她本人获得大量关注的同时,也再次带火了网球穿搭。网球素有“贵族运动”之称,虽然这项运动的普及率不及羽毛球和乒乓球,但却因自带青春感和贵气感的穿搭风格风靡时尚圈,成为今年服装行业的一大风向标。网球穿搭是如何成为时尚圈新宠的?哪些品牌吃到了网球运动的流量?0000字节视频生成模型PixelDance上线即梦AI:用户可免费体验
快科技11月15日消息,字节跳动视频生成模型PixelDance和Seaweed在即梦AI正式上线,面向公众免费开放使用。用户进入即梦AI的视频生成”界面,在视频模型里选择视频P2.0Pro”或视频S2.0Pro”,即可分别体验这两款模型,目前网页版和手机端APP均已支持。字节跳动两款视频生成模型于9月底首次发布,并通过即梦AI、火山引擎分别面向创作者和企业客户小范围邀测。站长网2024-11-17 10:40:510000中国移动上线骚扰电话亲情防护功能:一人拉黑 全家屏蔽
快科技6月15日消息,当今社会,诈骗套路层出不穷,老年人常常成为诈骗分子的下手对象。尤其是如今很多年轻人在外打拼,父母老人不在身边,非常容易落入电信诈骗的圈套。对此,中国移动高频骚扰电话防护”最新上线了亲情防护功能,支持将黑白名单、号段拦截等防护设置同步给其他家庭成员使用。家庭成员开通高频后,无需单独设置,防护功能同样生效。同时,自己还能收到家人的拦截通知,掌握全家的骚扰拦截情况。站长网2024-06-16 14:09:420000国产编程语言MoonBit正式被Github收录!两年核心用户数突破3万
快科技12月9日消息,来自深圳本土团队研发的编程语言项目MoonBit正式被Github收录,对于一个仅有两年发展时间的编程语言来说,可谓是一种高度认可。同时MoonBit的核心用户也在迅速增长,以VScode插件用户数为统计指标,其核心用户数在两年内达到了近3万。站长网2024-12-09 22:21:4600002020年最受欢迎的15种商业模式
不少电商平台卖家和提供SaaS效劳创始人以为,构建一个有助于尽可能多地产生收入的业务方式都是至关重要的。很多企业可能以为只需一个方法可以销售自己的产品,在本文中,将跟大家分享增加收入的不同方法和以及相关的案例分析。要记住,那些成功的公司通常会应用多种方式增加收入来源。站长网2020-04-27 14:24:4500012