微软推EgoGen:创新性3D数据合成模型 可生成丰富多模态数据
划重点:
1. 🚀 EgoGen是微软与苏黎世联邦理工学院合作推出的创新3D数据合成模型,解决第一人称视角训练数据生成的难题。
2. 🌟 该模型采用双阶段强化学习方案,通过高效的自我感知视觉代理和“注意”奖励,优化生成模型,使虚拟人物更自然、逼真地感知环境。
3. 📊 经过综合评估,EgoGen生成的高质量合成数据显著提升了在头戴式摄像头建图与定位、摄像头跟踪以及第一人称视角恢复人体网格等任务上的算法性能。
站长之家(ChinaZ.com) 2月23日 消息:微软近期推出的EgoGen引起了广泛关注,这是一项创新的3D数据合成模型,旨在应对第一人称视角训练数据生成中的各种挑战。随着AR、VR等设备的广泛应用,第一人称应用越发增多,但相关研发面临着图像模糊、视觉混乱、遮挡等问题,给视觉模型的训练带来了重大挑战。
为了解决这一问题,微软与苏黎世联邦理工学院的研究人员共同推出了EgoGen。该模型不仅具备高效的数据生成流程,而且适用于多个自我中心感知任务,例如能够生成用于恢复自我中心视角下人体网格的数据。
EgoGen的创新之处在于采用了双阶段强化学习方案来训练生成模型。在第一阶段,研究人员使用生成模型训练虚拟人物的行为,将身体运动和感知过程巧妙结合。关键点在于使虚拟人能够通过自我感知的视觉输入看到周围的环境,并通过学习控制一组避免碰撞的运动基元的策略来做出反应,进而合成多样化的人类动作。
为了提高训练的稳定性,EgoGen采用了高效的自我感知视觉代理和“注意”奖励。这一奖励机制在强化学习优化阶段发挥关键作用,通过引导奖励函数,使虚拟人物的运动更加自然和逼真。具体而言,当虚拟人物朝着期望的方向观察时,将获得“注意”奖励的正向反馈,鼓励其在感知任务中更加专注和准确。
经过强化学习优化,研究人员成功改进了生成模型,使虚拟人物能够以最佳方式感知环境、规避障碍并达到目的地。这一过程中,“注意”奖励的实现方式根据具体情况进行调整,确保虚拟人物的注意力与任务目标保持一致。
为了验证EgoGen方法的有效性,研究人员在头戴式摄像头建图与定位、摄像头跟踪以及第一人称视角恢复人体网格等三个第一人称感知任务上进行了综合评估。通过使用EgoGen生成的高质量合成数据,并提供精确的地面真实标注,已有算法在这些任务上的性能得到了显著增强。
EgoGen的推出标志着在解决第一人称视角训练数据生成难题方面迈出了重要一步,为AR、VR等领域的发展提供了有力支持。未来随着该模型的开源,相信将有更多的开发者参与其中,共同推动该领域的发展。
产品特色和亮点包括:
多模态数据生成: EgoGen能够生成丰富的多模态数据,包括逼真的RGB图像、带有模拟动态模糊的RGB图像、深度图、表面法线、分割蒙版以及在头戴设备广泛使用的鱼眼相机的世界位置等。
摄像机仿真: 该系统模拟了头戴设备上的摄像机配置,包括摄像机传感器的位置和角度。用户可以从摄像机佩戴者的视角进行渲染。
准确标注: EgoGen提供准确的注释,有助于训练深度学习模型。这对于主观感知任务中的监督学习至关重要。
可扩展性: 产品具备可扩展性,使其能够适应不同的主观感知任务和场景,提供了更灵活的数据生成解决方案。
论文地址:https://arxiv.org/abs/2401.08739
项目入口:https://top.aibase.com/tool/egogen
董宇辉新号首播带货超1亿元 称考虑国外直播
站长之家(ChinaZ.com)1月10日消息:近日,董宇辉的新账号“与辉同行”正式开启首次直播。该直播间一开播便吸引了大量观众,观看人数迅速突破10万,最高在线人数一度攀升至380万。在开播仅仅3小时后,该直播间的销售额已经突破1.5亿,成功登上抖音带货榜总榜的榜首位置。同时,“与辉同行”直播间的点赞数量也突破了11亿。0000ChatGPT模型在神经学考试中表现出色,超越人类学生水平
###划重点:1.🤖ChatGPT大语言模型在神经学考试中表现出色,其中一款模型达到85%的准确率,超过人类神经学生平均水平。2.📚通过评估两个ChatGPT大语言模型(LLMs)在美国精神病学和神经病学委员会题库的问题上的表现,研究人员发现,其中一个模型在考试中显著优于人类平均分(85%对73.8%),成功通过通常难以通过的入学考试。站长网2023-12-11 15:36:080000微信小游戏上半年流量变现增长30%,“小程序”游戏迎来爆发前夜?
在新品批量扎堆出现后,游戏行业又卷出了新的有趣局面。昨日(8月27日),以“星穹铁道/黑悟空,中国游戏行业未来向何方?”为辩题的华语辩论赛落幕,吸引大批游戏乐子人前来分享观点。最终反方观点“当前中国游戏行业更需要《黑神话:悟空》(这类3A大作)”,以4:1的比分拿下了比赛,有趣的是,现实却正呈现出相反的局面。0000华为Mate 60关键参数曝光:骁龙8 4G芯片、1.5K屏幕
快科技8月4日消息,博主数码闲聊站透露,华为Mate60系列目前还没有备案,也没有进入试产阶段,因此9月份不一定能发布。值得注意的是,数码闲聊站暗示,华为Mate60系列搭载高通骁龙84G平台。站长网2023-08-05 09:10:540000CEO被捕后 斗鱼发布首个财报:Q3净利润大增180%
快科技12月7日消息,今天,斗鱼发布了2023年第三季度未经审计的财务报告,在非美国通用会计准则下,实现净利润7190万元,同比增长180%,环比增长17.2%。这也是斗鱼CEO涉嫌开赌场被捕后,斗鱼发布的首个财报,报告显示,第三季度斗鱼总净营收为13.59亿元,同比下降24.4%;毛利润为1.92亿元,毛利润率14.2%。0000