中国研究团队发布多视角数据集“FreeMan” 解决3D人体姿势估计局限性
文章概要:
- “FreeMan”是一份大规模多视角数据集,旨在解决现有3D人体姿态估计数据集的局限性。
- 数据集包含来自8台同步智能手机的1100万帧,跨足了室内和室外环境,具备不同光照条件,提供了更真实的场景多样性。
- 研究者通过自动化的标注流程,包括人体检测、2D关键点检测、3D姿态估计和网格标注,生成了精确的3D标注,可用于多种任务,如单2D到3D转换、多视角3D估计和神经渲染。
从真实场景中估计人体的三维结构是一项具有挑战性的任务,对于人工智能、图形学和人机交互等领域具有重要意义。然而,现有的3D人体姿态估计数据集通常在受控条件下收集,具有静态背景,无法代表真实世界场景的多样性,从而限制了用于真实应用的准确模型的开发。
在这方面,类似于Human3.6M和HuMMan的现有数据集广泛用于3D人体姿态估计,但它们是在受控的实验室环境中收集的,无法充分捕捉真实世界环境的复杂性。这些数据集在场景多样性、人体动作和可扩展性方面存在局限。研究人员提出了各种模型用于3D人体姿态估计,但由于现有数据集的局限性,它们的效果通常在应用于真实场景时受到阻碍。
中国的一支研究团队推出了“FreeMan”,这个由来自香港中文大学(深圳)和腾讯等机构的团队共同合作开发的项目,被誉为革新性的多视角数据集,旨在为3D人体姿势估计领域带来新的突破。
FreeMan是一个新颖的大规模多视角数据集,旨在解决现有数据集在真实场景中3D人体姿态估计方面的局限性。FreeMan是一项重要的贡献,旨在促进更准确和稳健模型的开发。
FreeMan项目的特点之一是其数据集的规模和多样性。该数据集由8部智能手机在不同场景下的同步录制组成,包括10个不同场景、27个真实场地,总计包含了超过1100万帧的视频。每个场景都涵盖了不同的照明条件,使得这个数据集成为一个独一无二的资源。
FreeMan数据集的开源是为了促进大规模预训练数据集的发展,同时也为户外3D人体姿势估计提供了全新的基准。这一数据集不仅包括视频,还提供了丰富的注解信息,包括2D和3D人体关键点、SMPL参数、边界框等,为研究人员提供了丰富的资源以推动相关领域的研究。
值得注意的是,FreeMan引入了相机参数和人体尺度的变化,使其更具代表性。研究团队开发了自动化的标注流程,以从收集的数据中高效生成精确的3D标注。这一流程包括人体检测、2D关键点检测、3D姿态估计和网格标注。由此产生的数据集对于多种任务都非常有价值,包括单目3D估计、2D到3D转换、多视角3D估计和人体主体的神经渲染。
研究人员提供了对FreeMan进行各种任务的全面评估基线。他们将在FreeMan上训练的模型与在Human3.6M和HuMMan上训练的模型的性能进行了比较。值得注意的是,在3DPW数据集上测试时,训练在FreeMan上的模型表现出显著更好的性能,突显了FreeMan在真实场景中的卓越泛化能力。
在多视角3D人体姿态估计实验中,与在Human3.6M上训练的模型相比,在跨领域数据集上测试时,训练在FreeMan上的模型表现出更好的泛化能力。结果一致显示了FreeMan多样性和规模的优势。
在2D到3D姿态转换实验中,FreeMan的挑战显而易见,因为在这个数据集上训练的模型面临更大的难度。然而,当模型在整个FreeMan训练集上进行训练时,其性能得到改善,显示出该数据集提高模型性能的潜力。
FreeMan的可用性预计将推动人体建模、计算机视觉和人机交互领域的进步,弥合了受控实验室条件与真实场景之间的差距。
项目网址:https://wangjiongw.github.io/freeman/
美ONE批量制造“李佳琦”
“我是李佳琦,你们的魔鬼又来啰!”在美ONE超级618启动大会的现场,李佳琦罕见地走至台前,同他一起亮相的,还有9个新面孔。这是美ONE自制综艺《所有女生的主播》中,从0养成的一批新人主播。在这档节目中,李佳琦亲自出镜当导师,将他本人筛选、考核、培养主播的全过程搬到了荧幕上。新人的亮相,使得李佳琦接班人的命题再一次被摆到台面上。站长网2023-06-13 17:58:240000字节AI出新招,抖音造梗又有新武器?
本就被抖音神曲狠狠上了一课的音乐行业,又迎来了新对手。谁能想到,这只是我们投喂了一句日常吐槽“夏天的风,清清楚楚地说要热死我”,获得的效果。上周,字节正式发布了一款新的AI音乐创作应用——海绵音乐,主打一个造梗新神器,网页端和App端均可免费使用。即便是一个乐理知识完全不懂,没有学习过歌词押韵的用户,也能创作出上头洗脑的曲目。站长网2024-08-06 11:23:560000胡晓波字体正式入驻站长字体,提供商业授权新渠道
一说起字体,字体版权绝对是一个绕不开的话题。那么如何选择规避版权带来的风险呢?答案不言而喻,当然是选择一个靠谱有保障的字体平台啦!而站长字体上线至今,已经经历了十余年的沉淀,与众多知名字体品牌商家拥有长期稳定的合作,不仅提供海量字体非商用免费下载,还提供多种在线字体服务功能,深受广大用户的喜欢!站长网2023-07-14 17:24:440000私域里“人货场”的构建模型
商业逻辑里的“人-货-场”其实也同样可以贯穿到私域里。把产品当成“货”,把私域用户当成“人”,“场”刚好对应场景。变换之后这个逻辑仍然成立。“人”的部分需要了解并能够满足用户的需求,涉及标签体系的设计、获取、应用;“货”需要重点关注产品属性、产品组合/递进、产品迭代;“场”涉及用户旅程、用户行为、客观场景和时间节点几部分。站长网2023-04-23 16:02:370006GPT-4o mini背后团队揭秘:9人团华人面孔过半,清华北大同济校友在列
“大模型尺寸之争正在加速……倒退!”OpenAI的GPT-4omini一登场,又登上了大模型话题榜榜首。并且这次话题焦点,是OpenAI不仅再树新标杆,还一出手就把性价比卷爆了——直接把此前大受开发者好评的Gemini1.5Flash和Claude3Haiku给碾压了。这不,大神Karpathy火速发了篇小作文,做出开头提到的这么一句判断,并进一步解释:站长网2024-07-20 00:50:410001