主页 > 产业 > 新材料 > 正文

Facebook最新开源,普通RGB相机即可实时映射3D模型

点评

科技传媒网 互联网转载 2018-06-23 10:12

近日,Facebook AI Reaserch(FAIR)开源了一项将2D RGB图像的所有人类像素实时映射至3D模型的技术——DensePose,而且采用的也不是我们经常介绍的骨骼追踪,而

我们已经介绍过很多仅用RGB相机进行动作捕捉的研究了,其中大多数是模拟出骨骼进行追踪,少数则是通过模拟出的骨骼套上一个粗糙的模型,便可称为3D模型了。

近日,Facebook AI Reaserch(FAIR)开源了一项将2D RGB图像的所有人类像素实时映射至3D模型的技术——DensePose,而且采用的也不是我们经常介绍的骨骼追踪,而是一种十分密集的方案追踪来构建3D模型。

在户外和穿着宽松衣服的 也表现良好。

还支持多人同时追踪。

那这个密集如何来理解呢?

对于一般的骨骼追踪,追踪的点大多在十到二十个之间,再多也没有多少实际的效果。而DensePose所追踪的点一共有336个,密密麻麻全身都是点。(密集恐惧症退避)

之所以要追踪这么多的点,是构建一个平滑流畅的3D模型所必须的数据。

辛苦的付出也是值得的,DensePose无论是在户外还是多人下都表现良好,还能实时更换场景中人的衣服。

那就来看看他们是怎么做到的吧。

为了让机器可以学习,研究人员手动标记了5万张照片中的336个点,光这个步骤就是一个巨大的工程了,如果按部就班的标记注释,不知道要到什么时候完成了。

研究人员将一个人拆分成了24个部分,分别为头、躯干上部、躯干下部、大臂、小臂、大腿、小腿、手、脚。每个部分标记14的点。

对于头部、手部、脚部都由人手动标记。同时还要求注释者在标记的时候标出被衣物掩盖住的部位,比如宽松的裙子。

这些工作做完后进入第二阶段,研究人员对每一个展开部位区域进行采样,会获得6个不同的标记图,提供二维坐标地图使标记者更直观的判断哪个标记是正确的。

最后再将平面重新组合成3D模型,进行最后一步校准。

这样两步下来,研究人员得以高效准确的获得了准确的标记。不过在躯干、背部还有 臀部有较大的误差。

接下来就是深度学习的阶段了,这时一个好的方案就好比性能优越的催化剂。

研究人员采用与Mask-RCNN架构的DenseReg类似的方法,构成了'DensePose-RCNN'系统,还进一步开发使得训练的准确度提高。首先由外观粗略的估算像素所在的位置,然后将其与准确的坐标对齐。

DenseReg MaskRCNN的关键点分支中使用相同的体系结构,由8个交替的3×3完全卷积和512个通道的ReLU层组成。得益于Caffe2,所产生的架构实际上与Mask-RCNN一样快。

为了降低错误率,还训练了一个“教师”网络来重建地面,部署它完整的图像域,产生一个密集的监督信号。研究人员将人类监督者半自动监督和“教师网络”进行对比,结果是“教师”完胜。

研究人员还将其方法与SMPLify进行了对比,在模型的模拟方面,研究人员的自下而上的前馈方法在很大程度上胜过了迭代的模型拟合结果。

同时在多人处理时,FCN明显差于'DensePose-RCNN,再与其他方案比较时优势也十分突出。

最后,整体呈现的效果如开头所讲,能够处理大量遮挡物,成功的模拟出了衣服后面的人,但有一点需要注意,那就是所有人都是通过固定的曲率拟合的。而且在多人状况下表现十分良好。

本文链接:http://www.itmsc.cn/archives/view-216527-1.html
科技传媒网—致力于推动创新科技发展,专注科技新闻传播的新媒体平台。更多精彩内容请关注微信公众号:gdkjcm

(责任编辑:夏喧)
标签:

1.科技传媒网的原创文章,请转载时务必注明文章作者和"来源:科技传媒网",不尊重原创的行为,科技传媒网都将保留追究责任权益;

2.科技传媒网遵循行业规范,任何转载的稿件都会明确标注作者和来源,对于未注明原作品不得转载的稿件,我方不承担相关责任;

3.科技传媒网倡导尊重与保护知识产权。如发现本站文章存在版权问题,烦请提供版权疑问、身份证明、版权证明、联系方式等发邮件至pepsl@126.com,我们将及时沟通与处理。

4.关于科技传媒网的所有法律事宜,均由本网特聘法律顾问王定忠律师协助处理。

更多科技新闻 相关智库科技新闻阅读
科技传媒网科技要闻

绿地集团与科控全球携手,共创国际商务孵化空间

此次绿地集团与科控全球的携手,对于区域内的产业发展有着深远的意义。

科技传媒网创客必读科技新闻

除了世界级照明航母,小榄还有这么多隐形冠军

早在今年4月份,在木林森2018年度业绩网上说明会上,面对投资者的尖锐问题,木林森董事长孙清焕直接正面刚,豪言今年营收就能过200亿元。

科技传媒网每日精选阅读

三月二十八日

疫情将尽,城市开封,家门开禁,我也结束了疫情诗词的写作。带着诗和狗,我要去远方……

科技传媒网科技专题
第五届520美容师节发布会暨第十届中国美容领袖高峰论坛-科技传媒网
关于科技传媒网

科技传媒网(www.itmsc.cn),由广东省创新科技传媒服务中心主办,以社会需求为导向,搜集关于科技最新最全的时事动态。

微信
微博
RSS