用一部手机实现高精度人脸建模:靠算法修复缺失数据,效果堪比专业设备
  • CC
  • 2020-04-30

        如何得到一个人的高精度面部三维模型?

        通常情况下,对某个人的脸进行精确的三维重建需要昂贵的设备和专业知识技能,比如要用摄影棚、相机、3D 扫描仪等等,各种各样的工作都集中在使用光度学立体或多视图立体技术来进行面部结构重建。

         现在,卡内基梅隆大学(CMU)的研究人员使用普通智能手机录制的视频完成了这项壮举。用智能手机拍摄脸部正面和侧面的连续视频,在深度学习算法的帮助下分析这些数据,成功对多个面部进行了数字重建,实验结果表明,他们的方法可以达到亚毫米精度,堪比专业化的处理。

1.png

图|CMU 的方法(c)与传统最先进的方法(d)效果对比(来源:CMU)

        本研究项目的成员之一、CMU 机器人研究所副研究员西蒙 · 露西(Simon Lucey)表示,面部的三维重建一直是计算机视觉和图形领域的一个公开问题,因为人们对面部特征的外观非常敏感,即使重建过程中出现轻微异常,也可能使最终结果看起来与现实差别较大,高水平的细节是个难点,也是栩栩如生的关键。

        如今,数字脸可以用来构建游戏角色或 AR、VR 的化身,也可以用于动画、影视制作、社交、生物识别甚至医疗等领域,商业空间可谓十分广泛,而整个制作过程或许会越来越便捷。

        视频|数据采集和优化过程(来源:CMU)

        研究人员在慢动作拍摄中使用了 iPhone X,高帧速率的慢动作是原始数据采集的关键之一,视频以 120 帧 / 秒的速度拍摄,每段时长 15-20 秒,背景条件是无约束的,但需要是静态的场景,拍摄对象最好保持一种静态的表情。

        录像可以由拍摄对象自己录制,也可以由助手录制,之后视频会分为三个关键步骤进行处理:摄像机姿态估计;使用多视图立体生成点云;使用约束组合进行网格拟合。

        传统而言,大多数多视点人脸重建方法依赖于预先校准的摄像机或使用地标跟踪器来估计相对于几何对象的摄像机姿态。

CMU 团队利用视觉同步定位和映射(SLAM)的直接方法,一方面视觉 SLAM 可以对曲面上的点进行三角剖分以计算其形状,另一方面可实现亚像素精度的相机姿态估计。这种检测方法特别适用于特征点检测和匹配中不存在大量拐角点的人脸。

        因此,研究人员利用这个事实,输入一个单一的连续视频序列,对于一个典型的序列,可以得到 50-80 个具有精确已知摄像机姿态的关键帧,经过这一步能创建出一个人脸的初始几何图形,略显粗糙,丢失的数据也会在模型中留下一些 “空隙”。

2.png

图|初步扫描得到的模型效果(来源:CMU)

        如上图所示,点云生成阶段结束时生成的具有和不具有纹理的点云数据,这些点云精确地捕捉了整个面部的几何特征、眼睛、嘴唇等区域的轮廓细节,使每个部分都能被识别。

        然而,由于非理想照明、缺少纹理和智能手机的传感器噪声等因素,点云会有丢失的数据和噪声,接下来就需要一个强力的网格拟合方法进行弥补,研究人员采用了非刚性网格拟合算法,利用点云约束、地标约束、网格刚度约束和边缘约束的组合,对模板进行变形修复,最终需要 30-40 分钟的处理时间完成一个人脸模型的精确修复。

        虽然这个过程耗时有点儿长,但结果却是值得的,最终构建出的面部三维模型中位数精度约为 0.95 毫米,在精度和完成度方面优于当前一些主流的单视图和多视图重建方法,在精细细节方面得到增强,这也是三维人脸重建研究的一个最新趋势:将精细的高频细节压印到重建模型之中。

        不过,目前这项研究对场景中的动态运动不具有鲁棒性,团队会在接下来进一步深化研究。

3.png

图|各种主流单视图和多视图重建方法的结果比较,正面和剖面相应的误差热图(来源:CMU)

        另外一点值得关注的是,该团队还建立了一个包含 100 位受试者的数据集,每个受试者在不同的光线和背景条件下记录了 2 个视频序列。对于每个视频,研究人员都提供一组 50-80 个他们使用的关键帧和重建方式(网格、点云和表面法线贴图)作为参考,希望这一数据集有助于进一步研究和评估无约束的、既准确又一致的多视图和单视图重建算法。

        在这项工作中,我们看到了一个普适性的解决方案,这种方法当下不一定很快,但整个过程可以在智能手机上完成,而随着智能手机的计算处理能力越来越强大,最终用户有望在不使用任何专用传感器扫描仪的情况下捕获高精准度的面部三维模型。

        西蒙 · 露西表示,除了面部重建,CMU 团队的方法也可以用来捕捉几乎任何物体的几何结构,然后,这些对象的数字重建可以合并到动画中,或者通过互联网传输到可以使用 3D 打印机复制这些对象的站点。


-End-


  • 雷达生命探测仪能找到昏迷的人嚒?
    雷达生命探测仪对于生命、只要是有呼吸、心跳、体动等生理特征,即可被成功探测到,所以不仅对动目标可成功探测到,对静止的生命目标也有极佳的探测效果。
    瑾瑾
  • 为什么检测针孔摄像机一定要用针孔检测仪?
    为什么检测针孔摄像机一定要用针孔检测仪?因为针孔摄像机的镜头一般大小为3.7MM标准, 镜头极小,难以发现,而且针孔摄像机没有使用无线发射器,针对这个问题,就必须使用针孔镜头 检测仪了,针孔镜头检测仪器有手机般大小,在检测时,用仪器扫描可疑地方,如果某地方安装针孔摄像头, 仪
    CC
  • 近距离的无人机,采取什么方法管制比较合适?
    近距离无人机管制,可以以声波的形式来实施有效干扰,理论上讲只要声波的分贝数足够大,即可使得无人的陀螺仪系统产生错误判断进而使得无人机降落或者坠毁,但该方式仅适用于近距离范围内的攻击,同时该方式目前还在研究阶段,应用效果有待进一步完善。
    CC
  • 应急通信车主要作用是什么?
    受灾害影响,原有的通信设备可能无法正常工作,会导致现场的手机网络出现无信号、弱覆盖、网络拥塞等状况。应急通信车可为现场救援人员提供语音、数据、上网等多媒体信息实时传输和联合通信保障,为救灾调度与决策提供便捷有力的通信支撑。
    瑾瑾
  • 电子物证具有多少种形式?
    电子取证对象除了计算机和智能手机之外, 还包括数据源最广的网络取证, 网络电子数据类型复杂, 并处于动态可变化状态. 该取证方法与前两类方法截然不同, 网络电子取证包括: 网站服务器取证、路由器取证、数据流信息取证等。
    f(x)
查看更多>
热门问答
  • 前端设备支持数据本地存储,缓存满足180天需求,大于100万条信息,存储满后,自动删除较早的数据。

  • 安检门跟X光机的原理是不一样的,作用也不是一样的。安检门主专门用于对人身上隐藏的金属及合金物品进行探测。它可以调节灵敏度,最高可以探测到曲别针大小的金属物,并可以区分金属所藏区位显示,所以它只是一个探测到金属物品会报警的装置。而X光机是借助于输送带将被检查行李送入X射线检查通道而完成检查的电子设备。它能把所携带的物品在电脑显示器上成像出来,以此判断旅客是否带了违禁物品。

  • 具有超强的抗干扰能力,可以穿透障碍物(例如钢筋混凝土砖墙,柏油层,泥石流和雪崩造成的积雪)进行侦测,不受声音和背景噪音的影响,运动检测实时动态显示,呼吸信号与运动信号能够同时显示。

  • 电子物证的获取和存储都是应用电子数据的方式在进行,因此电子物证的存储和表现形式也是多种多样的,其储存的方法是,电子物证以文字,图画,动画,图形,音频视频等形式,存储在计算机硬盘,U盘,光盘以及磁带当中,其存储方法方便,存储形式更是多种多样,这样即 方便了存储,也方便调取查阅。

  • 实践中阴毛的意义较大,在性接触过程中因摩擦脱落,往往带有完整毛囊,DNA检出率较高,其他如头发、体毛、腋毛多为自然脱落,检出率相对较低。

热门资讯