提高人脸检测性能新模型HPM

jopen 7年前

近期,一篇新的技术Paper《Occlusion Coherence Detecting and Localizing Occluded Faces》,在 FDDB测试结果 表明可以提高当前人脸检测的性能。本文简要摘录和介绍了有关HDM算法的部分内容。

1:一种人脸检测、姿势估计、标记估计的统一模型

这个要从 CVPR 2012上获得Google student paper award的一篇Paper说起,即《Face Detection, Pose Estimation, and Landmark Localization in the Wild》,具体摘要如下。

提高人脸检测性能新模型HPM

该文针对真实环境中的杂乱图像,提出了一种人脸检测、姿势估计、标记估计的统一模型。该模型基于一种混合树结构模型的算法,树之间有部分共享池。 该模型根据不同的视角采用全局的混合来获取拓扑改变。树结构模型在获取全局弹性变形上有令人惊讶的效果,可以很容易的优化不同密度的图结构。该文提供了在 标准人脸benchmark上的扩展结果,同样在一个新的真实环境注解的数据集上也进行了验证。实验结果证实了该系统,在三个任务(人脸探测、姿势估计、 标记定位)都优于当前的最好结果。尽管该模型是采用成百上千的人脸训练出来的,但结果不亚于(compare favourably with)由数十亿级别样本训练出来的商业系统(例如Google Picasa和face.com)。

提高人脸检测性能新模型HPM

上图:我们的混合树模型将不同视角的拓扑变化进行了编码。红线表示成对部分跳变;注意这里是没有闭环的,保持树的属性。所有的树利用了一个公用的部分模版的共享池,可以形成有效的学习和推理。

Paper、Slide下载

X. Zhu , D. Ramanan . “Face detection, pose estimation and landmark localization in the wild” Computer Vision and Pattern Recognition (CVPR) Providence, Rhode Island, June 2012.

[pdf]   [slides (Keynote file,36M)] [slides (PPT file, converted from keynote, animation may not work correctly,17M)]

代码和数据集下载:

Filename Description Size
README Description of contents. 2.3 KB
face-release1.0-basic.zip Basic code (matlab) for face detection, pose and landmark estimation with pre-trained models. 8.3 MB
face-release1.0-full.zip Full code (matlab) for training and testing. You need MultiPIE dataset to run it. 59 MB
sideview_annotation.zip Landmark annotations of 400 sideview faces labeled by us. You also need the other annotations from CMU to reproduce the results in our paper (we don’t have permission to release them here). 300 KB
mex-windows-compatible.zip Windows compatible mex files(.cc). 11 KB
models_CVPR2012.zip The fully shared and independent model we used to produce the curves in our CVPR2012 paper. 6.8 MB
AFW.zip The Annotated Faces in the Wild (AFW) testset. 47 MB

更多原始资料, Project: http://www.ics.uci.edu/~xzhu/face/

2: HPM模型

遮挡物对目标识别的准确性有较大的影响。无论如何,典型的遮挡被当做各种非结构的噪声源,对于遮挡物的显式模型落后于目标表面和形状的建模。本文 我们描述了一种级联可变形部件模型(HPM:hierarchical deformable part model)来进行人脸探测和关键点定位,该模型显式的对部分遮挡进行了建模。提出的模型结构通过用大量合成的遮挡物来扩展正训练样本,这允许我们很容易 的将遮挡模式统计融入到一种特殊的训练模型中。

我们在几个benchmarks中进行了测试,关键点定位和探测,也包括竞赛数据集。我们发现一个遮挡的显式模型的添加,使得系统性能优于现存的方法。

提高人脸检测性能新模型HPM

上图:我们的模型包含三个部分(黑圈),其中每个部分都连接一组关键点(绿色或者红色)在一个星状拓扑中。此处的用例模版,对应不同的部件形状和 遮挡模式。红色表示遮挡的关键点。形状参数独立于遮挡状态。关键点外观是用小的Hog模版来建模(第二行),遮挡的关键点是限制为一个设置为0的模版。注 意本模型如何产生一个广范围的形状结构和遮挡模式.

提高人脸检测性能新模型HPM

上图:虚拟的正样本是通过合成产生的,从一个完全可见的训练样本开始,随机选择相干遮挡模式。

提高人脸检测性能新模型HPM

上图:标记定位和遮挡估计的结果,图片来自HELEN(第一行)和COFW(第二行)数据集。红色表示被HPM算法预测为被遮挡的关键点

提高人脸检测性能新模型HPM

上图:在连续-ROC FDDB benchmark测试集中。多分辨HPM是通过正脸数据集进行训练的,而这个数据集有很多侧脸的测试数据。与当前最好的基于正脸和侧脸训练数据的检测方法相比,本文的模型展现了有竞争力的性能结果。

相关Paper和Code下载:

1)[cvpr14] Occlusion Coherence Localizing Occluded Faces with a Hierarchical Deformable Part Model

2)G. Ghiasi, C. Fowlkes, “Occlusion Coherence: Detecting and Localizing Occluded Faces”, Technical Report, June 2015  arXiv:1506.08347 [pdf] [code] [dataset]

</div> </div> 原文 http://www.cvrobot.net/occlusion-coherence-detecting-and-localizing-occluded-faces/