关键点匹配三维人脸识别方法(2)

虽然从不同角度看有许多关键点，但只有最独特的和匹配性稳定的特征点被保留下来，而这些点往往落在边缘、角落、点，或其他的“有趣”的图像部分。1.3

关键点匹配三维人脸识别算法思路

传统上，

SIFT的关键点匹配如下：如果一个测试图像包含三个以上关键点匹配的话，那么测试图像被认为包含。但是在人脸识别方面这种匹配方法并不可行，

因为人脸在视觉上非常相似。本文方法不是匹配测试图像所有从2．5D图像上提取的关键点，而是把代表人脸的三维点云沿X、Y或Z轴旋转，反复多次地把3D人脸突出点投影到2．5D图像上，然后提取2．5D图像的关键点并进行标记，这些经过标记的关键点组合成一个数据集。对关键点在测试之前予以“投票”确定关键点的权重，通过与匹配和标记的关键点最接近的未标记的关键点进行识别。

2

多视角关键点投票算法

2.1

3D点云到2.5D图像集转换

SIFT关键点只能从二维图像提取。首先把3D点云转换

成二维图像，其中图像的亮度代表深度，即2．5D图像。然后，可以从这些图像中提取特征点。用来实现3D图像到2．5D图像转换的基本步骤如下（算法1）：

Input：A3Dpointcloud

1Computetheextremaofthepointcloudalongeachofthethreeax-es，obtainingXmin，Xmax，Ymin，Ymax，Zmin，Zmax

2Createa2Dimageofwidth=（Xmax－Xmin）/2，andheight=（Ymax－Ymin）/2

3Scalethez-valueofthepointsinthecloudtotherange1…2554Projectpointsontothe2Dimagepixels，settingeachpixeltothescaledzvalue．Pixelsthatdonothaveany3Dpointsprojectedontothemaresettozero．

Output：A2．5Dimage

对于每一个点云，多次执行算法1，因为在X、

Y和Z轴上

逐步旋转点云，每一次的旋转都能计算一个新的2．5D图像，在这个过程结束后，就可以提取多个2．5D图像。用这种方法提取特征点，更多的关键点就能被发现。通过多视角，相同特征的关键点就能被捕获，如鼻子、嘴、眼睛等。2.2

多视角关键点投票

通过上面描述的过程，从被标记的训练人脸和没有被标记的测试人脸中提取关键点，一旦从各个视角把关键点提取出来，原来的3D和2．5D数据就可以丢弃，而这些关键点就被合并到一个代表人脸的数据集中。

为了对测试人脸进行分类，使用了一种新颖的关键点投票算法，

如算法2所示：Inputs：a）AsetMoflabeledkeypointsextractedfromthetrainingim-ages．Keypointsarelabeledbytheclassoftheimagetheycamefrom；b）A

setPofunlabeledkeypointsextractedfromasingletestfaceusingthekey-pointextractionmethod．

1foreacht∈Pdo

2Findtheclosestmatchingk∈MaccordingtotheEuclideandis-tancefunction，dist（t，k）

3Assignthelabelofktot

4Settheweightoftto1/dist（t，k）5endfor

6Eacht∈Pthenvotesforitslabeledclasswithitsweight．

7Thefinalclassificationoftheimageistheclasswiththegreatestto-talvote．

Output：Aclassificationfortheunknowntestface．

算法2把测试关键点集与训练关键点集进行匹配，根据欧氏距离确定最好的匹配训练特征点。然后对测试关键点进行等级分类，即给予最佳匹配的关键点一个权重，此权重与欧氏距离成反比，

测试关键点和训练关键点越匹配，权重越大。最后对整个点云的每一个关键点进行投票，投票是一个简单的根据关键点划分等级权重的累加。对总权重向量规范化，然后返回作为概率分布。

对未知人脸可以根据最高的概率进行分类，如果最高的概率不够高的话，予以拒绝。在本文评估中，总是对测试人脸根据最高的概率分布进行分类。图1为关键点示意图

。

3实验

采用三种不同的实验来评估本文算法的有效性。首先，简

单介绍实验中使用的数据集，然后描述实验过程，并对实验结果进行评估。3.1

GavabDB数据集

GavabDB［14］是一个公共3D人脸识别基准数据集。该数据集包含61个不同的人（45男，

16女）的549幅图像，每个人9幅图像，每一个图像由一个三维网格组成表示人脸，包含不同的姿态和表情。每人只有两个正面的图像，

且表情中性，其余的在姿态和表情方面变化明显，如表1所示。一般的数据集表情中性，姿态变化有限，而GavabDB数据集相反，故意设计引入头部位置、角度变化和表情变化，因此，它是最具挑战性的三维人脸识别数据集。

表1

GavabDB数据集中每个人的9种不同图像描述

样式描述

frontal1frontalheadorientation，neutralexpressionfrontal2frontalheadorientation，neutralexpressionfrontal3frontalheadorientation，strongsmilingexpression

frontal4frontalheadorientation，accentuatedlaughfrontal5frontalheadorientation，randomgestureoccludingfaceupfrontalbutlookingup（+35°），neutralexpressiondownfrontalbutlookingdown（－35°），neutralexpression

rightrightheadprofile（+90°），neutralexpressionleft

leftheadprofile（－90°），neutralexpression

3.2实验概述

在每个实验中，每项只用1或2个面部扫描图像作为训练

之用，

其余7、8个扫描图像用于测试。通过对图像在不同表情、姿态（角度）下进行实验测试。在实验1中，只用一个表情中性且正面的扫描图像进行训练，

然后对61个图像进行测试，实验结果如表2所示。在实验2中，

每项采用2个3D点云图像，一个表情中性且正面，一个微笑。从549个点云中提取出122个点云用于训练，

实验结果如表3所示。在实验3中，通过正常方式提取关键点，而不是直接进行分类匹配，采用C4．5决策树分类器，

对第一种情况（多类），建立一个决策树从训练图像中提取所有的关键点，针对多种情况可以建立巨大的决策树。针对第二种情况（1对多），每一项都建立一个分类器，从图像中提取的人脸关键点是正例，其他的是负例，未被标记的关键点用每个决策树进行预测，

多个小决策树构成强大的决策树。核心思想就是验证一个设想：即是否可以通过一个分类器建立一个模型，在理论上比关键点集需要的存储空间更小，并且还能比在实验1和2中进行的直接匹配更有效的在测试中标记尚未标记的关键点。实验结果如表4所示。

表2

用frontal1样式图像进行训练

训练图像旋转角度训练和测试图像旋转角度

测试数据基准±10°x±10°y±10°z±10°xy±10°xz±10°yz±10°yz±10°x±10°y±10°z±10°xy±10°xzfrontal2

81．9681．9583．6585．2788．4986．9190．3286．5190．1690．2590．1691．8094．05frontal370．5078．6175．5878．7181．8785．3485．5483．4380．3890．2486．8186．8088．21frontal457．3468．7863．9373．7480．3181．9375．5181．9680．2581．8988．3990．2793．18frontal557．3962．3067．2765．5462．3372．2170．3865．4872．6567．4275．4180．3778．71frontalaverage

66．8772．8372．6875．7878．2881．4180．2879．5880．9882．2785．2687．3489．47up16．4721．3519．7121．3727．8424．6419．7124．5229．5722．8539．4639．2927．88down24．62 …… 此处隐藏：3378字，全部文档内容请下载后查看。喜欢就下载吧 ……