基于Kinect深度信息的手势提取与识别研究

基于Kinect深度信息的手势提取与识别研究

邓 瑞，周玲玲，应忍冬

（上海交通大学 电子信息与电气工程学院，上海 200240）

摘 要：针对基于视觉的手势识别技术对环境背景要求较高的问题，提出了一种使用深度信息进行手势提取和识别的研究方案。采用了微软Kinect摄像头进行手势深度图的采集，再将深度图转换为三维点云，根据深度信息过滤来提取手势数据。对手势数据进行方向校正后统计手势数据中深度信息的区间分布特征并输入到支持向量机进行训练，从而实现了对数字手势1至5的手势识别。实验结果证明，该手势识别方案的平均识别率达到95%，使用设备简单且精度较高，鲁棒性较好。 关键词: 手势识别；深度信息；三维点云；人机交互；支持向量机

中图分类号: TP391.4 文献标志码: A 文章编号：（作者可不填）

doi:10.3969/j.issn.1001-3695 (作者可不填)

)

Abstract: Aiming at the problem that gesture recognition on environment and adjustment for the gesture, the interval distribution feature of and imported to support vector machine the

Key words:

0 引言

手势识别是一种人机交互技术，制计算机的输入，相比传统的键盘、易于学习等优点。展，主流方式[2]

像进行手势分割，手势分割的常用方法主要有增加限制法、其中增加限制法环境进行限制，从而通过特殊颜色进行手势分割。这种方法降低了手势的自由性，但在采集精确度上有较大优势[3]。肤色检测法根据肤色在颜色空间分布的特点将图像转换到相应的颜色空间进行阈值分离。使用肤色检测法可以直接从图像中分离出肤色的区域，但目前的技术存在以下主要问题：容易受到复杂背景和复杂光照条件影响，不能与脸部等与肤色相近的位置重叠，不能穿戴非肤色的手套等[4]。 随着摄像机技术的发展，可以拍摄3D信息的摄像机进入人们的视线。20世纪90年代出现的TOF（飞行时间法）摄像机通过计算光的飞行时间来测量拍摄物体的深度信息。

———————————————

收稿日期：；修回日期： 基金项目：

TOF摄像机可以很方便的区分出场摄像机在应用时存在着价格昂贵，分辨率较低[5]。

2010年微软推出了用于Xbox 360的体感外设3D摄像机Kinect，使用结构光编码技术获取拍摄图像的深度信息。Kinect的摄像部分包括一个RGB摄像头，一个红外摄像头和一个红外发射器。红外发射器可以发出近红外激光，当激光照射到粗糙物体时会形成具有高度随机性的衍射斑点，称为激光散斑。激光散斑会随着成像物体的距离不同而变换图案，当激光散斑照射到整个空间时即对空间进行了标记。红外摄像头则接收空间标记，传递至Kinect内部的PS1080 Soc图像处理器芯片。图像处理器通过分析散斑图案获得的空间距离生成深度影像，并使用USB2.0协议传输至PC端。相比TOF摄像机，Kinect价格低廉，拍摄分辨率可达640 480像素，而且由于使用了图像处理器芯片，不需要PC端额外的计算量，可以使PC端以较低的配置达到实时性的要求。 Kinect的这些特性使其成为了人体识别领域的热门工具。基于Kinect的手势识别通常使用Kinect获取深度图，然后使用微软提供的Kinect SDK进行人体骨架识别从而获得手势位置及动作意义[6]，或根据深度信息过滤提取出手势部分深度图，再将其转换为平面图，使用2D手势识别的方式进行识别[7]。但这两种方法都有一定的缺陷：前者使用Kinect SDK时必须要在摄像头全身可见的条件下才能较为准确的识别，而后者将带有3D信息的深度图转换为平面图

作者简介: 邓瑞（1988－），女，山东聊城人，硕士研究生，主要研究方向为模式识别、信号处理（xelless@http://www.77cn.com.cn）；周玲玲(1965－),女,副教授,主要研究方向为模式识别、嵌入式系统；应忍冬 (1975－),男,副教授,主要研究方向为模式识别、系统可靠性.

进行处理会造成深度信息的浪费，且与2D手势识别易受手指遮挡等问题影响。本文使用了Kinect作为手势采集的工具，没有使用2D手势识别的方法，而是将深度图转换为三维点云，利用深度信息进行手势提取和识别分析，相比于2D手势识别有更多的优势。

对深度过滤后的点进行遍历，比较得到与原点距离最小的点的集合。若点集合的内容大于1，可能是最近点附近的若干点距离相同造成的。若这些点的距离过远，则判定为提取时发生错误。若提取正确，则得到的最近点为要提取的手势中的一点。

1.3 用最近邻法则进行手部提取

根据最近邻法则，已确定分类的点附近的点集也属于同

[9]

一个分类。用最近邻法则进行手部提取，即以此与原点距离最小的点为球心，做半径10cm的球，将此球形范围内的所有的点都提取出来作为手势雏形。

对手势最近点的所有可能情况进行分析，最近点位置可能在手心、指尖或者手腕。在这里只考虑手心向前向下的情况，则忽略掉手腕是最近点的可能性。若最近点在手心，则此球包含整个手部加上一部分手腕的点；若最近点在指尖，则此球包含上半部分手，有可能丢失下半部分的重要信息。3D中心位的位置为球心，做也可1 手势提取

本文设计的手势提取和识别算法用于3D虚拟场景的视频会议系统，为了符合系统要求且使手部特征点较多，我们假设Kinect摄像头与人手之间的距离在1米以内，且手的位置距离摄像头最近。此外，规定手势的手心面向摄像头，指尖向上，手势平面与摄像头平面之间的夹角小于45度。 1.1 像素位置转换为实际位置

用Kinect获得的深度数据是以像素为单位记录的，默认为640 480像素。在进行手势识别时需要根据实际距离的

面尺寸为Z轴坐标值X-Y平Kinect据。设

手势4(e)手势4

其中K实际位置(ww

x (i 2) (d 10) s h

h

y (j ) (d 10) s

2

z d

手势4(e)手势4

图3 手势1至5的Y-Z平面点云示意图

(2)

2.1 方向校正

基于深度信息的手势分析要求获得的手势在空间方向上尽可能统一，而手势采集的时候不能保证手势平面总是与X-Y平面平行，故在进行分析前要对提取的手势点云进行方向校正。

首先用最小二乘法进行平面拟合[10]，设得到的平面法向量为(a,b,c)。

对手势方向进行校正，就是对手势点云进行坐标旋转变换，使其拟合平面旋转至与X-Y平面平行。 设拟合平面旋转至与X-Y平面平行时需要绕Y轴逆时针旋转的夹角为

其中s 0.0021。 1.2 基于距离的分割

为了方便数据的处理，我们将深度图的实际距离数据转化为三维点云进行后续的处理。640 480像素的深度图数据转换为点云后共有307200个点，如果使用全部数据进行处理会比较耗费时间。基于之前的假设，手部数据距离摄像头不超过一米，故首先对所有的点进行一个基于距离的深度过滤，去除深度距离大于100cm的数据。

1，绕X轴逆时针旋转的夹角为 2，则有：

1 arctan() b

2 arctan()

c

ac

(3) (4)

K(u,v) ( uTv c)d (7)

(2) RBF（径向基）核函数：

K(u,v) exp( u v)

(8)

pxi px''i py

设手势点云中一点为 i ，则转换后的点 py''i 为：

pzi pz''i

px'i cos 10 sin 1 pxi

py' 0 10 i pyi pz'i sin 10cos 1 pzi 0 px''i …… 此处隐藏：3233字，全部文档内容请下载后查看。喜欢就下载吧 ……