基于视频的三维人体运动跟踪

第18卷第1期2006

年1月

计算机辅助设计与图形学学报

JOURNALOFCOMPUTER2AIDEDDESIGN&COMPUTERGRAPHICS

Vol118,No11Jan1,2006

基于视频的三维人体运动跟踪

刘国翌

1)2)

1,2)

　陈　睿

1,2)

　邓　宇

1,2)

　李　华

1)

(中国科学院计算技术研究所智能信息处理重点实验室　北京　100080)(中国科学院研究生院　北京　100039)(gyliu@ict1ac1cn,lgone2000@hotmail1com)

摘要　提出一种结合多种图像特征,在多摄像机环境下跟踪人体运动的方法1通过定义人体模型、摄像机投影模型以及相似性度量模型来得到优化框架下的目标函数,并使用牛顿2高斯优化算法对其进行求解1模拟数据和实际数据的实验表明,文中方法比仅仅使用灰度特征,跟踪结果得到了改善,对比实验结果也优于基于概率算法的退火粒子滤波1

关键词　运动捕捉;多摄像机人体运动跟踪;非线性优化中图法分类号　TP39114

Video2Based3DHumanBodyMotionCLiuGuoyi1,2　ChenRui1,2　11)2)

)))

(KeyLaboratoryofofComputingTechnology,ChineseAcademyofSciences,Beijing　100080)(DepartmentofCom,School,ChineseAcademyofSciences,Beijing　100039)

Abstract　　Wepresentavideo2based3Dbodytrackingmethodfrommultiplecuesinmultiplecamerasen2vironment1Bydefiningthebodymodel,imageprojectionmodelandsimilaritymeasurementmodel,thetrackingobjectfunctionisproposed,thenresolvedusingtheNewton2Gaussianmethod1Theexperimentalresultsonsimulateddataandtherealdatashowthetrackingisimprovedbycombiningseveralimagecues,andthetrackingperformanceisbetterthantheannealedparticlefilteralgorithm1Keywords　motioncapture;multiplecamerabodytracking;nonlinearoptimization

根据应用的不同,基于视频的人体运动跟踪分

0　引　　言

人体运动跟踪是利用仪器记录人体运动的过

程,它在娱乐、运动测量分析以及人机交互等许多领域有着重要的应用1市场上比较成熟的人体运动捕捉系统有基于电动机械的、电磁的和特殊光学标记[1]等类型1相对于这些商业系统,基于视频的人体运动跟踪技术是一种不需要标记或者传感器的被动跟踪,由于其适用范围广、对跟踪环境要求较低、价格便宜,近年来成为机器视觉领域的研究热点1

为视频监控[2]、人机交互[3]、运动分析和动画制作等几类1本文的研究背景即为这类应用,利用基于视频的运动捕捉技术对运动员的运动参数进行自动采集和准确计量,从而提高训练效果1

很多研究者从不同角度讨论了三维人体运动跟踪问题1Bregler等[4]采用类似Lucas&Kanade光流估计的方法来跟踪身体各个部分,用“Exponentialmapsandtwistmotions”旋转描述来简化图像运动与模型运动的关系1Deutscher等[5]采用退火粒子滤波算法在多摄像机下实现对人体三维全身运动的跟

　收稿日期:2004-11-19;修回日期:2005-02-22

　基金项目:国家科技攻关计划课题奥运科技专项(2001BA904B08);国家重点基础研究发展规划项目(2004CB318000)

1期刘国翌等:基于视频的三维人体运动跟踪

83

踪1Gavrila等[6]使用基于距离图的图像和模型的匹配技术,采用搜索空间分解的方法找到最优姿态1文献[8]提出使用CovarianceScaledSampling结合局部优化的方法从单视频中跟踪人体运动1

总结近年的文献可以看出,当前流行的方法大多采用基于人体骨架模型的匹配技术1这种方法的目标是在状态空间中找到一组姿态参数,使得对应这个参数的人体姿态与从图像中提取的底层特征最为符合1

基于人体骨架模型的匹配技术通常使用产生并测试的方法,其基本思想是根据历史跟踪结果预测当前时刻的姿态参数,然后根据预测的参数值生成人体姿态的某种表示,并用之去匹配图像特征,根据匹配结果对当前时刻姿态参数进行估计1这种预测—匹配—更新的跟踪框架也适用与一般意义的物体跟踪1

使用该跟踪框架跟踪人体,需要解决2个问题:1)提取有效的图像特征;2)搜索1

],文献[6]采用彩色紧身衣,[7]采用立体匹配的特征1根据底层特征的不同,匹配的方式也不尽相同1在匹配生成数据与底层特征时,把描述二者相似程度的函数称为相似性度量函数,它被用来评价生成姿态的正确程度1如文献[6]采用了基于边界图像的距离图匹配,文献[7]利用深度数据与元球模型表面进行匹配,文献[4,9]采用了基于灰度差的度量函数等1本文中结合使用了3种常见特征:灰度,轮廓和边界特征,试图通过组合多种图像特征来提高跟踪的健壮性,从而逐渐减少对实验环境的依赖1

对于高维姿态空间搜索问题,一般采用2种方式来解决:

1)对搜索空间进行剪枝,或者限制搜索在整个空间的一个子空间内进行1如限制某些关节角度在合理的运动范围内,并保证肢体不能相交1也可以采用学习已知人体运动的人体运动模型[9],或者使用运动的平滑性来限制搜索范围1

2)采用适当的搜索策略1搜索测量可以分为2类:a1使用局部优化的算法从某个初始值附近进行

[728]

方式则存在搜索到局部极小值点,累计错误以及不健壮等问题1b1基于概率的跟踪框架1在这个框架中用概率来描述跟踪过程中的不确定性以及噪声、杂乱背景等影响1比较有影响的是基于离散采样表示(非参数)的Condensation算法,即粒子滤波算法,文献[5,829]均基于这个跟踪框架1这类算法同样需要一个姿态的初始分布,然后利用概率的时间传播来模拟状态分布随时间的演化1

利用基于概率的算法可以处理混乱背景以及非线性运动模型所引起的多峰分布问题,在跟踪低自由度的运动获得了很大的成功1然而该算法所需要的粒子数目随人体自由度的指数增长,处理高自由度的人体运动会有很大问题1

,通过改进文献[4]中人体投影模型,,[](灰度,轮廓,边界)

,从1

1　人体模型及投影过程

人体运动跟踪问题的输入为一个或多个视角的、已同步的图像序列;输出为每个时刻人体的姿态参数(关节位置或角度),其目标是寻找一组随时间变化的姿态参数,使它们描述的人体运动与图像序列中的人体运动最为一致1为了定量地描述这个优化问题,我们首先定义一个人体模型以及这个人体模型在多个摄像机下的投影过程,并在此基础上定义人体模型与图像特征的匹配过程1111　摄像机投影模型

在消除畸变后,摄像机的透视投影过程可以用针孔模型来描述1在此模型下,三维世界坐标射影坐标为X=[Xw,Yw,Zw,1]按照

uZcv

=M

project

X=MinMexX(1)

1

投影为图像坐标[u,v,1]1Min是内参数矩阵;

Mex=

RO

t

是摄像机外参矩阵,R为3×3旋转矩

阵表示摄像机的旋转,t为3×1矩阵表示摄像机的平移向量1

我们利用OpenCV[10]提供的定标算法来计算每个摄像机的内参数1对于摄像机外参数,采用手工选取地面上已知世界坐标的蚕照点(最少4个不

搜索,最后优化到一个局部极小值点1文献[4,627]采用的就是这种策略1优化初值在第1帧采用手工给定或者由自动初始化过程给出,在其他时刻则根据历史跟踪的结果进行预测得到1基于局部搜索的

84

计算机辅助设计与图形学学报2006年

共线的点)来计算摄像机的外参数1112　人体骨架模型和外观模型定义

人体模型主要分为二维和三维模型2类,二维的有Blob模型[3]等;三维的有元球模型[7],体模型[527]等1为了恢复人体的三维姿态,我们定义了 …… 此处隐藏：10697字，全部文档内容请下载后查看。喜欢就下载吧 ……