基于连续隐马尔可夫模型的步态识别

第 11卷 　第 6期 2006年 6月 中国图象图形学报 Journal of Image and Graphics Vol. 11, No. 6 June, 2006 收稿日期 : 2004212217;改回日期 : 2005207218 第一作者简介 :田光见 ( 1974 ～　 ) , 男。西北工业大学计算机学院博士研究生。主要研究领域为图形图像处理、模式识别。 E2mail: gjtian@hotmail. com 基于连续隐马尔可夫模型的步态识别 田光见　赵荣椿 (西北工业大学计算机学院 , 西安　710072) 摘 　要 　步态识别作为一种新的生物特征识别技术 ,通过人走路的姿势实现对个人身份的识别和认证。算法利用步 态轮廓图像边界到重心的距离矢量对步态轮廓图像进行描述 ,采用步态图像的高宽比进行步态的准周期性分析。利 用隐马尔可夫模型进行步态时变数据匹配识别。算法在 CMU数据库上进行实验取得了较高的正确识别率。 关键词 　生物特征识别 　步态识别 　特征提取 　隐马尔可夫模型 中图法分类号 : TP391. 4　　文献标识码 : A　　文章编号 : 100628961 (2006) 0620867205 Ga it Recogn ition Ba sed on HMM TIAN Guang2jian, ZHAO Rong2chun (D epartm ent of Com puter Science and Technology, N orthwestern Poly2technical U niversity, X i’an 710072) Abstract　Gait recognition refers to automatic identification of an individual based on his/her style of walking, which is a new biometrics recognition technology. This paper attemp ts to describe gait contour by using the distance between the contour centroid and the p ixels on the edge, to make quasi2periodic analysis on height and width ratio of gait image, and to solve the p roblem s resulting from image sequence of different gait cycle by HMM. By utilizing the algorithm in the paper, the experiments with CMU database have achieved comparatively high correction identification ratio. Keywords　biometrics, gait recognition, feature extraction, hidden Markov model 1　引　言 生物特征识别技术是利用人自身所固有的生理 或行为特征进行身份鉴别。生理特征与生俱来 ,多 为先天性的 (如指纹、虹膜、脸像等 ) ;行为特征则是 习惯使然 ,多为后天性的 (如笔迹、步态等 )。但是 没有一种生物特征是完美而有效的 ,指纹识别的可 靠性比较高但是需要实际的物理接触 ;人脸与虹膜 识别不需要物理接触然而在实际应用时却受到环境 的限制较多 ;实际上大多数的人脸识别技术只能够 识别人的正面脸像 ,而虹膜识别技术的识别距离一 般不会超过 5m。步态作为一种生物特征就是根据 人走路的姿势进行人的远距离身份认证 [ 1 ]。步态 作为一种远距离身份识别的生物特征 ,虽然它具有 其他的生物特征所不具有的一些优点 (远距离 ,难 以隐藏等 ) ,但是也具有明显的缺点。步态识别的 精度中等 ,并且对于数据库中数据较少时比较有效 ; 对于数据库中的数据较多时仅仅利用步态很难从中 识别出单一的个体 ,但是此时利用步态可以缩小可 能匹配的范围 [ 1 ]。步态识别作为一个处于探索性 理论研究阶段的新的研究领域近年来取得了一系列 的研究成果。 Am it Kale等人 [ 2 ]利用人的二值化图像的侧面 外轮廓作为图像的特征 ,对于每一个人在一个步态 周期内利用 C均值算法选择一个标本集合。在识 别的过程中计算一个步态序列的每一帧与标本集合 之间的所谓的 FED ( feature examp le distance)距离矢 量 ,采用 HMM进行步态识别 ; Lee[ 3 ]采用 7个椭圆 表达人的侧面二值化图像的身体的不同部分 ,每一 个椭圆用质心等 4个特征表示加上整个身体图像的 质心的高度一共 29个特征表示整个人体侧面图像 , © 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 868　　 中国图象图形学报 第 11卷 通过匹配方法进行步态识别 ; Cunado[ 4 ]将大腿 和小腿建模为链接的钟摆 ,并从其倾斜角度信号的 频率分量中获取步态特征。文献 [ 5 ]利用步态轮廓 1维矢量在特征空间的投影表示一个步态序列 ,利 用 KNN ( K nearest neighbor)算法进行分类识别。本 文的算法与文献 [ 5 ] 相比 , 不需要进行 PCA (p rincip le component analysis)分析 ,而且本文用作 识别的特征维数会远远低于经过 PCA分析降维的 特征维数。 2　步态的特征提取与表达 2. 1　步态检测与提取 对于任意一个人的步态图像序列 ,首先通过背 景相减法 ,获取步态图像。经过这种处理之后的图 像存在多余的随机噪声 ,采用一个的 3 ×3均值 滤波器去除运动图像中的随机噪声 ,然后利用一系 列的数学形态学操作 ,填充空洞和去除步态图像边 缘处的噪声。经过以上处理后的一个示例如图 1 所示。 图 1　预处理结果 Fig. 1　Prep rocess result 2. 2　步态轮廓描述 采用文献 [ 6 ]的方法对经过背景减除和形态学 滤波后的步态结果图像进行边缘跟踪 ,求得步态图 像的轮廓。用复数形式表示如下 (N 个点 ) : zi = xi + jyi 　i = 1, 2, ⋯, N (1) 步态轮廓的重心坐标为 ( xc , yc ) xc = 1 N ∑ N i =1 xi 　yc = 1N ∑ N i =1 yi (2) 　　文献 [ 7 ]给出了 4种利用 1维函数描述 2维形 状的区域或者边界的方法 ,本文仅从 4种表示方法 的计算复杂性和结果受噪声影响的程度来考虑选择 边缘点到重心的距离作为形状的特征描述方法。步 态轮廓上面的任意一点 ( xi , yi ) 到重心 ( xc , yc ) 的距 离为 ri = ( xi - xc ) 2 + ( yi - yc ) 2 (3) 所有的距离构成特征矢量 R = ( r1 , r2 , ⋯, rN ) ,为了 消除图像尺寸的影响 , 对特征矢量进行归一化 处理 [ 5 ] R′= R /max ( r1 , r2 , ⋯, rN ) (4) 　　为了去除噪声的影响需要对特征矢量进行平滑 处理。图 2给出经过本步骤处理后所得到的特征矢 量的一个例子。 图 2　特征矢量 Fig. 2　Feature component 由图 2可以看出 ,所得到的特征矢量的维数与 处于图像轮廓上的像素点数一致 ,在不影响数据的 精度表达上为了降维需要对特征矢量进行等像素点 数重采样 ,使所有的特征矢量具有相同的维数。 2. 3　步态周期性分析 步态数据是准周期性的时变数据 ,从人体侧面 轮廓图像序列可以看出 ,人体侧面的轮廓宽度会经 过一个周期性的变换 ,侧面轮廓宽度有一个从最大 到最小又到最大的变化过程。此处利用步态轮廓图 像的高宽比来进行周期性分析 ,高宽比随着帧序号 的变化如图 3所示。 © 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 第 6期 田光见等 :基于连续隐马尔可夫模型的步态识别 869　　 图 3　周期性分析 Fig. 3　Period analysis 3　基于隐马尔可夫模型的步态识别 3. 1　步态序列的表达 假设已知人 j的 m 个周期的数据 , Xjm = { x j11 , x j 12 , ⋯, x j1T } , ⋯, { x jm 1 , x jm 2 , ⋯, x jm T } , 其中的 x(·)(·)表 示前面提到的一帧图像的特征矢量。虽然特征矢量 经过下采样的降维处理 ,但是对于一帧图像的特征 矢量的最小的维数也大概有 100左右 ,如果直接利 用这些特征矢量进行识别 ,计算量非常大 ,对于本文 的隐马尔可夫模型的参数估计更是不可行的。为了 解决这个问题采用文献 [ 2 ]介绍的方法进行降维处 理 ,具体做法如下 : 对于人 j寻找一个在某种意义上最能表示人 j的 集合εj = { e1 , e2 , ⋯, eN } , 称 εj为人 j的标本。设 x j ( t)表示在时刻 t图像的特征矢量 ,在时刻 t可以计 算 x j ( t)到 ei ∈εj的距离构成一个 N维的矢量 f jj ( t)。 f jj ( t) = d ( xj ( t) , eji ) , t∈{ 1, 2, ⋯, T} , i∈1, 2, ⋯, N } (5) e j i表示人 j的第 i个标本。 f ji ( t)可以作为人 j的观察 矢量。 f ji ( t)表示利用人 j的标本编码的人 i的观察 矢量。经过这样的处理之后观察矢量的维数为 N ,此 时的关键问题是确定 N以及标本εj的计算。这个问 题可以利用 C均值聚类算法进行计算 ,同时可以求出 标本εj和确定标本的个数 N。 3. 2　基于 HMM 的步态识别 对于人 j走路时的步态的变换可以看作是人的 步态的 N 个标本从一个状态顺序转换到另外一个状 态 ,人 j的观察矢量 f jj ( t)反映了标本之间的转换。对 于人 j包含一个隐过程 (标本之间的转换 )和一个显 过程 (观察矢量随着时间的变化 )。隐马尔可夫模型 非常适合处理这样的时变信号。有关隐马尔可夫模 型的详细介绍参见文献 [8 ],对于步态识别问题 ,把标 本看作是 HMM隐状态 ,观察矢量看作是 HMM的观 察值。HMM的状态数目直接取标本的数量 N , HMM 的参数包括初始概率π,状态转移矩阵 A ,输出概率 分布 B。λ = (π, A , B )表示 HMM的参数。 对于步态识别问题 ,可以使用 HMM的参数和标 本联合起来表示不同的人的步态数据。设 xu ( t) , t ∈ { 1, 2, ⋯, T}表示待识别的人的边界到重心的距离的 特征矢量 ,设数据库中保存了 M 个人的标本数据和 相应 HMM参数 ,首先计算 xu ( t)到每一个人的标本 观察矢量 f uj ( t) , j ∈{ 1, 2, ⋯, M } ,然后利用文献 [8 ] 中的前向算法计算观察值序列 f uj ( t)在人 j的 HMM参 数λj下的概率 Pj , Pj = log (P ( f uj |λj ) )对于数据库中所 有的人重复上面的计算步骤产生概率序列 Pj , j ∈{ 1, 2, ⋯,M }。假设待识别的人是人 m ,则根据模式识别中 的最近邻算法原理 , Pm 就是我们期望的最大值。 3. 3　HMM 的 3个基本问题 利用 HMM进行步态识别同其他的实际应用一 样也必须要解决一系列的关键技术问题 ,这些问题 归纳为以下 3个基本问题 : (1)给定模型λ和长度为 T的观测序列 ,如何 有效地计算在给定模型 λ条件下产生观测序列 O 的概率 P (O |λ) ; (2)状态变化的最佳路径的计算 ; (3)已知长度为 T的观测序列 ,如何调整模型 的参数λ = (π, A , B ) 使条件概率 P (O |λ)最大 ,是 参数更新问题。 问题 1、2的解决分别采用经典的前向 2后向算 法和 V iterbi算法 ;而问题 3在此处是多观测值序列 的隐马尔可夫模型训练问题 ,推导多观察值序列的 参数重估算法 ,重估公式如下 : 设来自某一个类别的多个观测矢量序列为 O = {O ( 1) , O ( 2) , ⋯, O ( K) } 其中 , O ( k) = (O ( k)1 , O ( k)2 , ⋯, O ( k)Tk ) , 1≤k≤K表示单 个的观测矢量序列。不论观测矢量序列之间相关与 否 ,观测矢量序列之间都存在以下关系 : P (O | λ) = P (O ( 1) |λ) P (O ( 2) | O ( 1) ,λ) ⋯ P (O ( K) | O ( K - 1) ⋯O ( 1) ,λ) P (O | λ) = P (O ( 2) |λ) P (O ( 3) | O ( 2) ,λ) ⋯ P (O ( 1) | O ( K) ⋯O ( 2) ,λ) ⋯⋯ P (O | λ) = P (O ( K) |λ) P (O ( 1) | O ( K) ,λ) ⋯ P (O ( K - 1) | O ( K) O ( K - 2) ⋯O ( 1) ,λ) 已知模型参数λ,出现多观测矢量序列 O 的概率可 © 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 870　　 中国图象图形学报 第 11卷 以表示为 P (O |λ) = ∑ K k =1 w k P (O ( k) | λ) 其中 , wk 为权重 ,这些权重表达式是一个条件概率 , 可以理解为观测矢量序列之间的相关性。构造辅助 函数 Q (λ, …λ) = ∑K k =1 w k Qk (λ, …λ) 其中 , …λ为辅助函数中与模型参数λ相对应的变量 , 模型参数λ看作是静态常量。Qk (λ, …λ)为单个观 测矢量序列的 Baum辅助函数 Qk (λ, …λ) = ∑ Q P (O ( k) , Q |λ) logP (O ( k) , Q | λ) 1 ≤ k ≤ K 则多观测矢量序列的参数更新公式如下 :…aij = ∑Km =1 ∑Tm - 1t =1ξ(m )t ( i, j) ∑ K m =1 ∑ Tm - 1 t =1 γ(m )t ( i) (7)Šπi = 1K ∑Km γ(m )1 ( i)€cjk = ∑Km =1 ∑Tmt =1γ(m )t ( j, k) ∑ K m =1 ∑ Tm t =1 ∑ M k =1 γ(m )t ( j, k) (8)…μjk = ∑Km =1 ∑Tmt =1γ(m )t ( j, k) ·O (m )t ∑ K m =1 ∑ Tm t =1 γ(m )t ( j, k) (9) U jk = ∑ K m =1 ∑ Tm t =1 γ(m )t ( j, k) · (O (m )t - μjk ) (O (m )t - μjk ) ′ ∑ K m =1 ∑ Tm t =1 γ(m )t ( j, k) (10) 其中 , 1≤i≤N , 1≤j≤N , 1≤k≤M;ξt ( i, j)表示 t时 刻处于状态 i, t + 1时刻处于状态 j的概率 ,γt ( i)表 示 t时刻处于状态 i的概率。 4　实验结果 本文算法在 CMU 数据库上进行了实验验证 , CMU数据库采用 6台摄像机同时对室内在跑步机 上走路的人进行录像 ,每一个人同时捕获 6个视角 的视频序列。每一个人进行 4种类型的走动 :慢步 走、快步走、上坡走路和抱球慢步走。每一个视频序 列有 11 s长 ,帧频率 30f/ s。实际应用的每一个图像 序列有 340帧 ,每一帧图像的分辨率为 640 ×480。 CMU数据库包含 25人 ,每人 6个视角 4种走 路姿势总共 24个序列 ,算法在步态识别常用的侧面 图像的序列上进行测试 ,采用了其中 12个人的 72 个序列。按照每一个步态序列一半作为训练样本 , 另外一半步态序列作为测试样本进行实验。采用连 续全链接的隐马尔可夫模型进行训练识别。实验目 的在于考察各种不同的影响因素对于步态识别结果 的影响 (摄像机视角 ,走路速度 ,携带物品 )。本文 算法在 3个视角 (摄像机镜头平面与人走路的方向 成 - 45°、0°、45°)下的快步走序列、慢步走序列、抱 球走序列下进行测试。图 4给出快步走序列与抱球 走序列在 3个视角下的一帧采样图像。 图 4　序列采样图像 Fig. 4　Sequential images 实验分为验证 (verification)和识别 ( identification) 两类指标 ,每个视角下面的实验安排如表 1所示。 表 1　实验安排 Tab. 1　Exper im en t 实验序号 训练样本 测试样本 验证 /识别 实验 1 快步走 快步走 验证 实验 2 快步走 快步走 识别 实验 3 慢步走 慢步走 验证 实验 4 慢步走 慢步走 识别 实验 5 抱球走 抱球走 验证 实验 6 抱球走 抱球走 识别 　　算法的结果利用国际上通用的提供的表示步态 © 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 第 6期 田光见等 :基于连续隐马尔可夫模型的步态识别 871　　 识别结果的方法 CMS ( cumulative score,当 Rank = 1 时就表示正确识别率 ) [ 9 ]来表示。实验结果如图 5 所示。 图 5　实验结果 Fig. 5　Experiment result 5　结　论 本文利用 HMM改进了文献 [ 5 ]的识别算法并 且对于 HMM用于步态识别时的参数估计算法进行 了改进 ,简化了计算步骤而计算结果精度不变 ,并且 在多视角环境下进行了步态识别实验。从实验结果 可以看出 ,本文的算法在步态数据库中数据量中等 的情况下取得了较高的识别率。表明了 HMM模型 可以很好地处理多变量时变数据的匹配问题。算法 在 3个视角下进行测试都取得了较好的识别结果 , 算法对于视角的变化具有较好的鲁棒性。表 2给出 几种不同的算法的比较结果。 表 2　各种算法的比较结果 Tab. 2　Com par ison between d ifferen t m ethods 方法 数据集 最好识别率 ( % ) 文献 [ 2 ] L ittle and Boyd (5人 ) 85. 72 文献 [ 5 ] NLPR (20人 ) 72. 5 本文算法 CMU (12人 ) 86. 1 参考文献 ( References) 1　N ixon M S, Carter J N, Cunado D, et al. Automatic gait recognition [A ]. In: Proceedings of IEE Colloquium “Motion Analysis and Tracking”[ C ] , London, U. K. , 1999: 1 /3～6 /3. 2　Am it Kale, Rajagopalan A N, Sundaresan A, et a l. Identification of HumansU sing Gait[ R ]. MD 20740, Center forAutomation Research University ofMaryland at College Park, 2002. 3　L ily Lee. Gait Analysis for Classification [ R ]. A I Technical Report 20032014, The city of Cambridge, Massachusetts, USA: Massachusetts Institute of Technology2A rtificial Intelligence Iaboratory, 2003. 4　Cunado D, Nash J M, N ixon M S, et a l. Gait extraction and descrip tion by evidence2gathering [ A ]. In: Proceedings of the International Conference on Audio and V ideo Based B iometric Person Authentication[ C ] , W ashington DC, USA, 1999: 43～48. 5　W ang L iang, Tan Tie2niu, N ing Hua2zhong, et a l. Silhouette analysis2based gait recognition for human identification [ J ]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25 (12) : 1505～1518. 6　M ilan Sonka, Vaclav H lavac, Roger Boyle. Image Processing, Analysis, and Machine V ision ( 1 edition ) [ M ]. London, U K: Chapman & Hall computing Series. Chapman & Hall Computing, 1993: 45～48. 7　Zhang Deng2sheng, Lu Guo2jun. A comparative study on shape retrieval using fourier descrip tors with different shape signatures[A ]. In: Proceedings of IEEE Conference onMultimedia and Expo ( ICME’ 01) [ C ] , Tokyo, Japan. , 2001, 8: 317～320. 8　Rabiner L R. A tutorial on hidden Markov models and selected app lications in speech recognition [ J ]. Proceedings of the IEEE, 1989, 77 (2) : 257～285. 9　Philip s P J, Moon H, R izvi S A. The feret evaluation methodology for face2recognition algorithm s [ J ]. IEEE Transactions on Pattern Analysis and Machine Intelligent, 2000, 22 (10) : 1090～1100. © 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net