一种基于流形学习的手写体数字识别

针对手写字符识别中由于书写习惯和风格不同造成字符模式不稳定的问题,提出了一种基于流形学习的手写体数字识别方法。算法首先利用局部线性嵌入(LLE)对手写体数字图像进行字符特征的降维,然后再对降维后的特征进行分类识别。通过对MINST库中手写体数字数据库上的实验结果表明,利用LLE降维后的特征能够有效地区分字符,识别率达到91.7%,并能够发现高维空间的低维嵌入流形

维普资讯 http://doc.guandang.net

光电子 激光第 1 8卷第 1 2期 2 0年 1月 07 2

J un l fO te c o i L sr or a pol t nc o e r s ae

V 11 o 1 D c2 0 o. N . e. 0 7 8 2

一

种基于流形学习的手写体数字识别

杨晓敏，吴炜，小海，陈默，薛磊何(四川大学电子信息学院图像信息研究所，四川成都 606 ) 104摘要：针对手写字符识别中由于书写习惯和风格不同造成字符模式不稳定的问题，出了一种基于流形学习的提

手写体数字识别方法。算法首先利用局部线性嵌入 ( L )手写体数字图像进行字符特征的降维，后再对 L E对然降维后的特征进行分类识别。通过对 MI S N T库中手写体数字数据库上的实验结果表明，用 L E降维后的利 L特征能够有效地区分字符，别率达到 9 .,能够发现高维空间的低维嵌人流形。识 17并 关键词流形学习；模式识别；局部线性嵌入( L )手写字符识别； LE;非线性降维中图分类号： P 9 _ T 3 l4文献标识码： A文章编号： 0—0 6 2 0 ) 217 -4 1 50 8 (0 7 1-4 80 0

Ha d i e m ea c g i o s d o a iod Le nl n wrt n Nu r lReo nt n Bae n M n f l a i t i IYANG a - n,W UⅥri Xio mi e,HE a - a,CHEN o,XUE i Xio h i M Le( l g fE e t nc n n o ma in E gn ei g S c u n Unv ri, h n d 1 0 4, h n ) Col eo l r i a d I f r t n ie r, ih a i est C e g u 6 0 6 C ia e co s o n yAhs a T v cme te isa it fh n wrte h rce de h ti a sd b ifrntwrt g sye an v la— l a: o o eo h n tbl y o a d i tn c a atrmo lt a s cu e y dfee in t l, o e p r i i

po c ae n m nfl ann r p s hs a e. i tL cl n r mb dn ( L )a o tm s e rah b sdo a i d l r i i p o e

i t i p p r Fr, o a y l e o e g s o d n s l ia e e ig L E l r h i u e t r— d gi s d O d c h m n i ai fn u etr . h n ter u e t r lsie ys l c sie. ia y tea oi m r— u et e e s n t o p t a u e T e c f u ei c s i b mpe l s irFn l, g r h p o i d ol y i f h e d e d a s a f d i a f l h l tp s di hsp p ri e t n t ec aa tr n M I T h rce aa ae a d t x e me tlrs lsd mo sr t h t o e n t a e stse o h h r cesi NS c a atrd tb s, hee p r na e ut e n tae ta i d n i temeh a fe t ey i r v h eo nto aet 1 7 o n wite gt n r vd e a p o c O t h t o c nefci l d v mp o et erc g iin r t O 9 . fha d rtn d isa d p iean w p ra h t he i o rs ac o n wite iisrcg io . e erh frha d rtn dgt eo nt n i

Ke O' ma i l a f g lc l n a mb d n ( E) a d rtn c a atr rc g io,n nie me— yW I I￣: n f d 1 n n; oa l l e re e d g LL;h n wi e h r ce eo n t n o l a d n o e i yi i t i nr iso ai e u to in t r d cin l y

1引言 机器学习的一大目标是从数据中学习其相关的规律性，然而不同的数据往往呈现不同的特点，得传统的机器学习方这使法难以直接用于分析来源于真实世界的高维和非线性数据。

点， L E算法应用于手写体数字图像特征的降维中，将 L并对降维以后的手写体数字特征进行分类。通过对 MI T字库的 NS一

系列实验表明，法可以发现嵌套在字符原始特征的低维该算

流形，识别达到较高的识别率，有令人满意的应用效果。字符具

研究高维非线性数据集面临诸多困难，这主要是由于高维带来了数据的稀疏和维数

灾[,, 1]非线性使得我们不能有效地利用 2线性模型进行研究。研究发现，多高维采样数据都是由少数 许隐含变量所决定的，这些隐含变量是以嵌套在高维欧式空间而的组合型非线性流形存在的。因此，于数据分布的内在维数基来分析数据是机器学习和多元数据分析的重要研究方向，形流学习[,方法为我们提供了一种新的研究途径。 3] 4 与以往的机器学习不同的是，形学习强调了整体结构，流 要通过局部和整体相结合来发现和重建数据的内在规律性。 局部线性嵌套 ( L )流形学习中一种主要的算法，是一种 L E是它新的针对非线性数据的降维技术，将非线性数据局部线性 是

2 L, I E算法L E算法[ 9是一种从高维空间非线性映射到低维空间 L 5 3~

的非监督方法，以广泛地应用于图像数据的分类与聚类、可文字识别、维数据的可视化、像分割和检索等领域。L E算 多图 L法的主要思想是：对于一组具有嵌套流形的数据集，嵌套空在间与内在低维空间局部邻域间点的关系应该不变，在嵌套空即

间每个采样点可以用它的近邻点线性表示，在低维空间中保持

每个邻域中的权值不变，重构原数据点使重构误差最小。图 1是 L E应用于降维的例子，L L L E将三维空间的数据( ) b映射到二维空间 ()。 c中

L E的具体做法为： L设在高维欧氏空间 RD中有数据集 X一

化，找出非线性数据间的拓扑关系，成功地将高维数据映射并到低维空间中且不改变原有的相对位置，可以广泛地用于非线性数据的降维。 本文针对手写数字字符书写随意、符模式不稳定的特 字

{1X,,N,方法希望将 X嵌入到一个相对低维的空 z,2… X}该

间R a中(《D)同时尽可能地保持原数据的拓扑结构 (过 ,通

每点的邻域关系确定 )。具体流程图如图 2所示。

收稿日期：060—0修订日期：0 70—4 2 0—92 20—10* E ma; a@2 3 nt - rc s 6.e l i