第３３卷第１期 计算机应用与软件 Ｖ０ｌ＿３３ Ｎｏ．１ ２０１６年１月 Ｃｏｍｐｕｔｅｒ Ａｐｐｌｉｃａｔｉｏｎｓ ａｎｄ Ｓｏｆｔｗａｒｅ Ｊａｎ．２０１６ 基于改进的ＹＣｂＣｒ空间及多特征融合的手势识别 薛俊韬 纵蕴瑞 杨正瓴 （天津大学电气与自动化工程学院天津３０００７２） 摘要 针对基于视觉的手势识别的复杂性，提出一种基于改进的ＹＣｂＣｒ空间及多特征融合的手势识别新方法。首先针对ＹＣｂ— ｃｒ颜色空间易受环境因素影响的特点，采用改进的ＹＣｂＣｒ椭圆聚类肤色模型的手势分割方法提取手势区域；然后按手势图像外接 矩形的宽高比和手指个数进行粗分类，再提取手势的Ｈｕ矩和傅里叶描述子构建融合特征，并将融合特征输入ＢＰ神经网络进行训 练识别；最后综合粗分类和ＢＰ神经网络的结果进行手势判别。实验结果表明，该方法在保证实时性的同时具有较高的识别率。 关键词 手势识别 ＹＣｂＣｒ颜色空间Ｈｕ矩傅里叶描述子ＢＰ神经网络 中图分类号ＴＰ３９１ 文献标识码Ａ ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００￣８６ｘ．２０１６．Ｏ１．０３９ ＧＥＳＴＵＲＥ ＲＥＣｏＧＮＩＴＩｏＮ ＢＡＳＥＤ ｏＮ ＩＭＰＲｏＶＥＤ ＹＣＢＣＲ ＳＰＡＣＥ ＡＮＤ ＭＵＬＴＩ—ＦＥＡＴＵＲＥ ＩＮＴＥＧＲＡＴＩｏＮ Ｘｕｅ Ｊｕｎｔａｏ Ｚｏｎｇ Ｙｕｎｒｕｉ Ｙａｎｇ Ｚｈｅｎｇｌｉｎｇ （Ｓｃｈｏｏｌ ｏｆＥｌｅｃｔｒｉｃａｌ ａｎｄＡｕｔｏｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，Ｔｉｅ ｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｔｉａｎｆｉｎ ３０００７２，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ Ｂｅｃａｕｓｅ ０ｆ ｔｈｅ ｃｏｍｐｌｅｘｉｔｙ ｏｆ ｖｉｓｉｏｎ—ｂａｓｅｄ ｈａｎｄ ｇｅｓｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ．ｗｅ ｐｒｅｓｅｎｔｅｄ ａ ｎｏｖｅｌ ｈａｎｄ ｇｅｓｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｗｈｉｃｈ ｉｓ ｂａｓｅｄ ｏｎ ｉｍｐｒｏｖｅｄ ＹＣｂＣｒ ｓｐａｃｅ ａｎｄ ｍｕｌｔｉ—ｆｅａｔｕｒｅ ｉｎｔｅｇｒａｔｉｏｎ．Ｆｉｒｓｔｌｙ，ｃｏｎｓｉｄｅｒｉｎｇ ｔｈｅ ｃｈａｒａｃｔｅｒｉｓｔｉｃ ｔｈａｔ ＹＣｂＣｒ ｅｏｌｏｕｒ ｓｐａｃｅ ｉｓ ｐｒｏｎｅ ｔｏ ｔｈｅ ｉｎｆｌｕｅｎｃｅ ｏｆ ｅｎｖｉｒｏｎｍｅｎｔａｌ ｆａｃｔｏｒｓ，ｔｈｅ ａｌｇｏｒｉｔｈｍ ａｄｏｐｔｓ ｔｈｅ ｉｍｐｒｏｖｅｄ ｈａｎｄ ｇｅｓｔｕｒｅ ｓｅｇｍｅｎｔａｔｉｏｎ ｍｅｔｈｏｄ ｕｓｉｎｇ ＹＣｂＣｒ ｅｌｌｉｐｔｉｃ ｃｌｕｓｔｅｒｉｎｇ ｓｋｉｎ ｃｏｌｏｕｒ ｍｏｄｅｌ ｔｏ ｅｘｔｒａｃｔ ｈａｎｄ ｇｅｓｔｕｒｅ ｒｅｇｉｏｎ．Ｔｈｅｎ ｉｔ ｍａｋｅｓ ｉｎｉｔｉａｌ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ａｓｐｅｃｔ ｒａｔｉｏ ｏｆ ｅｎｖｅｌｏｐ ｒｅｃｔａｎｇｌｅ ｏｆ ｈａｎｄ ｇｅｓｔｕｒｅ ｉｍａｇｅ ａｎｄ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｉｆｎｇｅｒｓ，ａｎｄ ｅｘｔｒａｃｔｓ Ｈｕ ｍｏｍｅｎｔ ａｎｄ Ｆｏｕｒｉｅｒ ｄｅｓｃｒｉｐｔｏｒ ｏｆ ｈａｎｄ ｇｅｓｔｕｒｅ ｔｏ ｂｕｉｌｄ ｉｎｔｅｇｒａｔｉｏｎ ｆｅａｔｕｒｅｓ，ｗｈｉｃｈ ａｒｅ ｐｕｔ ｉｎｔｏ ＢＰ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｆｏｒ ｔｒａｉｎｉｎｇ ａｎｄ ｒｅｃｏｇｎｉｔｉｏｎ．Ｆｉｎａｌｌｙ ｔｈｅ ｒｅｓｕｌｔｓ ｏｆ ｔｈｅ ｉｎｉｔｉａｌ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ ＢＰ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ａｒｅ ｃｏｍｂｉｎｅｄ ｆｏｒ ｈａｎｄ ｇｅｓｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ．Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗｅｄ ｔｈａｔ ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ ｃｏｕｌｄ ｅｎｓｕｒｅ ｔｈｅ ｒｅａｌ—ｔｉｍｅ ｐｅｒｆｏｒｍａｎｃｅｓ ｗｈｉｌｅ ｇｅｔｔｉｎｇ ａ ｑｕｉｔｅ ｈｉｇｈｅｒ ｒｅｃｏｇｎｉｔｉｏｎ ｒａｔｅ． Ｋｅｙｗｏｒｄｓ Ｈａｎｄ ｇｅｓｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ ＹＣｂＣｒ ｅｏｌｏｕｒ ｓｐａｃｅ Ｈｕ ｍｏｍｅｎｔ Ｆｏｕｒｉｅｒ ｄｅｓｃｒｉｐｔｏｒｓ ＢＰ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ 傅里叶描述子能准确地描述手势且具有平移、旋转和缩放不变 ０ 引 言 性，因此在目标识别中具有广泛的应用。 殷涛等 利用Ｈｕ矩对四十个静态手势进行识别研究，取 手势识别作为人机交互中对使用者限制最小的一种方式， 得了较高的识别率，但对手势图片要求较高，图片光线复杂或者 正越来越受到计算机视觉研究者的关注。手势的多样性、多义 手势拍摄角度不佳等于扰对于判定结果的影响较大。Ｈｅｂａ 性，时间和空间差异性 Ｊ，以及视觉本身的不稳定性，使得建立 等 利用傅里叶描述子和ＢＰ神经网络结合的方法对四个简单 基于视觉的手势识别系统是一个极富挑战性的课题。手势识别 手势进行识别研究，可以获得比较高的识别率，但是对于局部相 主要由图像分割、特征提取和识别等部分组成。 似度较高的手势，识别结果仍然差强人意，难以对更加丰富复杂 手势分割是手势识别的基础，它处理的好坏直接影响到后 的手势库进行识别。可见单独应用Ｈｕ矩和傅里叶描述子特征 续的特征提取和识别效果。由于肤色具有很好的特征，目前很 进行手势识别难以取得完善的效果。 多分割方法基于肤色聚类特性 Ｊ，运用颜色信息得到完整的手 针对上述问题，本文首先采用基于改进的ＹＣｂＣｒ颜色空间 部区域。但光照条件的变化、前景和背景中类肤色区域的干扰 的手势分割方法，实现了复杂和多变背景下的有效分割。然后 等，都会使得分割效果不理想。最简单的方法是外加种种限制， 在分割图像上寻找有表征意义的结构特征对手势进行粗分类， 如要求背景使用某种特定的颜色，虽然明显提高了分割效果，但 将可能的手势限定在某一范围之内；再提取Ｈｕ矩和傅里叶描 这样不利于实际应用。 述子构建具有平移、旋转、缩放不变性特点的融合特征，并利用 手势特征选择与提取是手势识别的难点。文献［３］提取了 收稿日期：２０１４～０６—１１。天津市科技支撑计划重点项目（１０ＺＣＫＦ 手势边缘特征像素点，计算量小，但未考虑手势旋转、缩放、肤色 ＳＦＯＩ１００）；天津市科技型中小企业创新基金项目（１３ｚｘＣｘＧｘ４ｏ４０ｏ）。 干扰时的识别。文献［４］利用图像的密度分布特征实现二值图 薛俊韬，副教授，主研领域：图像处理，智能信息处理，智能仪器，模式识 像的检索识别，但无法识别区分度较小的手势。由于Ｈｕ矩和 别应用。纵蕴瑞，硕士生。杨正瓴，副教授。 第１期 薛俊韬等：基于改进的ＹＣｂＣｒ空间及多特征融合的手势识别 １５５ 作用，一定程度上减少了ＢＰ神经网络的误判，整体提升了判别 的准确率。本系统在Ｖｉｓｕａｌ Ｃ＋＋６．０环境下，用Ｃ＋＋语言编 写，并利用ＯｐｅｎＣＶ中的部分函数完成图像处理的编程。在 的修正作用，整体提升了最终识别率。当然，文中采用的图像分 割方法对于光照仍然比较敏感，所以还需要进一步完善。此外， 对于最接近人们日常生活的动态手语识别系统的研究具有非常 现实的意义，是未来手语识别的发展方向。 ２．６ ＧＨｚ ＣＰＵ，２ ＧＢ ＲＡＭ硬件环境下，处理３２０×２４０图片需要 的平均时间在２６ ｍｓ左右，完全可以满足实时性的要求。 表３各手势识别率 手势 识别率 手势 识别率 手势 识别率 Ａ ９６．７％ Ｋ ９６．７％ Ｕ ８６．７％ Ｂ ８６．７％ Ｌ ９０．０％ Ｖ ９３．３％ Ｃ ８６．７％ Ｍ ８６．７％ Ｗ ９６．７％ Ｄ ９６．７％ Ｎ ９０．０％ Ｘ ８３．３％ Ｅ ９Ｏ．０％ ０ ９３．３％ Ｙ ９０．０％ Ｆ ９６．７％ Ｐ ９６．７％ Ｚ ９６．７％ Ｇ ９３．３％ Ｑ ９０．Ｏ％ ＺＨ ９３．３％ Ｈ ８６．７％ Ｒ ８６．７％ ＣＨ ９０．Ｏ％ Ｉ ８６．７％ Ｓ ９６．７％ ＳＨ ８６．６％ Ｊ ９３．３％ Ｔ ９Ｏ．Ｏ％ ＮＧ ９３．３％ ＾ Ｕ ｔ ｒ Ｈ’Ｊ Ｌ Ｍ Ｎｏ－ Ｈ ５ １ Ｕ ｖ Ｗ Ｘ ‘ 州 手辨 一 图７各方法识别率对比图 综合实验数据得出，本文所设计的静态手势识别系统具有 很好的实时性以及识别率，达到了预期的目标。通过对误识别 手势分析不难发现，个别手势不能识别的原因是手指语中有许 多手势较为类同，或者拍摄角度欠佳，使得手势间的区分度较 小，外形非常接近。例如图６中手势Ｈ在侧面拍摄时，伸出的 两根手指会重合在一起，易误判为手势Ｉ。另外，一些手势图像 在预处理时部分有用信息会丢失，这些因素都会对识别率造成 一定的影响。 ４ 结语 本文利用改进的ＹＣｂＣｒ颜色空间椭圆模型实现了色度信 号与亮度信号分离，减少了光照强度对手势图像的影响，一定程 度上满足了图像分割的要求。Ｈｕ矩和傅里叶描述子构建的混 合特征训练的ＢＰ神经网络相对于单一特征训练的ＢＰ神经网 络，在满足实时性的基础上极大地提高了识别率。同时提取的 手势结构特征进行的粗分类，对ＢＰ神经网络识别结果有很好 参考文献 ［１］Ｌｉｃｓａｒ Ａ，Ｓｚｉｒａｎｙｉ Ｔ．Ｕｓｅｒ－ａｄａｐｔｉｖｅ ｈａｎｄ ｇｅｓｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ ｓｙｓｔｅｍ ｗｉｔｈ ｉｎｔｅｒａｃｔｉｖｅ ｔｒａｉｎｉｎｇ［Ｊ］．Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ，２００５，２３ （１２）：１１０２—１１１４． ［２］Ｐｈｕｎｇ Ｓ，Ｂｏｕｚｅｒｄｏｕｍ Ａ，Ｃｈａｉ Ｄ．Ｓｋｉｎ ｓｅｇｍｅｎｔａｔｉｏｎ ｕｓｉｎｇ ｃｏｌｏｒ ｐｉｘｅｌ ｃｌａｓｓｉｉｆｃａｔｉｏｎ：ｎａａｌｙｓｉｓ ａｎｄ ｃｏｍｐａｒｉｓｏｎ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔ－ ｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２００５，２７（Ｉ）：１４８—１５４． ［３］张良国，吴江琴，高文，等．基于Ｈａｕｓｄｏｒｆ距离的手势识别［Ｊ］．中 国图象图形学报：Ａ版，２００２，７（１１）：１１４４—１１５０． ［４］黄春木，周利莉．密度分布特征及其在二值图像检索中的应用 ［Ｊ］．中国图象图形学报，２００８，１３（２）：３０７—３１１． ［５］殷涛，葛元，王林泉．基于几何矩的字母手势识别算法［Ｊ］．计算机 工程，２００４，３０（１８）：１２７—１２９． ［６］Ｇａｍａｌ Ｍ，Ａｂｄｕｌ Ｋ，Ｓａｌｌａｍ Ｅ．Ｈａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ Ｆｏｕｒｉｅｒ Ｄｅｓｃｒｌｐｔｏｍ［Ｃ］／／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｓｙｓｔｅｍｓ，Ｃａｉｒｏ，ＥＧＹＰＴ，２０１３：２７４—２７９． ［７］徐战武，朱淼良基于颜色的皮肤检测综述［Ｊ］．中国图象图形学 报，２００７，１２（３）：３７７—３８８． ［８］Ｄｈｒｎｖａ Ｎ，Ｒｕｐａｎａｇｕｄｉ Ｓ，Ｓａｃｈｉｎ Ｓ，ｅｔ ａ１．Ｎｏｖｅｌ Ｓｅｇｍｅｎｔａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｈａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ『Ｃ］／／ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｕｌｔｉ Ｃｏｎｆｅｒ－ ｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｏｎ Ｃｏｍｐｕｔｉｎｇ，Ｃｏｎｔｒｏｌ，Ｃｏｍｍｕｎｉｃａｔｉｏｎ ａｎｄ Ｃｏｍ－ ｐｒｅｓｓｅｄ Ｓｅｎｓｉｎｇ，Ｋｏｔｔａｙａｍ，ＩＮＤＩＡ，２０１３：３８３—３８８． ［９］Ｐｒａｍｏｄ Ｋ，Ｐｒａｈｌａｄ Ｖ，Ａｉ Ｐ．Ａｔｔｅｎｔｉｏｎ Ｂａｓｅｄ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ Ｈａｎｄ Ｐｏｓｔｕｒｅｓ ａｇａｉｎｓｔ Ｃｏｍｐｌｅｘ Ｂａｃｋｇｒｏｕｎｄｓ［Ｊ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒ－ ｎａｌ ｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，２０１３，１０１（３）：４０３—４１９． ［１０］Ｈｓｕ Ｒ，Ｍｏｔｔａｌｅｂ Ａ，Ｊａｉｎ Ａ．Ｆａｃｅ ｄｅｔｅｃｔｉｏｎ ｉｎ ｃｏｌｏｒ ｉｍａｇｅｓ［Ｊ］．Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ ＩｎｔｅＨｉｇｅｎｃｅ，２００２，２４（５）：６９６—７０６． ［１１］李丹娇，彭进业，冯晓毅，等．结合ＣＣＳ与傅里叶描述子的手势特 征提取［Ｊ］．计算机工程，２０１２，３８（６）：１７８—１８０． ［１２］Ｌｉｕ Ｙ，Ｚｈａｎｇ Ｌ，Ｚｈａｎｇ Ｓ．Ａ Ｈａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｍｅｔｈｏｄ Ｂａｓｅｄ ｏｎ Ｍｕｌｔｉ—Ｆｅａｔｕｒｅ Ｆｕｓｉｏｎ ａｎｄ Ｔｅｍｐｌａｔｅ Ｍａｔｃｈｉｎｇ［Ｃ］／／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ｉｆｎｏｒｍａｔｉｏｎ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｈａｒｂｉｎ，ＰＥＯ— ＰＬＥＳ Ｒ ＣＨＩＮＡ，２０１２：１６７８—１６８４． （１３］裴利沈，董乐，赵雪专，等．基于区域形状与运动特征的实时行为识 别［Ｊ］．计算机科学，２０１３，４０（５）：２６１—２６５． （上接第１４１页） ［１６］Ｆｕｋｕｎｇａａ Ｋ．Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ ｓｔａｔｉｓｔｉｃａｌ ｐａｔｔｅｎｒ ｒｅｃｏｇｎｉｔｉｏｎ［Ｍ］．Ａｃａ— ｄｅｍｉｃ ｐｒｅｓｓ，１９９０． ［１７］Ｗｏｎｇ Ｍ Ａ，Ｌａｎｅ Ｔ．Ａ ｋｔｈ ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｕｒ ｃｌｕｓｔｅｒｉｎｇ ｐｒｏｃｅｄｕｒｅ ［Ｃ］／／Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｓｔａｔｉｓｔｉｃｓ：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １３ｔｈ Ｓｙｍ－ ｐｏｓｉｕｍ ｏｎ ｔｈｅ Ｉｎｔｅｒｆａｃｅ．Ｓｐｒｉｎｇｅｒ ＵＳ，１９８１：３０８—３１１． ［１８］Ｐｈｉｌｌｉｐｓ Ｐ Ｊ，Ｍｏｏｎ Ｈ，Ｒｉｚｖｉ Ｓ Ａ，ｅｔ ａ１．Ｔｈｅ ＦＥＲＥＴ ｅｖｌａｕａｔｉｏｎ ｍｅｔｈｏｄ－ ｏｌｏｇｙ ｏｆｒ ｆａｃｅ－ｒｅｃｏｇｎｉｔｉｏｎ ｌａｇｏｉｒｔｈｍｓ［Ｊ］．Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ，２０００，２２（１０）：１０９０—１１０４． ［１９］Ｇａｏ Ｗ，Ｃａｏ Ｂ，Ｓｈａｎ Ｓ．Ｔｈｅ ＣＡＳ—ＰＥＡＬ ｌｒａｇｅ－ｓｃａｌｅ Ｃｈｉｎｅｓｅ ｆａｃｅ ｄａｔａ－ ｂａｓｅ ａｎｄ ｂａｓｅｌｉｎｅ ｅｖａｌｕａｔｉｏｎｓ［Ｊ］．ＩＥＥＥ Ｔｒｎａｓａｃｔｉｏｎｓ ｏｎ Ｓｙｓｔｅｍｓ Ｍａｎ ｎａｄ Ｃｙｂｅｒｎｅｔｉｃｓ，２００８，３８（１）：１４９—１６１．