基于深度学习的行人再识别算法研究综述

信息与电脑China Computer & Communication算法语言

基于深度学习的行人再识别算法研究综述

赵巧花

（广州大学华软软件学院，广东 广州 510990）

摘 要：在计算机视觉领域，一个良好的行人再识别系统，主要包括行人检测、行人跟踪和行人再识别，这3个模块已形成专门的研究领域。行人再识别（Person re-identification）跨视域下在一个摄像头中出现的行人，识别该行人是否在其他摄像头中出现。行人再识别的研究主要涉及特征提取、相似度度量和排序3部分。基于此，笔者首先介绍了行人再识别的概念和研究的关键点，对于深度学习网络的相关概念进行了简述，进而对行人再识别的国内外主线算法进行了对比，最后对行人再识别的研究进行了展望，能够在优化模型算法的基础上提升行人再识别的鲁棒性。

关键词：行人识别；深度学习；目标检测与跟踪；特征提取

中图分类号：TP391.41  文献标识码：A  文章编号：1003-9767（2020）02-037-03

A Survey of Pedestrian Recognition Algorithm Based on Deep Learning

Zhao Qiaohua

Abstract: In the field of computer vision, a good pedestrian recognition system mainly includes pedestrian detection, pedestrian

(South China Institute of Software Engineering.GU, Guangzhou Guangdong 510990, China)

tracking and pedestrian recognition. These three modules have formed a special research field. Person re identification is used to identify a pedestrian in a camera across the visual field, and to identify whether the pedestrian appears in other cameras. The research first introduces the concept of pedestrian re recognition and the key points of research, and then briefly describes the related concepts of deep learning network, and then compares the main line algorithms of pedestrian re recognition at home and abroad. Finally, the optimizing the model algorithm.

Key words: pedestrian recognition; deep learning; target detection and tracking; feature extraction

research of pedestrian re recognition is prospected, which can improve the robustness of pedestrian re recognition on the basis of of pedestrian recognition mainly involves three parts: feature extraction, similarity measurement and sorting. Based on this, the author

0 引言

行人再识别是智能视频分析领域的研究热点，受到了学术界和政府安全部门等相关领域科研人员越来越多的关注和重视。在视频监控中，一个实用的行人再识别系统主要包括3个模块，即行人检测、行人跟踪和行人再识别。这3个模块分别有专家、学者进行研究，而行人再识别需要完成行人检索任务。行人再识别是跨视域

[1]

1 行人再识别的基本概念

目前，行人再识别研究有两个前提，首先图像序列中的行人目标已经通过行人检测和目标跟踪技术得到；其次数据是在短期内抓取的，其衣服和外形没有大的改变。在非重叠视域及更多其他摄像头的场景中，行人再识别旨在将在其他摄像头中获取的图像序列中找出摄像机A中指定的目标行人。行人再识别的关键研究包括：特征提取研究、相似度度量研究和对量结果进行排序算法的研究

下在一个摄像头中出现的

[1-3]

行人，还需要识别该行人是否在其他摄像头中出现。行人再识别是当前计算机视觉和模式识别领域中的前沿课题

。行

人再识别技术应用非常广泛，如公安部门的刑侦、安防监控、人体行为分析、跨视域场景下行人对象的身份识别、潜在客户分析等领域都具有较好的应用前景。

2 深度学习的基本概念

深度学习也称为深度机器学习，起源于人工神经网络，它是一类有效训练生成神经网络的机器学习算法，可用于对

基金项目：广州大学华软软件学院课题（校级课题）“基于深度学习的行人再识别研究”（项目编号：ky201810）。作者简介：赵巧花(1981—)，女，山东梁山人，硕士研究生，讲师。研究方向：机器学习、人工智能、图像识别。

—   37   —

算法语言

信息与电脑China Computer & Communication2020年第2期

数据进行高层抽象建模。深度学习具有多隐藏层的神经网络结构，通过将原始图像数据经过逐层非线性变换得到高层的抽象特征或属性。它也是一门涉及多领域的交叉学科，涉及数值分析、概率论、线性代数、高等数学、信息论、数据结构、统计学、凸分析和人工神经网络等多门学科。深度学习作为一种人工智能的强大技术，它已经在维数简约、机器翻译、手写数字识别、语音识别、图像理解、情感识别和蛋白质结构预测等领域获得广泛的应用。深度学习中常见的深度模型主要包括深度信念网络（Deep Belief Network，DBN）、栈式自编码器网络（DeepAuto-encoder Network，DAN）、长短时记忆递归神经网络（Long Short-TermMemory-Recurrent Neural Network，LSTM-RNN）和深度卷积神经网络（DeepConvolutional Neural Network，DCNN）。深度学习具有良好的特征学习能力，深度学习已在图像分类任务中取得显著的进步。

相似性度量的方法，该方法在一定程度上解决了线性映射容易丢失行人图像的非线性流形结构的问题。2018年，张娜[12]等人提出基于双向关系相似度函数学习（BRSF）的行人再识别算法，该算法提出一个双向关系相似度函数来计算一对行人图像的相似度，利用KISSME算法进行相似度学习，把一对样本的自相关和互相关使用高斯分布表示，将最终高斯分布的比值转换成BRSF的形式而得到对背景、视角、姿势变化等有较好鲁棒性的相似度度量函数[13]。3.3 深度学习算法

2018年，何晴[14]等人提出了一种基于深度卷积生成对抗网络（DCGAN）的行人再识别方法，该方法训练DCGAN网络来提取特征，该网络包括生成模型G和判别模型D，通过该网络可以提取更具区分性的特征描述，从而改善行人识别的效果。该算法可以很好地适应光线不同、相互遮挡等不良情况，具有一定的鲁棒性。2017年，尹奕博[15]在他的博士论文中提出一种基于深度哈希函数的行人再识别方法。通过深度卷积神经网络学习得到哈希函数，这种函数可以使相似的图像获得相似的哈希编码，再通过比较哈希特征间的汉明距离进行再识别。该方法可以提升特征比对的速度。

3 行人再识别算法的研究现状

2006年，Zajdel W等

[4]

首次提出行人目标再识别（Person

Re-Identification）—词，旨在重新识别离开一个摄像头后重新进入其他摄像头的同一行人。2006年，Gheissari等[5]人在计算机视觉和模式识别会议上首次将依靠行人的外观特征进行行人目标匹配的问题定义为行人再识别，开启了行人再识别作为独立计算机视觉任务研究课题的开端。3.1 特征的提取算法

目前，行人再识别领域主要依据行人的表观特征，如衣服颜色、纹理和度量学习来判断是否是同一行人目标。在特征提取方面，为了在不同光照、尺度、角度的场景下，将行人识别出来，需要提取具有鉴别力鲁棒性的特征属性，许多学者和研究人员提出各种算法。2010年，Farenzena M按照人体结构分区，并且基于HSV颜色特征和纹理特征将人从前景中分离出来[6-7]。2014年，Yang Y[8]等人提出基于突出性颜色特征的颜色描述特征，从而保证越相近的颜色被分配到同一组的概率越大。颜色和纹理等特征的融合在一定程度上解决了不同监控视频图像中行人图像外貌特征的差异问题，但是这些特征容易受到光照、摄像头位置等环境因素的影响。2016年，Cheng D[9]等人提出一种基于结构的多通道带有改进三重损失函数的卷积神经网络模型，提出一种新的、多通道的CNN模型学习特征。3.2 度量学习算法

在度量学习方面，2016年，Zhang Y[10]等人提出支持向量机学习的行人再识别算法，该算法考虑了图像的自身差异性，使用的度量算法对每一个图像都具有较高的适应性。2017年，蒋桧慧[11]等人基于特征融合和改进神经网络的行人再识别算法，在度量学习方面，提出使用非线性的反向传输神经网络，将原始特征映射到目标空间，在目标空间进行

4 结  语

基于深度学习算法（判别和积网络、深层卷积神经网络、区域卷积神经网路和残差网络）的各种算法特点，结合行人再识别中的各种特征值的鲁棒性问题、特征向量分布不一致的问题、容易陷入局部最优的问题，识别精度低的问题、网络收敛速度慢的问题和算法的泛化问题等，建立一种改进的深度学习算法数学模型，并将改进的算法应用在行人再识别的应用中。基于现有的深度学习框架，寻找合适的深度学习模型和度量学习算法，解决行人再识别中的问题。在度量学习算法的研究中，研究一种更高效的度量学习方法，提升对图像样本空间的识别能力，进而寻找拥有更强泛化能力的识别模型。

参考文献

[1]尹萍,赵亚丽.视频监控中的行人再识别技术综述[J].警察技术,2018(1):63-66.

[2]宋婉茹,赵晴晴,陈昌红,等.行人重识别研究综述[J].智能系统学报,2017,12(6):770-780.

[3]仇春春,杨星红,程海粟,等.基于特征表示的行人再识别技术综述[J].信息技术,2016(7):195-198.

[4]Zajdel W,Zivkovic Z,Ben J A.Keeping track of humans: have I seen this person before?[C]//IEEE International Conference on Robotics & Automation,2006:2081-2086.

[5]Gheissari N,Sebastian T B,Hartley R.Person Reidentification Using Spatiotemporal Appearance[C]//Computer Vision and

（下转第41页）

—   38   —

2020年第2期

信息与电脑China Computer & Communication算法语言

直方图均衡化是通过改变图像中的灰度分布概率来达到提高图像对比度的一种方法，直方图均衡化的实质就是使图像中概率密度较大的像素向附件的灰度级进行扩展，因此，图像的灰度级被拉开了，同时概率密度较小像素的灰度级进行了收缩，使其让出了原来的位置，这样就可以更加充分地利用各个灰度级的数据，从而使得原来的图像得到加强。图5为直方图均衡化的结果。

0.0250.0200.0150.0100.005

0

原图像原图像直方图

0.0250.0200.0150.0100.005

0

直方图均衡后的图像均衡化后的直方图

的具体操作，然后通过边缘对比度较弱的图片来引出边缘检测对这类图片检测过程中存在的问题，最后使用直方图均衡化方法对算法进行改进，提高边缘检测后的边缘清晰度。

参考文献

[1]Sengupta Sudhriti,Mittal Neetu,Modi Megha.Improved skin lesion edge detection method using Ant Colony Optimization[J].Skin Research and Technology,2019,25(6):56.

[2]杨莎,熊纬,张昭,等.一种基于自适应阈值Canny算法的输变电设备图像检测方法研究[J].电子设计工程,2019, 27(15):31-36.

[3]李志鹏,于鸿彬,邵宏宇.基于改进Canny边缘检测算法的道路标线检测实验研究[J].实验技术与管理,2019, 36(9):137-141,148.

[4]何育欣,杨泽静,郑伯川.基于局部阈值的Canny边缘检测算法[J].西华师范大学学报:自然科学版,2019,40(3): 316-324.

[5]申兰兰.基于MATLAB的道路信息自动化提取方法研究[J].城市勘测,2019(5):170-173.

[6]陈美玲,朱铝芬,张云,等.基于自适应滤波的改进Canny算子图像边缘检测[J].现代机械,2019(5):67-69.

[7]宋大成,张兴媛,王啸伟,等.基于Canny的小资源占用边缘检测改进算法[J].智能计算机与应用,2020(1):1-5.

[8]郑健,王继,宋世铭.Canny双阈值算子在边缘提取中的优势[J].地理空间信息,2019(11):128-130.

[9]Guohua Wu,Dongyue Yang,Chen Chang,et al.Optimizations of Canny Edge Detection in Ghost Imaging[J].Journal of the Korean Physical Society,2019,75(3):64.

[10]Wu J,Sun J,Liu W.Design and implementation of video image edge detection system based on FPGA[C]//Image and Signal Processing(CISP),2010:434-438.

图5 直方图均衡化结果

从图5中的像素灰度直方图对比结果可以看出，在均衡化处理后，图像的像素分布更加平均，图片边界对比度也有了一定的提升，对于处理后的图片，在使用Canny算子进行边缘检测，结果如图6所示。通过与图4进行对比，可以明显地看出图片经过处理后边缘检测的效率更高了，证明这种方法是切实有效的。

原图

canny算子

图6 均衡化后边缘检测结果图

5 结  语

本文分析了边缘检测的一般步骤，再以Canny算子为例，主要介绍了使用Canny算子进行边缘检测的步骤以及各步骤（上接第38页）

Pattern Recognition,2006 IEEE Computer Society Conference on, 2006:1528-1535.

[6]Farenzena M,Bazzani L,Perina A,et al.Person re-identification by symmetry-driven accumulation of local features[J].IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2010:2360-2367.

[7]Zhao R,Ouyang W,Wang X.Unsupervised Salience Learning for Person Re-identification[C]//Computer Vision and Pattern Recognition,2013:3586-3593．

[8]Yang Y,Yang J,Yan J,et al.Salient color names for person re-identification[C]//European Conference on Computer Vision,2014:536-551．

[9]Cheng D,Gong Y,Zhou S,et al.Person re-identification by multi-channel parts-based CNN with improved triplet loss

function[C]//Computer Vision & Pattern Recognition,2016:1335-1344.

[10]Zhang Y,Li B,Lu H,et al.Sample-Specific SVM Learning for Person Re-identification[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition,2016:1278-1287．

[11]蒋桧慧,张荣,李小宝,等.基于特征融合与改进神经网络的行人再识别[J].传感器与微系统,2017,36(8):121-125.

[12]张娜,张福星,王强,等.基于双向关系相似度函数学习的行人再识别[J]. 计算机系统应用,2018,27(5):33-40.

[13]陶卿,马坡,张梦晗,等.机器学习随机优化方法的个体收敛性研究综述[J].数据采集与处理,2017,32(1):17-25.

[14]何晴,郭捷.非重叠域行人再识别算法研究[J].信息技术,2018,320(7):42-46.

[15]尹奕博.深度哈希算法行人再识别技术研究[J].中国计量大学学报,2017(2):52.

—   41   —