信息与电脑2018年第21期China Computer&Communication计算机工程应用技术基于卷积神经网络的工件缺陷检测研究于科为（中国人民大学 信息学院，北京 100872）摘 要：卷积神经网络在近几年得到了飞速发展，由于人工神经元可以响应一部分覆盖范围内的周围单元输入，因此使其具有较强的特征学习能力和容错性，目前已广泛应用于包括图像分类与识别在内的大型图像视觉处理领域，并取得了良好的效果。缺陷检测通常是指检测物品表面缺陷，表面缺陷检测是采用先进的机器视觉检测技术，对工件表面的斑点、凹坑、划痕、色差和缺损等缺陷进行检测。由于有时候缺陷部位相对于工件面积来说相对较小，因此检测过程可以分为定位和分类。笔者结合卷积神经网络的特点，仿照目标检测网络YOLO v3提出一套基于卷积神经网络实现的端到端检测分类器，并完成连铸方坯缺陷的识别与分类实验，取得了不错的识别效果。关键词：卷积神经网络；缺陷检测；图像分类；深度学习；YOLO v3网络中图分类号：TP183；TP391.41 文献标识码：A 文章编号：1003-9767（2018）21-007-04Research on Defect Detection of Workpiece based on Convolutional Neural NetworkYu KeweiAbstract: Convolutional neural networks have been developed rapidly in recent years. Because their artificial neurons can (School of Information, Renmin University of China, Beijing 100872, China)respond to the input of peripheral units in a part of the coverage area, it has strong feature learning ability and fault tolerance. At present, it has been widely used in the field of large-scale image vision processing, including image classification and recognition, and has achieved good results. Defect detection usually refers to the detection of surface defects of objects. Surface defect detection is the use of advanced machine vision technology to detect defects such as spots, pits, scratches, color aberrations and defects on the surface into localization and classification. According to the characteristics of convolution neural network, this paper presents a set of end-to-of workpieces. Sometimes the defect position is relatively small relative to the workpiece area, so the detection process can be divided of billet defects in continuous casting, and obtains good recognition results.end detection classifier based on convolution neural network YOLO v3, and completes the recognition and classification experiments Key words: Convolution Neural Network; defect recognition; Image Classification; Deep learning; YOLO v3 network１ 研究背景检测也可以等同于目标检测的任务，需要判断是否存在缺陷，基于机器视觉的缺陷检测方法可以在很大程度上克服人若存在缺陷再确定缺陷的位置。工检测方法的抽检率低、准确性不高、实时性差、效率低和传统的检测任务主要通过人工提取特征建立模型，常用劳动强度大等弊端，在现代工业中得到广泛的研究和应用[1]。的特征包括：HOG[2]、SIFT[3]、Haar[4]等，特征提取模型之图像目标检测与识别在多个领域中具有广泛的应用，它是将后进行支持向量机（SVM）[5]或者Adaboost[6]的分类任务。图像或者视频中的目标与不感兴趣的部分区分开，判断是否而传统目标检测系统采用deformable parts models（DPM）存在目标，若存在目标则确定目标的位置，识别目标是一种[7]方法，通过滑动框方法提出目标区域进行定位。近年来，计算机视觉任务，也是计算机视觉领域中一个非常重要的研卷积神经网络极大地推动了图像检测与识别的发展。卷积神究方向。在提取得到待检测物品的二维图像之后物品的缺陷经网络引入了卷积特征，也就是经过卷积神经网络得到的作者简介：于科为（1984-），男，河北唐山人，研究生在读。研究方向：计算机系统架构、信息系统检索、人工智能、机器学习。— ７ —计算机工程应用技术信息与电脑China Computer&Communication2018年第21期特征信息，然后采用softmax或者其他分类器，如SVM、如图3所示。全连接层则为神经网络中的普通神经元结构，Logistic回归[8]等进行分类任务，而针对目标区域提取不其与前后两层的神经元全部成对连接。同的算法采用了不同的方式。R-CNN[9]类方法采用region proposal methods，首先生成潜在的bounding boxes，然后采用分类器识别这些bounding boxes区域。最后，通过post-processing去除重复bounding boxes进行优化。这类方法流程复杂，存在速度慢和训练困难的问题。YOLO[10]主要通过将全图划分SxS格子，每个格子负责检测该格子的目标，采用一次性预测所有格子所含目标的bbox、定位置信度以及类别概率来一次性解决（one-shot）。笔者运用YOLO v3目标检测网络，设计一种基于卷积神经网络的物品缺陷检测方法，并介绍了基本理论和实现方法[11]。２ 卷积神经网络卷积神经网络（Convolutional Neural Network，CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元。K.Fukushima在1980年提出的新识别机图２ 卷积操作示意图[12]是卷积神经网络的第一个实现网络。随后，更多的科研工作者改进了该网络。卷积神经网络包括一维卷积神经网络、二维卷积神经网络以及三维卷积神经网络。一维卷积神经网络常应用于序列类的数据处理；二维卷积神经网络常应用于图像类文本的识别；三维卷积神经网络主要应用于医学图像图３ 池化操作示意图以及视频类数据识别。卷积神经网络由卷积层、池化层以及全连接层组成，卷积层是卷积神经网络的核心，通过引入局卷积神经网络使用Werbos等人提出的误差反向传播算部连接、参数共享等原理，使前馈神经网络的结构更加合理、法[13]进行训练。在数据的正向传播中获得输出结果，与期望计算更加高效。图1为卷积神经网络的简单示意图。公式（1）结果进行比较，获得误差。然后将误差反向传播，计算梯度为卷积神经网络表示公式。下降，根据一定的策略如随机梯度算法来调整网络参数，直NPi−1Qi−1到训练迭代结束。目前，一些知名研究机构如牛津大学、纽 =vxy,q(x+p),(y+q)i,,jϕ(bi,j+∑∑∑wpi,j,mv(i−1),m) （1）约大学等设计了一些常见的卷积神经网络结构，并在大规模=m0=p0=q0其中，w为权重系数，即卷积核，b为偏置，φ为激活函数。数据集如ImageNet数据集上训练获得预训练模型。对于小规模数据集，则对这些预训练模型进行微调完成模型的训练。３ ＹＯＬＯ目标检测框架YOLO（You Only Look Once）算法最初是由Redmon等人在2015年提出的，是一种基于回归的目标识别方法，它将物体检测作为一个回归问题进行求解，输入图像经过一次端到端的预测，便能得到图像中所有物体的位置和其所属类别及相应的置信概率。到目前为止，已经发展到了第3代图１ 卷积神经网络的简单示意图YOLO V3。因为它只需要做一遍前向运算就可以对多种物体在卷积神经网络的卷积层（Convolutional layer）中，每进行检测，所以YOLO系列算法检测速度很快。层卷积层由若干卷积核(卷积单元)组成，每个卷积核对图YOLO网络之所以可以实现端到端检测，关键在于预选像进行卷积操作，如图2所示，其可以理解为有一个滑动窗口，框的生成方式是将全图划分为SxS个格子，然后每个格子生把卷积核与对应的图像像素做乘积然后求和。最后，每个卷成预选框来检测该格子内的目标。发展到目前的YOLO V3网积单元的参数都是通过反向传播算法优化得到。络，它引入了Faster R-CNN中的anchor boxes思想，针对于池化层（Pooling layer）是用来降低数据的尺寸，使计COCO数据集和VOC数据集采用3种尺度预测，每种尺度预算更快并控制训练中的过拟合，将特征切成几个区域，取其测3个box。anchor的设计方式使用k-means聚类，得到9个最大值（Max-Pooling）或平均值（Mean-Pooling），得到新聚类中心，将其按照大小均分给3种尺度，尺度大的特征图使的、维度较小的特征。最常用的是最大值池化。池化示意图用小的先验框。所以可以根据自己要识别的目标选择湿度与先— ８ —信息与电脑2018年第21期China Computer&Communication计算机工程应用技术验框anchor boxes，并且根据自己的准备预测的尺度修改网络核处理器，主频2.80 GHz；内存为32 GB；显卡采用英伟达结构。YOLO网络的输出结果为一个张量，维度为:和英伟达GTX1050Ti显卡；操作系统为Windows 10；S*S*(*5+C) （2）框架为TensorFlow。其中，S为划分网格数，B为每个网格负责目标个数，C在网络训练中，将最后一个全连阶层的输出数量设置为为类别个数。每个小格会对应B个边界框，表示以该小格为4，当4个全连接输出均小于0.5时，连铸方坯为正常，并使中心寻找物体的边界框位置。每个边界框对应一个分值，代用基于动量的随机梯度算法[14]对预训练模型进行微调。学表该处是否有物体及定位准确度。每个小格会对应C个概率习率设置为0.001，迭代4个数据周期，在2个数据周期后，值，找出最大概率对应的类别并认为小格中包含该物体或者学习率设置0.000 1。在测试中，将神经网络作为一个端到端该物体的一部分。的分类器，由softmax层输出结果。连铸方坯检测识别率如YOLO V3的基础网络为Darknet-53，Darknet-53是表1所示。53个卷积层和池化层的组合，它借鉴了残差神经网络的思表１ 连铸方坯缺陷检测率统计：想，引入多个残差网络模块和使用多尺度预测的方式改善了缺陷类型准确率/%YOLO V2对小目标识别上的缺陷，因为它检测的准确率高中心疏松92.6中心偏析95.2并且时效性好，这个算法是目前目标检测优秀的算法之一。缩孔93.3在分类准确度上跟效率的平衡上，这个模型比ResNet-101、裂纹92.5ResNet-152和Darknet-19表现得更好。５ 结 语４ 基于卷积神经网络的物品缺陷检测本文将目标检测技术应用在物品的缺陷检测中，以4.1 数据集YOLO v3网络框架为基础，提出一种基于卷积神经网络的物品缺陷检测技术。卷积神经网络作为一种特征提取器，相对为验证该方法的有效性，笔者对连铸方坯进行了实验验于其他传统的图像特征来说具有较强的特征表达能力和鲁棒证。连铸方坯数据集来自自己收集。该数据集经过整理去除性能，同时以卷积神经网络框架为基础实现的分类器具有较低质量图片后分为训练集2 830张，测试集700张。该连铸强的数据拟合能力。本文通过YOLO v3检测网络实现基于方坯数据集包含如图4所示中心疏松、中心偏析、缩孔、裂卷积神经网络的物品缺陷检测，并在布匹数据集上实现训练纹等4种常见缺损。和测试。实验结果表明该方法取得了一定的检测效果，达到了行业基本要求。参考文献[1]汤勃,孔建益,伍世虔.机器视觉表面缺陷检测综述[J].中国图像图形学报,2017,22(12):10-1663.[2]Liu H,Xu T,Wang X,et al.Related HOG Features for Human Detection Using Cascaded Adaboost and SVM Classifiers[M].Springer Berlin Heidelberg,2013:343.图4a 中心疏松 图4b 中心偏析图[3]Russell S,Norvig P,Zheng Y U,et al.Object Recognition from Local Scale-invariant Features[M].IEEE,1999:343.[4]Lienhart R,Kuranov A,Pisarevsky V.Empirical Analysis of Detection Cascades of Boosted Classifiers for Rapid Object Detection[M].Springer Berlin Heidelberg,2003:297-304.[5]Platt J C.Fast Training of Support Vector Machines Using Sequential Minimal Optimization[M].MIT Press,1999:4.[6]Breiman L.Prediction Games and Arcing Algorithms[J].Neural Computation,2014,11(7):1493-1517.4c 缩孔 图4d 裂纹[7]Leon L C,Jr R H.Vehicle Detection Using Mixture of 图４ 连铸方坯常见缺陷种类Deformable Parts Models:Static and Dynamic Camera[C]//Sibgrapi 4.2 实验验证与结果分析Conference on Graphics,2012.[8]石庆焱.一个基于神经网络——Logistic回归的混合两 实验平台配置如下：CPU采用Intel Corei7-7700HQ四 （下转第12页）— ９ —计算机工程应用技术信息与电脑China Computer&Communication2018年第21期2.1 任务分配标准管理系统根据火电厂管理工作开展情况，调用外部资源、本地资源、分支机构资源获取火电厂管理工作信息，根据电厂人员配置情况为其合理分配任务。如图3所示为火电厂任务分配图。图３ 火电厂任务分配图李富昌负责主题内容与适应范围、引用标准、性能参数、额定容量、电压组合、联结组标号、性能参数和中压分接范图４ ＡＰＰ软件主界面围方面的项目内容；郭振岩和张万铭负责技术要求方面的项目内容。由此可见，本系统支持项目任务分配功能，有助于火电厂项目内容分配管理。参考文献2.2 APP应用推送[1]曾道英,李青华,冯利法,等.核电厂热交换器信息管理系统设计与开发[J].信息系统工程,2016(9):102.为了便于用户查询火电厂资源信息，本系统针对火电厂[2]袁雪梅,胡海华,李娟.项目管理信息系统在电厂建设管理需求设计了标注管理系统APP软件。如图4所示为APP中的作用及影响[J].科技创新与应用,2016(1):57-58.软件主界面。[3]田嘉.电厂防误操作智能移动操作票信息系统的设计与火电厂管理工作人员可以在此界面上编辑标题和推送消实现[J].电力信息与通信技术,2017(3):112-115.息内容，向企业所有工作人员推送此条消息，为火电厂管理[4]孙玢.针对电厂水量平衡管理软件的设计与创新[J].水通知创造了便利条件。能经济,2016(8):24.３ 结 语[5]何俊男,张稳,平萍.核电厂群堆模式下个人剂量管理信息系统的优化[J].科技视界,2016(17):225-226.本文针对信息与知识有效整合问题，提出了标准管理系[6]唐华,袁亚洲.发电厂电气设备实时运行信息集成管理统，该系统支持门户网站、标准制修订、标准编纂、移动服系统[J].工程技术:全文版,2016(12):3-5.务4项功能，为企业标准管理提供了可靠操作工具。通过分[7]郑会,徐伟,李杰.核电厂二回路壁厚减薄管理信息交析系统在火电厂中的应用效果可知，本文设计的标准管理系流平台软件的研发[J].信息系统工程,2016(3):106-108.统能够满足系统开发需求，可以有效解决火电厂资源管理中[8]伊为仲.发电厂设备资产管理系统的设计与开发研究[J].存在的问题。科技与企业,2016(2):76-77.（上接第9页）Recognition,2018.阶段个人信用评分模型研究[J].统计研究,2005,22(5):45-49.[12]Fukushima K,Murakami S,Matsushima J,et al.Vestibular [9]Ren S,He K,Girshick R,et al.Faster R-CNN:Towards Real-Time Responses and Branching of Interstitiospinal Neurons[J].Exp Brain Object Detection with Region Proposal Networks[J].IEEE Transactions Res,1980,40(2):131-145.on Pattern Analysis & Machine Intelligence,2017,39(6):1137-1149.[13]P.J.Werbos.Beyond Regression:New Tools for Prediction [10]Redmon J,Divvala S,Girshick R,et al.You Only Look and Analysis in the Behavioral Sciences[D].Cambridge:Harvard Once:Unified,Real-Time Object Detection[J].IEEE Computer University,1975:.Society,2015(34):779-788.[14]Polyak B T.Some Methods of Speeding up the Convergence [11]Redmon J,Farhadi A.YOLOv3: An Incremental of Iteration Methods[J].Ussr Computational Mathematics & Improvement[C]//IEEE Conference on Computer Vision and Pattern Mathematical Physics,19,4(5):1-17.— １２ —
