一种无人机电力巡检的影像匹配方法

SHANDONGELECTRICPOWER山东电力技术

圆园员9年第9期

一种无人机电力巡检的影像匹配方法

靳渤文袁杨耀权袁张明浩

渊华北电力大学控制与计算机学院袁河北

保定

071003冤

摘要院针对无人机在电力巡检中拍摄条件复杂时图像匹配效果不佳尧局部区域无法匹配等问题袁提出应用Harris-Laplace特征检测算法与SIFT描述子结合改进无人机影像匹配方法遥首先应用Harris-Laplace特征检测算法检测出无人机影像上的关键点袁确定关键点的主方向及大小袁生成特征点遥然后应用SIFT算法对生产的特征点进行描述袁最后使用多重约束的改进RANSAC算法袁获得最优匹配集遥实验结果表明袁基于SIFT的匹配方法改进了RANSAC算法袁此方法在控制匹配速度的情况下袁提高了匹配精度遥

关键词院无人机影像曰Harris-Laplace特征曰SIFT特征描述曰基础矩阵曰影像匹配中图分类号院TP391.4

文献标志码院A

文章编号院员园园苑原怨怨园源渊圆园员9冤09原园园08原06

ImageMatchingMethodforPowerInspectionof

UnmannedAerialVehicles

渊SchoolofControlandComputerEngineering袁NorthChinaElectricPowerUniversity袁Baoding071003袁China冤

Abstract院Aimingatimagematchingproblemundercomplicatedshootingconditionsinthepowerinspectionusingtheunmanndeaerialvehicle渊UAV冤袁anapplicationofHarris-LaplacefeaturedetectionalgorithmandSIFTdescriptorisproposedtoimprovetheimagematchingmethodofdrone.Firstly袁theHarris-LaplacefeaturedetectionalgorithmisusedtodetectthekeypointsontheUAVimage袁andthenthemaindirectionandsizeofthekeypointsaredeterminedtogeneratefeaturepoints.Thenmultipleconstraintsisusedtoobtaintheoptimalmatchingset.TheexperimentalresultsshowthatthematchingmethodbasedonSIFTimprovestheRANSACalgorithm袁andthemethodimprovesthematchingaccuracywithlittlecostofmatchingspeed.Keywords院UAVimage曰Harris-Laplacefeature曰SIFTfeaturedescription曰homographymatrix曰imagematching

theSIFTalgorithmisusedtodescribethefeaturepointsoftheproduction.Finally袁theimprovedRANSACalgorithmwith

JINBowen袁YANGYaoquan袁ZHANGMinghao

0引言我国输电线路的距离较长袁线路所经过的地形

板Harris角点检测的快速算法袁有效提高了角点检测时间咱5暂遥韩敏等提出了一种基于改进KAZE的无人机航拍图像拼接算法袁具有较好的性能袁且处理效升咱6暂遥甄艳等针对RANSAC算法估计基础矩阵效率低等问题袁提出一种改进算法袁提高算法的精度和效率咱7暂遥当所拍摄图像视角较小时袁其匹配效果更好遥果较KAZE算法与K近邻特征匹配算法有较大提

融合处理咱4暂遥张立亭等提出一种基于灰度差分与模

较复杂袁并且输电塔体较高袁在受到外力破坏或者自然灾害的情况下袁传统的电力巡检方式不能及时针对电力线路进行检查袁越来越难以适应当前电力输送线路发展趋势咱1-2暂遥近年来袁无人机多传感器系统广泛用于电力巡检袁利用该技术进行电力巡检可以减少现场工作量袁大大提高工作效率袁降低巡检成本咱3暂遥

针对无人机影像匹配过程中存在的问题袁国内

然而无人机所拍摄的图像具有高分辨率袁并且图像中纹理信息丰富袁因此所需要提取的特征点更多袁匹配的正确率较低遥通常袁在图像的局部区域中仅可获取少量特征点袁并且难以满足对航拍图像快速且准确进行图像匹配的要求遥

提出应用Harris-Laplace特征检测算法与SIFT

外研究人员从图像匹配和图像拼接两个方面进行了研究袁如卢鹏尧卢奇等人将改进的SIFT算法与渐入渐出融合算法相结合袁实现对时间序列图像的拼接

8

第源6卷渊总第262期冤

SHANDONGELECTRICPOWER山东电力技术

圆园员9年第9期

描述相结合的改进图像特征匹配方法袁应用于输电线路巡检遥首先袁应用Harris-Laplace特征检测算法检测出无人机航拍影像上的关键点袁所检测出的关键点具有对光照尧图像噪声很好的鲁棒性和尺度不变性等特点袁然后确定关键点的主方向及大小以生成特征点曰然后使用SIFT算法对生成的特征点进行描述曰在特征点匹配阶段袁使用基于BBF的最近邻搜索法对特征点进行初匹配袁然后使用FLANN算法进行粗匹配袁在此基础上袁结合K最近邻法剔除掉更多误匹配点遥最后使用多重约束的改进RANSAC算法袁获得最优的匹配集袁对应高分辨率的无人机航拍影像遥

1基本原理1.1Harris特征点检测

二阶矩阵袁具角点有旋检转不变测算子性使咱8用的暂是角点附近的区域

为了使关键点拥有尺度属遥

性袁首先需要建立图

像的尺度空间袁该尺度空间由不同尺度的尺度图像组成咱9-10暂积形成的遥袁尺定度图义为

像是由图像陨渊x冤和高斯核G渊滓n冤卷

L渊x,滓n式中院滓冤=陨渊x冤伊G渊滓n冤

渊1冤

n为n层的尺度袁滓n=s0kn袁s0取1.5袁k取值1.4遥

高斯核的函数表达式为

G渊x袁y袁滓冤越

2仔1滓2e-渊x2+y2冤辕2滓

2渊2冤

为了加快计算速度袁使用高斯差分函数D渊x袁y袁啄冤来代替尺度空间袁其中袁高斯核函数由一个常数倍数因子k分隔的两个邻近尺度的差值计算得出袁然后与图像进行卷积计算

咱11暂D渊x袁y袁啄冤越渊郧渊x袁y袁遥

式中院D渊x袁y袁啄冤越是蕴渊高x袁斯y袁k差滓k滓分冤原冤-算蕴G渊子x渊袁x渊y袁DOG袁y滓袁冤

滓冤冤伊I渊x袁y冤

渊3冤

冤袁这是尺度归一化算子高斯拉普拉斯算子渊LOG冤的近似值遥否是Harris边缘点特征袁主曲检率测通过算子一利用个二主阶曲的率Hessian检验某矩阵点是

得到院咱12暂H渊x袁y冤=

式中院矩阵H的特征值表蓘DxxDxyDxyDyy示水平和蓡渊4冤

垂直方向的梯度方向袁分别标记为琢和茁袁因此有

tr渊匀冤=

坠2坠xD2+坠2坠yD

2=琢+茁det渊匀冤=坠2坠xD2坠2坠yD2-坠坠2yD坠x坠坠2xD

坠y=琢茁

渊5冤

当Hessian矩阵的行列式值为负值时袁两个曲率异号袁对应的点不是极值点袁应该剔除遥假设琢=r茁袁

根据

dettr渊渊匀匀冤冤2=渊琢琢+茁茁冤2=渊r茁r+茁茁2冤2=

渊r+r1冤2渊6冤

由于r>0袁式渊6冤在r=1左侧是单调递减袁在r=1的右侧是单调递增遥如果需要限定r0袁则只需令式tr渊匀冤2渊r0一般而言袁取detr0渊匀冤<

+r1冤20渊7冤

下绝大部分边缘响应点=10遥可以剔除图像中再某一尺度

1.2影像特征匹配

特征匹配通常根据欧式距离来测量袁选择固定阈值尧最近邻或最近邻距离比渊NNDR冤当成匹配策略咱13暂1.2.1

基基遥础础矩阵矩阵F和所单描应性述的矩阵是一的个解算

3伊3的矩阵袁表达

了在立体像对的同名像点之间存在的对应关系遥在对极几何中袁对于立体像对中的一对同名像点袁x与x忆为二维向量坐标袁齐次化后变成三维向量坐标遥基础矩阵是同名像点的齐次化坐标x与x忆的对应关系袁而Fx描述的是另一幅图像上的同名点x忆所在的极线袁因此两图像上所有的同名像点必须满足x忆iTFxi式中院F是对本质矩阵E的=0拓展袁其不同于本质矩阵渊8冤

的是袁基础矩阵于场景结构袁不需了解相机的内外参数袁只需通过同名点坐标计算就可得到遥

单应性是将一个射影平面上的点映射到另一个平面相对应的位置袁并将该直线映射为具有保线性质的直线遥对极几何将点映射到线上袁单应性矩阵是点对点的关系袁单应性矩阵的描述方程为

x忆=Hx

渊9冤

杉山山山a忆煽衫杉山a煽衫山b忆衫衫

衫衫山衫衫山衫

山衫山衫衫衫山山删

衫衫衫=琢H山山山山山山山b1

闪

山山w

衫衫衫衫渊10冤删

闪

9

第源6卷渊总第262期冤

SHANDONGELECTRICPOWER山东电力技术

圆园员9年第9期

式中院H为一个3伊3的非奇异矩阵袁且对矩阵H乘以非零的常量袁等式依然成立遥1.2.2

随机采RANSAC样一精匹致性配

渊RANSAC冤是利用一组包含异常数据的样本数据集计算得到数学参数的方法遥

由RANSAC算法寻找一个最佳单应性矩阵H袁为一个3伊3的方阵袁其目的是寻找最优的参数矩阵使得需要满足该矩阵的匹配特征点最多遥通常令h33数袁=1因来归此至一少化需矩阵要8遥个线性由于单方应性程求矩阵解袁对存在应到点8个的位未知

置信息上袁其中一组点对可以列出两个方程袁所以至

少需要包含4组匹配点对遥

杉山x忆

煽衫s山山山衫杉山衫山13煽衫衫

杉衫山山山x煽衫山衫山h山衫山11h12h

山y衫山山衫山23衫衫衫山衫

山山山y衫衫衫衫衫衫山衫山删

1

忆衫=山h衫山闪

山山删

h21hh22h3132h

33衫衫闪衫

山山山衫删

式中院渊x袁y冤表示未知的目标图像角点1

衫衫渊11冤

闪

曰渊x忆袁y忆冤为场景图像的角点位置曰s为尺度参数遥

本并保RANSAC证这4个算样法本从之间匹配不数共据线集袁中随计算机出单抽出应性4个矩样

阵H袁记为模型M遥然后利用这个模型测试所有数据袁并计算满足这个模型数据点的个数与投影误差渊函数最即代价函数小冤袁若此模型蓸遥

为最优模型袁则对应的代价M越移ni=园x忆i-

hh11xi31xi++hh12yi+h13232yi+h33蔀+蓸y忆i-hh21xi31xi++hh22yi+h2332yi+h33蔀2渊12冤

来形成RANCAC集合W参袁数假设估计集合内涵W院中的已知给大定多数N点个可数由据模点

型产生袁并且至少可以用n个点渊n2实验结果与分析在SIFT算法的基础上袁首先提取了电力巡检中

航拍影像对的特征点袁然后应用多种方法对影像对进行初匹配袁最后对误匹配点进行剔除袁获得最优匹配效果袁达到电力巡检的目的遥

本次试验运行环境为Intel渊R冤Core渊TM冤i7-机7700HQ遥基于CPUVS2013@2.80GHz的OpenCV2.4.10袁运行内图存像为处8GB理视的觉库计算

袁数Windows10见表1遥

系统作为开发平台袁无人机航拍系统参

10

表1无人机航拍系统部分参数

无人机型号焦距辕皂皂光圈值影像传感器辕皂皂分辨率辕像素MAVICair24枣辕圆.愿

6.16伊4.621200万2.1影像匹配实验

为验证本文中所提出方法的有效性袁选取有代表性的广东省惠州市郊区2018年2月拍摄的输电线路巡检时无人机影像数据袁其分辨率为500伊749与749伊500袁如图1所示遥提取影像上分布的Harris-Laplace其中影像特征点对1特征点袁对后数期为航拍1731正尧射1383影像袁影的像匹对配有利2特征

遥点数为35尧3443袁其影像对特征点如图2所示遥渊a冤影像对1

渊b冤影像对2图1数据对

渊a冤影像对1

第源6卷渊总第262期冤

SHANDONGELECTRICPOWER山东电力技术

圆园员9年第9期

渊b冤影像对2

图2两组影像对SIFT特征点检测

基于SIFT算法与FLANN结合的特征匹配遥两组影像对匹配结果如图3所示袁其中影像对1耗时3匹747配上ms袁745匹配对上遥

581对袁影像对2耗时4181.31ms袁本文应用基础矩阵的方法剔除误匹配的特征点对袁此方法更加严格袁因此得到的匹配结果更加精确遥试验在SIFT算法的基础上袁使用基础矩阵的RANSAC的匹配结算果法遥从剔图除误匹4匹配的配的实特征点验结果后看袁出获袁得了更本文算优法影像对1耗时1026ms袁匹配上598对袁影像对2耗时2259ms袁匹配上1191对遥因此本文算法对植被覆盖密集区域的无人机航拍正射影像的匹配是有效的遥

2.2算法鲁棒性实验

本次实验中袁通过旋转袁缩放以及改变图像的清晰度袁测试本文算法的抗干扰性以及匹配的精度袁检查匹配的准确性和速度袁以此来测试本文算法的鲁棒性遥

渊a冤影像对1

渊b冤影像对2

图3影像对SIFT+FLANN特征匹配结果

渊a冤影像对1

渊b冤影像对2

图4影像对SIFT+RANSAC特征匹配结果

对同一组影像袁对影像进行90毅旋转袁通过对比袁得出本文算法对旋转变换具有很好的适应能力袁通过旋转袁并不影响其匹配的速度以及准确度袁结果如图5所示遥

图5影像对1旋转90毅图像间匹配图

通过对匹配的影像进行缩放袁检测缩放前后特征点的匹配情况袁其实验结果如图6所示遥

图6影像对1缩放前后图像间匹配图

11

第源6卷渊总第262期冤

SHANDONGELECTRICPOWER山东电力技术

圆园员9年第9期

通过对匹配的影像对中一幅图像进行模糊处理袁检测模糊处理前后特征点的匹配情况袁其实验结果如图7所示遥

图7影像对1模糊处理后图像间匹配图

2.2影像匹配结果分析

为充分验证本文方法的优势袁将本文算法同试SIFT验袁算其法与对比FLANN试验结快速果如搜索表特征2和表匹配3所进行对示遥在比

述Harris-Laplace符来描述无人特征机航拍提取后正射袁通过影像使关键用点SIFT袁可以特征有效描地表达图像特征信息袁虽然这种方法在计算特征描述符时消耗更多时间袁但可以有效地表达Harris-

Laplace的特征点特征信息信息遥在遥匹通过配阶本文算段袁首法先袁使可用以提BBF取到较算法多对

特征点进行粗匹配袁结果显示其匹配效果较差袁存在很多误匹配点对遥然后使用SIFT特征描述算法

对得到的特征点提取并计算特征向量袁在FLANN快速搜索算法的基础上结合KNN剔除掉更多的误匹配点对袁然后进行特征匹配袁其匹配效果较好袁但特征点较少遥最后用改进RANSAC算法计算基础矩阵袁剔除影像匹配中的误匹配点袁其匹配效果有了明显提升袁并估计单应性矩阵H遥经改进RANSAC算法首先对匹配点对进行了内外点的判定袁再对内外点进行有目的的筛选袁最后得出最佳变换矩阵袁因此最终得到的正确影像匹配点数量最多遥在耗时上袁由于FLANN算法相对改进RANSAC算法复杂程度低袁所涉及的参数要少袁因此两组影像在使用FLANN法有效提算要法了匹匹配配试对数验中袁速并且度较快在耗袁时但上本文也所得到了采取算提高袁获得了较高的匹配正确率遥并且本文的算法对图像的旋转尧缩放以及模糊等各个方面都有较强

12

的适应性袁可以得出本文算法对图像匹配的鲁棒性

较好遥

表2SIFT+FLANN特征匹配结果分析

影像对匹配对数时间辕皂泽正确率辕豫1

2581

7418.313747

.6

87.8表3SIFT+RANSAC特征匹配结果分析

影像对匹配对数时间辕皂泽正确率辕豫1

21598

1911202625995.1595.3结语无人机巡检输电线路袁以获得航拍的正射影像遥

由于拍摄条件或输电区域的复杂环境引起的匹配效果不好袁导致图像拼接效果差袁这使得电力巡检变得困难遥为了避免传统约束的单一缺陷袁本文基于SIFT算法袁比较了基于FLANN算法结合KNN算法和引入基础矩阵的RANSAC算法袁并且本算法的鲁棒性较强遥匹配结果整体准确度较高袁满足了一定的匹配要求遥实验表明袁基于SIFT的改进RANSAC算法获得了良好的匹配效果袁而且获得大量特征点袁得到了更多的高质量匹配集袁因此该算法适合输电线路巡检的航拍正射影像匹配袁对输电线路走廊的电力巡检具有一定的参考意义遥

参考文献咱1暂统麦晓设计明咱袁J陈暂.中国电力驰袁彭向阳袁2015袁等.袁输48电渊2线冤院路98-103.走廊三维可视化技术和系

咱2暂力王科柯学袁彭与向工阳程袁袁陈2014锐民袁30袁等渊6.无冤院人46-53.机电力线路巡视平台选型咱J暂.电咱3暂界陈袁晶2018.输电渊11线冤院路120-121.

运行安全影响因素及防治对策探讨咱J暂.通讯世咱4暂

卢鹏像拼袁接方法卢奇袁邹研究国良咱J袁辕OL王振暂.计算华袁侯倩机工.基程于与应改进用院SIFT1-9咱的2019-07-18时间序列图暂.http院辕辕kns.cnki.net辕kcms辕detail辕11.2127.tp.20190114.2009.026.

咱5暂html.

张检立测亭快速算袁黄晓浪法咱袁J暂鹿琳琳.仪器仪袁等表.学基报于袁灰2018度差袁39分渊与2冤院模218-224.板的Harris角点咱6暂

法韩咱敏J暂袁.闫阔自动化袁秦学国报帅袁2019.基于袁改45进渊2冤院KAZE74-83.

的无人机航拍图像拼接算

第源6卷渊总第262期冤

SHANDONGELECTRICPOWER山东电力技术

圆园员9年第9期

咱7暂甄艳袁刘学军袁王美珍计方法咱8暂咱MOKHTARIANJ暂.测绘通报袁2014渊4冤院.一种39-43.

改进RANSAC的基础矩阵估咱9暂

cornerGUEGUENdetectionL袁咱FPESARESIC袁暂.SignalSUOMELAProcessingR.CurvatureM.MultiConference.IEEEscalespacescaleharriscorner袁2010based院imagedetector

1-4.咱10暂LINDEBERGRecognitionbasedondifferentialLettersT.Feature.2011morphologicaldetection袁32渊14冤院with1714-1decompositionautomatic719.

咱J暂.Pattern

scaleselection咱11暂徐咱J暂.InternationalJournalofComputerVision.1998袁30渊2冤院79-116.

子进行秋辉袁低佘空江遥峰感袁宋影晓像匹群袁配等咱.J利用暂.武汉Harris-Laplace大学学报渊信息科和SIFT学描版述

冤袁2012袁37渊12冤院1443-1447.

咱12暂杨算炳坤法咱J暂袁.程微树英电子学袁郑与计算茜颖.一种机袁2018面向袁35图渊像拼12冤院接的70-75.

改进PCA-SIFT

咱13暂邓仕雄机影像匹袁王配晓研究红袁刘咱J暂继.贵庚州袁等大.学学基于报SURF渊自然算科法学和版极冤袁线2018约束袁的35无渊1人

冤院

35-39.收稿日期院2019-05-24作者简介院

靳渤文渊1994冤袁男袁硕士研究生袁主要研究方向为数字图像处理曰杨耀权渊1962冤袁男袁教授袁主要研究方向为智能测试技术尧数字图像处理曰

张明浩渊1994冤袁女袁硕士研究生袁主要研究方向为数字图像处理遥

13