一种用于无人机跟踪锁定目标的视觉识别系统[发明专利]

(12)发明专利申请

(10)申请公布号 CN 109885099 A(43)申请公布日 2019.06.14

(21)申请号 201711272732.6(22)申请日 2017.12.06

(71)申请人 智飞智能装备科技东台有限公司

地址 224200 江苏省盐城市东台市城东新

区产业研发中心C座(72)发明人 朱银广　(51)Int.Cl.

G05D 1/12(2006.01)G05D 1/10(2006.01)

权利要求书2页 说明书4页 附图3页

CN 109885099 A()发明名称

一种用于无人机跟踪锁定目标的视觉识别系统

(57)摘要

本发明涉及一种用于无人机跟踪锁定目标的视觉识别系统，包括地面控制平台和无人机，所述地面控制平台包括飞行控制软件、数据传输模块、视频显示界面，所述无人机包括微处理器、FPGA、定位模块、机载传感器、智能视觉模块、飞行控制模块、数据传输模块。本发明通过地面控制平台发送目标跟踪指令，无人机接收到目标跟踪指令后将智能视觉模块采集到的图像采用HOG特征与SVM相结合的快速目标检测算法来自动识别目标在图像坐标系中的位置，读取定位模块与机载传感器的数据，将目标运动图像下发至地面控制平台从而实现对运动目标的自动视觉跟踪，自动化程度高、易于操作、精度高、实时跟踪性能优越、空间坐标数字化。

CN 109885099 A

权　利　要　求　书

1/2页

1.一种用于无人机跟踪锁定目标的视觉识别系统，其特征在于：包括地面控制平台和无人机，所述地面控制平台包括飞行控制软件、数据传输模块、视频显示界面，所述无人机包括微处理器、FPGA、定位模块、机载传感器、智能视觉模块、飞行控制模块、数据传输模块；所述的地面控制平台，其所述的飞行控制软件由登录界面和系统控制面板组成，登录界面完成用户管理，系统控制面板提供无人机飞行器引擎启动、停机、高度锁定、机头方向锁定、动力加速值、高度等控制键，并提供摄像头转向控制旋钮、开启无线通信链路等按键功能、回传航拍图像；所述的地面控制平台，其所述的数据传输模块建立在WLAN网络上实现数据链路，采用TCP协议与无人机目标进行数据交互，所述的地面控制平台，其所述的视频显示界面根据接收数据提供无人机目标在超宽带定位坐标系中坐标的实时显示以目标的实时图像显示，所述的无人机，其所述的微处理器采用Intel公司的E6X5C处理器，在微处理器中嵌入Linux操作系统。通过数据传输模块接收到地面控制平台的指令，根据指令的内容执行相应的动作，包括开启视频传输、控制智能视觉模块完成视觉的智能采集、与FPGA协调工作完成图像处理与自动识别目标等，并传输数据给飞行控制模块。

2.根据权利要求1所述的一种用于无人机跟踪锁定目标的视觉识别系统，其特征在于：所述的无人机，其所述的FPGA直接采用嵌入在E6X5C处理器中FPGA资源，FPGA通过对机载传感器数据进行融合计算，然后将控制量以特定控制协议发送给微处理器进而控制飞行控制模块进行飞行姿态调节与控制，从而实现对无人机的多自由度飞行控制；在FPGA实现HOG特征与SVM相结合的快速目标检测算法来检测采集到图像中的目标，同时在FPGA上实现改进型的TLD目标追踪算法实现对检测到的目标进行实行图像捕捉与跟踪，在FPGA上构造硬件卡尔曼滤波模块结合定位模块的数据实现无人机的超宽带定位，同时在FPGA中植入Nios II软核，采用UC/OS-II抢占式操作系统相结合的方式协调FPGA各算法模块间以及FPGA与微处理器间的工作。

3.根据权利要求1所述的一种用于无人机跟踪锁定目标的视觉识别系统，其特征在于：所述的无人机，其定位模块采用超宽带定位(UWB)技术实时监测无人机跟踪的基于地面坐标系的超宽带定位坐标，并将坐标数据传输给FPGA进行处理。

4.根据权利要求3所述的一种用于无人机跟踪锁定目标的视觉识别系统，其特征在于：所述的无人机，其机载传感器由电子罗盘、加速度计、气压计、陀螺仪构成，实时监控无人机飞行器自身的参数飞行角度、高度、加速度等状态信息。

5.根据权利要求4所述的一种用于无人机跟踪锁定目标的视觉识别系统，其特征在于：所述的无人机，其智能视觉模块采用工业摄像头，按照微处理器的智能设定负责视频图像采集，并将采集到的视频图像数据传输微处理器交由FPGA进行数据图像分析和处理。

6.根据权利要求5所述的一种用于无人机跟踪锁定目标的视觉识别系统，其特征在于：所述的无人机，其飞行控制模块驱动无人机的6个电机旋转，通过控制转速的不同，可以实现自动定高以及向各个方向飞行的功能，飞行控制模块还包含一块高精度气压计，在飞行的同时根据气压计返回的数据结合PID算法来控制电机的转速，保证飞行的时候能稳定在同一高度。

7.根据权利要求1-6任一项所述的一种用于无人机跟踪锁定目标的视觉识别系统，其

2

CN 109885099 A

权　利　要　求　书

2/2页

特征在于：所述的无人机，其数据传输模块建立在WLAN网络上实现数据链路，采用TCP协议与无地面控制平台进行数据交互，与地面控制平台的数据传输模块共同组成了本发明系统的通信网络。

3

CN 109885099 A

说　明　书

一种用于无人机跟踪锁定目标的视觉识别系统

1/4页

技术领域

[0001]本发明涉及无人机技术领域，尤其涉及一种用于无人机跟踪锁定目标的视觉识别系统。

背景技术

[0002]在民用领域，无人机可用于各类监测、监控、巡视、搜救、摄影、测绘、调查和考察。比如环境监测、灾情监测、交通道路监控、边境巡逻与控制、毒品禁运、农业勘测、大型牧场巡逻、城区监视和航空摄影等。在实际使用中，无人机时常面临着跟踪低速目标的需求，这些需求来自于交通管制中的违规车辆、体育摄影中的特定运动员、安防监测中的入侵对象、野生动物保护的受伤动物等。[0003]但是，目前常用的无人机都需要人工手动遥控。其操作难度高，自动化程度低，飞行不稳定。这些都了无人机在上述民用领域的发展。同外很多实验室和大学都有旋翼无人机研究项目，但是发展在复杂环境中全自主飞行仍然是个挑战。研究具有自动飞行、视频传输、行人检测、目标追踪等功能无人机目标追踪系统，在体育摄影、野生动物保护监测、城市空中交通监控、工业园区安防监控中都可以发挥巨大的作用，其社会效益和经济效益巨大。因此，研究自动化程度高、能自动飞行的无人机十分有意义。发明内容

[0004]本发明的目的是为了克服现有技术的不足，提供了一种用于无人机跟踪锁定目标的视觉识别系统。

[0005]本发明是通过以下技术方案实现：

[0006]一种用于无人机跟踪锁定目标的视觉识别系统，包括地面控制平台和无人机，所述地面控制平台包括飞行控制软件、数据传输模块、视频显示界面，所述无人机包括微处理器、FPGA、定位模块、机载传感器、智能视觉模块、飞行控制模块、数据传输模块；所述的地面控制平台，其所述的飞行控制软件由登录界面和系统控制面板组成，登录界面完成用户管理，系统控制面板提供无人机飞行器引擎启动、停机、高度锁定、机头方向锁定、动力加速值、高度等控制键，并提供摄像头转向控制旋钮、开启无线通信链路等按键功能、回传航拍图像；所述的地面控制平台，其所述的数据传输模块建立在WLAN网络上实现数据链路，采用TCP协议与无人机目标进行数据交互，所述的地面控制平台，其所述的视频显示界面根据接收数据提供无人机目标在超宽带定位坐标系中坐标的实时显示以目标的实时图像显示，所述的无人机，其所述的微处理器采用Intel公司的E6X5C处理器，在微处理器中嵌入Linux操作系统。通过数据传输模块接收到地面控制平台的指令，根据指令的内容执行相应的动作，包括开启视频传输、控制智能视觉模块完成视觉的智能采集、与FPGA协调工作完成图像处理与自动识别目标等，并传输数据给飞行控制模块。

[0007]进一步的，所述的无人机，其所述的FPGA直接采用嵌入在E6X5C处理器中

4

CN 109885099 A

说　明　书

2/4页

FPGA资源，FPGA通过对机载传感器数据进行融合计算，然后将控制量以特定控制协议发送给微处理器进而控制飞行控制模块进行飞行姿态调节与控制，从而实现对无人机的多自由度飞行控制。在FPGA实现HOG特征与SVM相结合的快速目标检测算法来检测采集到图像中的目标，同时在FPGA上实现改进型的TLD目标追踪算法实现对检测到的目标进行实行图像捕捉与跟踪，在FPGA上构造硬件卡尔曼滤波模块结合定位模块的数据实现无人机的超宽带定位。同时在FPGA中植入Nios II软核，采用UC/OS-II抢占式操作系统相结合的方式协调FPGA各算法模块间以及FPGA与微处理器间的工作。[0008]进一步的，所述的无人机，其定位模块采用超宽带定位(UWB)技术实时监测无人机跟踪的基于地面坐标系的超宽带定位坐标，并将坐标数据传输给FPGA进行处理。[0009]进一步的，所述的无人机，其机载传感器由电子罗盘、加速度计、气压计、陀螺仪构成，实时监控无人机飞行器自身的参数飞行角度、高度、加速度等状态信息。[0010]进一步的，所述的无人机，其智能视觉模块采用工业摄像头，按照微处理器的智能设定负责视频图像采集，并将采集到的视频图像数据传输微处理器交由FPGA进行数据图像分析和处理。[0011]进一步的，所述的无人机，其飞行控制模块驱动无人机的6个电机旋转，通过控制转速的不同，可以实现自动定高以及向各个方向飞行的功能，飞行控制模块还包含一块高精度气压计，在飞行的同时根据气压计返回的数据结合PID算法来控制电机的转速，保证飞行的时候能稳定在同一高度。[0012]进一步的，所述的无人机，其数据传输模块建立在WLAN网络上实现数据链路，采用TCP协议与无地面控制平台进行数据交互，与地面控制下台的数据传输模块共同组成了本发明系统的通信网络。[0013]与现有的技术相比，本发明的有益效果是：本发明通过地面控制下台发送目标跟踪指令，无人机接收到目标跟踪指令后将智能视觉模块采集到的图像采用HOG特征与SVM相结合的快速目标检测算法来自动识别目标在图像坐标系中的位置；同时，读取定位模块与机载传感器的数据，采用改进的TLD算法进行处理，通过姿态导调算法规划出飞行路线自动对目标进行视觉跟踪，将目标运动图像下发至地面控制平台从而实现对运动目标的自动视觉跟踪，自动化程度高、易于操作、精度高、实时跟踪性能优越、空间坐标数字化。附图说明

[0014]图1为本发明的系统结构示意图；

[0015]图2为本发明中微处理器的Linux主程序流程图；[0016]图3为本发明中FPGA内部模块以及与外部的连接；[0017]图4为本发明中全自动目标检测追踪过程示意图。

具体实施方式

[0018]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

[0019]请参阅图1-图4所示的一种用于无人机跟踪锁定目标的视觉识别系统，包括地面

5

CN 109885099 A

说　明　书

3/4页

控制平台S1和无人机S2。地面控制平台S1由飞行控制软件、数据传输模块和视频显示界面组成。无人机由微处理器、FPGA、定位模块、机载传感器、智能视觉模块、飞行控制模块、数据传输模块组成。下面分别对地面控制平台S1和无人机S2的配置和功能作详细描述。

[0020]本实施例中，地面控制平台由飞行控制软件、数据传输模块和视频显示界面组成。基于Qt4编写的飞行控制软件是整个地面控制平台的核心，设计了用户管理，无人机飞行器引擎启动、停机、高度锁定、机头方向锁定、动力加速值、高度功能；并提供摄像头转向控制旋钮、开启无线通信链路、回传航拍图像、设定跟踪目标功能；同时控制视频显示界面根据接收数据提供无人机目标在超宽带定位坐标系中坐标的实时显示以目标的实时图像显示；所有的指令和数据和指令传输通过地面控制平台的数据传输模块与无人机的数据传输模块建立的无线通信网络实现。[0021]本实施例中，地面控制平台的数据传输模块与无人机的数据传输模块通过在WLAN网络上实现整个目标追踪系统数据链路，采用TCP协议进行数据交互。设置了四个通信端口：端口1，航拍视频回传；端口2，接收待追踪的运动目标的bounding box(在序列图像中的区域)；端口3，控制指令传输；端口4，传感器数据与UWB坐标传输。[0022]本实施例中，无人机由微处理器、FPGA、定位模块、机载传感器、智能视觉模块、飞行控制模块、数据传输模块组成。微处理器和FPGA作为无人机的主控中心，采用Intel公司的E6X5C处理器，它集成了微处理器和FPGA在一块芯片上。在微处理器中嵌入Linux操作系统，在FPGA中植入Nios II软核并嵌入UC/OS-II抢占式操作系统。[0023]本实施例中，微处理器通过串口与智能视觉模块、飞行控制模块、数据传输模块进行数据交互，与FPGA通过PCI接口相连。为了最大限度的提升处理器的性能，在微处理器上的嵌入式操作系统Linux采用多线程编程，控制智能视觉的采集与传输、控制数据传输模块的无线数据通信、控制与各个模块间以及FPGA的串口的通信。Linux主程序如图2所示，当无人机的数据传输模块接收到地面控制平台的指令，微处理器主程序根据指令内容执行相应的动作，包括开启视频传输、控制智能视觉模块完成视频的智能采集、与FPGA协调工作完成图像处理与自动识别目标、下传目标跟踪图像，并传输数据给飞行控制模块完成无人机的姿态调整。

[0024]本实施例中，FPGA通过串口与定位模块、机载传感器进行数据交互。如图3所示，为了最大充分利用FPGA在并行处理上的优点实现高速目标跟踪，通过FPGA部分嵌入Nios II软核，再把抢占式操作系统UC/OS-II移植到Nios II处理器上，并添加Uart、PCI外围组件，利用Quartus II结合Matlab生成卡尔曼滤波硬件电路模块，用VHDL实现图像处理算法的硬件电路模块。如图4所示，图3中的图像处理算法由全自动目标检测算法和目标追踪算法构成。采用TLD算法实现目标追踪过程，但TLD的正常运行需要人为给出精确的初始化目标特征，不能真正意义上实现全自动。为了克服这一缺点，采用HOG特征结合SVM的快速检测算法实现全自动目标检测作为TLD算法初始化目标特征，从而实现真正意义上的全自动目标检测与追踪。

[0025]本实施例中，整个FPGA部分实现功能为：FPGA接收到微处理器发送过来的视频图像结合指令的内容，将视频图像送入图像处理算法的硬件电路模块实现目标的检测、实行图像捕捉、跟踪。同时读取定位模块的数据，结合在FPGA上的硬件卡尔曼滤波模块实现无人

6

CN 109885099 A

说　明　书

4/4页

机的超宽带定位。通过对机载传感器数据进行融合计算，然后将控制量以特定控制协议发送给微处理器进而控制飞行控制模块进行飞行姿态调节与控制，从而实现对无人机的多自由度飞行控制。[0026]本实施例中，定位模块采用STM32单片机作为控制器，采用超宽带定位(UWB)技术实时监测无人机的定位坐标。得出的UWB定位坐标包含有模型噪声和观测噪声，不能直接用于飞行控制系统的姿态解析及飞行器控制，选择Kalman滤波器对产生的坐标数据进行滤波。因此，UWB定位坐标通过串口输出给FPGA上的Nios II处理器，结合卡尔曼滤波算法实现超宽带区域定位，定位的最高精度达到了0.5米。[0027]本实施例中，机载传感器由电子罗盘、加速度计、气压计、陀螺仪构成。实时监控无人机飞行器自身的参数：飞行角度、高度、加速度等状态信息。[0028]本实施例中，智能视觉模块采用工业摄像头，按照微处理器的智能设定负责视频图像采集，并将采集到的视频图像数据传输微处理器交由FPGA进行数据图像分析和处理。[0029]本实施例中，飞行控制模块驱动无人机的6个电机旋转，通过控制转速的不同，可以实现自动定高以及向各个方向飞行的功能，飞行控制模块还包含一块高精度气压计，在飞行的同时根据气压计返回的数据结合PID算法来控制电机的转速，保证飞行的时候能稳定在同一高度。

[0030]终上所述，本发明的无人机目标跟踪系统，通过地面控制平台发送目标跟踪指令对无人机进行宏观操控，无人机接收到目标跟踪指令后将智能视觉模块采集到的图像进行图像处理，同时，读取定位模块与机载传感器的数据，通过姿态导调算法规划出飞行路线实现了真正意义上的全自动目标检测与追踪，并将目标运动图像下发至地面控制平台。本发明的无人机目标跟踪系统自动化程度高、易于操作、精度高、实时跟踪性能优越、空间坐标数字化。

[0031]以上所述仅为本发明的较佳实施例而已，并不用以本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

7

CN 109885099 A

说　明　书　附　图

1/3页

图1

8

CN 109885099 A

说　明　书　附　图

2/3页

图2

9

CN 109885099 A

说　明　书　附　图

3/3页

图3

图4

10