智能汽车技术论文资料

智能车辆基于双目视觉系统障碍物识别的研究

张继晨

（武汉理工大学汽车工程学院；汽研1202班；学号：1049721202240）

摘要：随着汽车的普及，交通运输问题日益严重，近年来人们对汽车的智能性的要求越来越迫切。与此同时，以实现无人、全自动和安全驾驶为最终目标的智能车辆今年来发展较为迅速，其关键技术之一是目标障碍物自动识别。本文主要探讨利用双目视觉目标识别技术，来进行车辆前方障碍物的自动识别。此外指出任何一种有效的障碍物检测系统不能只依靠单一传感器进行环境感知,因此利用多种传感器信息融合技术检测智能车辆前方障碍物,是未来该领域的研究重点与难点。 关键词：智能汽车；双目视觉；障碍物识别；信息融合

The Study of Obstacle Detection Technology Based on Binocular

Stereovision for Intelligent Vehicle

Zhang Jichen

(School of Automobile Engineering, Wuhan University of Technology, Class: 1202, Number: 1049721202240)

Abstract: With the popularization of the vehicle, traffic problem has increasingly become a hot problem. In recent years, people are

expecting a type of cars which can be intelligent. At the same time, the realization of completely automatic and safe driving intelligent vehicles is a new rapidly developed research area in recent years, and the key technology of it is automatically detect the obstacles. This article mainly aims at automatically detect the obstacles in front of the vehicle by use of the binocular stereovision obstacle detection technology. In addition, the obstacle can not be detected based on only one kind of sensor, many kinds of information from different sensors must be employed. So the research focus in obstacle detection for intelligent vehicles is located at multi-sensors data fusion.

Key words: intelligent vehicle; binocular stereovision; obstacle detection; data fusion

引言

目标识别技术作为图像理解领域研究的一个重要分支，是利用计算机自动分析和提取原始图像中的前景信息，也就是模糊识别、数据处理等理论，模仿人的视觉系统感知外部世界各种形状的一项技术。

人类通过视觉感知外部世界,主要是从不断变化景物中提取各类目标的形状、颜色、运动状态等信息,准确的说人眼获取和处理的视觉信息相当于两个视觉传感器对同一景区进行连续拍摄得到的双目视频序列,基于双目视觉的目标识别是对人眼视觉系统认识和学习外界的一个更为真实的模拟。

建立基于双目的计算机视觉系统，能够实现车辆在行驶过程中对静态和动态障碍物的自动检测和识别，以及对道路标志线的自动检测和识别，确定车辆与道路的相对位置以及车辆与障碍物的相对位置和相对速度。实时的为智能驾驶辅助系统提供外界环境信息输入。

总之,本文以智能驾驶中的障碍物识别为应用方向,以车辆行驶中双目传感器采集的图像对为处理内容,车辆的行驶背景为日常生活的真实场景,可

能包含复杂背景的路况,通过对双目图像信息进行目标提取,为驾驶员或无人驾驶车辆提供潜在的障碍物信息,达到提前预警的目的，而且对智能驾驶系统和机器人导航的进一步开发是极为有意义的。

1. 基于视觉系统障碍物识别研究现状

1.1 基于视觉的智能车辆发展历程

基于视觉的智能车辆是在汽车上安装摄像镜头，利用计算机视觉技术，模仿人眼视觉机理，通过处理摄像镜头捕捉的图像，获得引导信息，视觉引导有许多优势，它不必在道路上增加设施，能适合来往车辆、行人、临时设施等不可预先建模确定的随机障碍物，与 GPS 电子引导技术相结合，可以满足智能车辆全天候的绝大部分需求。90 年代以来，视觉引导技术与 DGPS 技术的发展，大大加速了智能车辆的研究。

在欧洲，早在 1987 年奔驰公司和德国国防军大学联合研制了 VAMORS 系列自动驾驶汽车。在随后几年不断对其进行创新使其具备了超车换道功能和对多种气象条件的适应能力，其核心是运行于BVV上的视觉导航系统。法国帕斯卡大学自动

- 1 -

车辆智能技术

化与电子材料科学实验室与法国D.R.A.S雪铁龙(Citroen)技术中心合作研制Peugeot系统，其视觉系统使用单摄像机实时检测并跟踪道路白线，采用高斯滤波和平均值计算确定灰度标准方差，利用梯度计算确定车道线的右 (或左)边缘，同时选择多项式函数建立轨迹模型，利用时空光滑方法降低噪声和提高鲁棒性。

在美国，卡内基米伦大学（CMU）与多家汽车公司研制Navlab系列车，采用了快速自适应车体定位处理器——PALPH视觉系统。该系统采用视觉窗口技术，仅处理感兴趣区域的局部信息。

在中国，国防科技大学研制的CITAVT—Ⅲ自动驾驶汽车，能进行方向、速度控制，完了成校园环境的低速无人驾驶试验，其特色是视觉系统采用A110DSP自行开发的图像处理系统。清华大学研制THMR-V试验车，是小型商务车，能够进行方向、速度控制，完成高速公路场景录像仿真。 1.2 视觉研究的历史与现状

从信息处理的角度来搞清楚视觉形成的机理，研究其计算理论与算法，以使计算机实现人的视觉识别能力，是人类在基础研究与应用中面临的最重大的挑战之一。计算机视觉的历史不长，它是伴随着计算机科学与技术产生和发展起来的，大致可以分为两个阶段：

早期阶段（1965-1976），计算机视觉研究集中在积木世界或线条图范围，这通常是指那些以平面为表面的多面体的世界。那时的计算机视觉系统都是自底向上结构的，直接取决于低层次视觉的处理，因而研究工作集中在线条和边界的抽取和区域划分上。

近期阶段（1976--），Marr的视觉计算理论立足于计算机科学，是迄今为止最系统化的视觉理论，Marr的理论的出现使得80年代的计算机视觉的研究与以前相比有显著不同。主要表现在研究内容和方向集中在与人类视觉系统中的感知独立模块相对应的课题上，也就是根据影调、运动、立体、轮廓、纹理等线索恢复物体表面的形状。这些研究极大地深化了计算机视觉的研究。

2.1 双目视觉原理

人靠双眼去观察现实场景中的三维物体，两个眼球之间的距离称为眼基线。所谓双目视差，就是当我们去观察同一个三维场景时，三维场景中的点在我们左、右两视网膜上的成像会产生一个生理上的视差，这个视差就称为双目视差。双目视差反映了物体的深度信息，这个信息经过大脑的加工，使人们有深度的感知。双目立体视觉就是模仿人的眼睛，运用类似于人眼的两个摄像机对同一物体进行拍摄，获得立体像对，然后利用各种算法对同名点进行匹配，计算出两幅图像的视差，最后恢复出场景的深度信息。

图2.1表示的是用左、右两摄像机观察同一物体时的情形。物体上的点P1发出光线经过透镜中心

也就是说物体上点P1CL与图像平面相交于点P1L，

在左摄像机中的成像点为P1L。相反，如果已知左图像平面上一点P1L和左透镜中心CL就可以得出唯一的一条射线CLP1L，所有成像点为P1L的物体上的点都在射线CLP1L上。与此同时，如果我们可以找到该物体上点P1在右摄像机上的成像点为P1R，那么根据点P1R与右透镜中心CR确定了第二条射线CRP则左右两条射线的交点即为物体上1R，

的点P1。因此，在左右两摄像机几何位置确定的情况下，获得物体在空间的位置并不困难，利用三角原理即可。射线CLP1L上任意一点在右摄像机中的成像点都在直线P2R上，这条直线称为外极线。1RP同理，CRP1R上任意一点在左摄像机中的成像点也形成了一条直线，即外极线。因此，在任一空间点在某摄像机中的成像点已知的情况下，要寻找该空间点在另一幅图像平面中的对应点，只需搜索该图像平面中的外极线即可。

2. 双目视觉相关知识

双目立体视觉的基本原理是利用两台参数性能相同、位置固定的摄像机,从两个视点观察同一景物,以获得在不同视角下的两幅图像,通过成像几何原理计算图像像素间的位置偏差(视差),从而确定三维空间点的深度信息。这一过程与人类视觉的立体感知过程是类似的。

- 2 -

图（2.1）

图（2.2）表示的是双目立体视觉理想模型，左、右摄像机的光轴平行，且摄像机的水平扫描线位于

车辆智能技术

同一平面。坐标原点OL、OR分别为左、右摄像机透镜光轴与图像平面的交点，空间点P1在左图像平面中的成像点P1L相对于坐标原点OL的距离为xl，在右图像平面中的成像点P1R相对于坐标原点OR的距离为xr，则空间点P1在左、右图像平面中成像点的位置差xl-xr称为视差。

由几何关系可推导出：

zfa （2-1） zaxr

zfbxlxra （2-2）

 zbxra

联立式（2-2）、（2-1），可得

bxraxr（2-3）

xxlr

代入式（2-1），可计算出P1点到透镜中心的距离z为

fbz（2-4） xlxr

其中，f表示透镜的焦距，b表示两透镜中心间的距离，即基线。因此，当摄像机的几何位置确定后，视差xl-xr只与物体上点P1到透镜中心的距离z有关。视差越大，表示物体离透镜的距离越小；反之，视差越小，表示物体离透镜的距离越大。物体与图像平面的距离即为三维信息中的深度信息，式（2-4）直接将视差与深度信息联系起来了。

'xxd(x,y) （2-5） 'yy

其中d(x,y)xx'，即这对对应点的视差，不同点对间的视差一般也不同。图像中所有点的视差就构成了视差图。为得到参考图像的视差图，通常将双目图像序列中的一幅作为参考图像，另一幅图像作为待匹配图像。

上文中我们知道已知给定空间点的深度值z，就可以计算出该点的视差值d，反过来，已知视差值d也可以计算出空间点的深度值z，它们两者之间具有一一对应的关系，立体匹配中使用视差图和深度图两种方式表达也正是因为它们之间存在转换关系。

3. 双目视觉系统的技术难点及解决方法

目前，不少智能车辆系统都采用了双目立体视觉系统作为障碍物的主要检测方法,但比较成功的算法都十分复杂。车辆在行驶过程中，在速度域上具有极高的行驶速度，这样就要求计算机图像帧间处理要前后连贯、预测准确；而帧内处理要求简洁快速，充分利用多分辨率的方法，来简化处理过程，满足车辆实时运动的要求，保证安全驾驶。作为智能车辆实现自主驾驶的关键技术之一的车道与障碍物检测的算法是图像处理与模式识别等技术的综合集成，并通过大规模并行计算机硬件控制系统得以实现，为了进一步简化立体视觉检测的固有复杂性，就要采用假设条件。

目前有一种非常有前景的解决问题的方法就是反转透视法，透视效果是在视觉图像采集过程中获得的。反转透视图法是指从图像中去除透视效果的一种几何变换。早期的视觉中，图像被认为是像素的集合，每个像素都被赋予了不同的信息内容，这样就必须考虑透视效果。根据像素在图像上的位置，对每个像素做不同的处理，这样使得低级处理效率很低，SIMD系统是对图像的每个像素执行单指令多数据流的操作算法。采用逆透视投影变换来检测障碍物,视差并没有直接用来检测障碍物,而是将左右两幅图像都进行逆透视变换,这样地面上的点在变换后的图像里没有视差,而由于障碍物高出地面,则会在变换后的两副图像里存在较大的差异。因此只要简单的将两副逆透视后的图像求相关,值很小的部位就对应着障碍物。这种方法尤其对纹理较少的图像(如路面占较大的面积)较合适,它的优点在于不需要在一个区域里用复杂的方法来查找点点匹配,而只需要看逆透视变换后的图像里相同位

图（2.2） 2.2 视差图与深度图

在立体像对中，一对对应点p(x,y)和p(x',y')在同一行扫描线上，因此它们的坐标满足：

' - 3 -

车辆智能技术

置的像素点的相关值,这就大大减少了处理的数据量,提高了检测系统的实时性。

对于结构化道路下的障碍物检测,也有采用线性摄像机构建的立体视觉系统,这对减少数据量和提高计算深度的灵敏度很有好处。但因为它只要一维的信息,像素点的匹配和摄像机的标定就显得更困难。用神经网络的方法可以实现线性相机体视的匹配工作,采用Hopfield网络的能量函数来实现优化而不是通常的标准互相关。

测智能车辆前方障碍物正获得广泛应用，例如双目视觉系统和激光雷达测距的结合能够大大提高智能车对障碍物的感知能力。多传感器信息融合技术具有获得信息量丰富、检测鲁棒性及正确率高、应用范围广等诸多优点,也是将来环境感知技术研究重点与难点之一。

障碍物检测是智能车辆研究领域中的研究热点,是环境感知研究中的重要内容。虽然我国在智能车辆自主导航技术方面与世界发达国家存在一定差距,但只要我们勇于创新,不断进行深入、细致的研究,必会在该领域跟踪并赶超世界先进水平,为我国在智能车辆领域提供理论指导和技术支持。 参考文献：

[1] A.布洛基，M.布图兹，A.法斯莉，G.康特. 智能车辆

——智能交通系统的关键技术[M]. 北京：人民交通出版社，2002.

[2] 陆化普. 智能运输系统[M]. 北京：人民交通出版社，

2002.

[3] 李宇. 基于双目视觉的障碍物识别研究[D]. 武汉：武

汉理工大学，2007.

[4] 崔艳茹. 基于双目视觉的障碍物识别与重建[D]. 南昌：

南昌航空大学，2012.

[5] 王荣本，赵一冰等. 智能车辆障碍物检测研究方法综

述[J]. 公路交通科技，2007年，第24卷：109—113. [6] 李彩华. 智能车辆双目视觉系统的研究与设计[D]. 长

春：吉林大学，2004.

[7] 杨振宇，黄席樾等. 一种新的智能车辆前方障碍物识

别方法研究[J]. 计算机应用与软件，2010年，第27卷：17—19.

4. 总结与展望

对于智能汽车障碍物的检测方法很多，有基于

机器视觉的，如双目立体视觉法、三目立体视觉法、彩色机器视觉法；还有基于非机器视觉的方法，如激光雷达法、结构光法、毫米波雷达法、光流法的。

基于任何一种测距技术的障碍物检测方法都有其优点和缺点,自主车的障碍物检测目前还没有一种令大家都感到非常满意的解决方案。立体视觉测障是目前的研究热点之一,但它的匹配问题始终未能得到满意的解决。三维激光雷达体积笨重,价格昂贵,但相对廉价的二维激光测距雷达的存在又为智能车的距离感知和障碍物检测多了一种很好的选择。颜色信息虽然很少被引用到自主导航领域里来,但也为障碍物的检测提供了一种有效的方法,拓宽了机器视觉在模式识别领域的应用。毫米波雷达具有不受恶劣天气干扰的优点,但是分辨率和精度都太低,不能满足自主车检测小障碍物的要求。

总而言之，智能汽车障碍物的识别是一个综合的过程，要想让车辆自主有效的进行环境感知检测障碍物仅仅依靠双目视觉系统是不行的，正如司机驾驶车辆，仅靠眼睛是不能感知全部的车辆周围环境信息的。因此，利用多种传感器信息融合技术检

- 4 -