基于视觉的车道偏离预警系统研究

作者：何建辉 潘陈兵

来源：《时代汽车》2020年第08期

摘 要：针对目前车道预警系统中运用神经网络算法进行车道线识别导致硬件成本上涨的问题，本文通过运用车道线感兴趣区域提取、图像灰度化和中值滤波操作一系列图像预处理技术，以及运用Canny边缘检测算法和Hough变换实现车道线识别，从而降低硬件成本。根据识别的结果，本文设计了基于车辆横向位置和偏航角度的预警模型。最终的实验结果表明，本文设计的车道偏离预警系统具有实时性良好、准确度高、预警及时的特点。 关键词：视觉;图像预处理;车道线识别;车道偏离预警 1 引言

随着科技发展及国家政策支持，新能源汽车保有量不断上升，同时带来的交通事故、人员伤亡和财产损失也不断增加。根据交通事故的统计结果分析，超过90%的交通事故是由于驾驶员的错误判断和决策造成的[1]。因此，对于新能源汽车的车道偏离预警系统（Lane Departure Warning System，LDWS）的研究对提高新能源汽车的安全性及未来无人驾驶技术的发展具有重要意义。

从目前的研究现状来看，车道偏离预警系统已取得较大地突破，并在部分高档车型上得到了应用。车道偏离预警系统需要解决两大关键技术，一是车道线识别，二是车道偏离判断。在车道线识别方面，神经网络算法得到广泛地应用[2]，但是由于神经网络算法计算复杂加上车道偏离预警系统采集数据量大导致系统整体计算量偏大[3]，为了满足实时性要求，必须运用

计算能力较强的硬件[4]，从而导致车道偏离预警系统成本过高。在车道偏离预警方面，各种预警模型已相对成熟，常见的预警模型有CCP模型，即基于车辆预计横跨车道模型[5-7];FOD模型，即基于未来偏离量模型[8];TLC模型，即基于车辆预计横跨车道模型[9-13]等几种。 本文针对在车道线识别方面存在的缺陷，首先设计了一套适合车道线识别的图像预处理方法，其中包括车道线感兴趣区域提取即车道线ROI提取、图像灰度化操作和中值滤波操作。通过中值滤波操作可以有效地降低图像噪声对车道线识别地影响;通过车道线ROI提取和图像灰度化操作能够有效地提高车道线识别的速度。其次，本文运用Canny边缘检测算法实现车道线边缘检测。最后，运用Hough变换对车道线进行拟合。在完成拟合之后，本文运用车辆横向位置偏移量及偏航角度相结合的方式进行车道偏离判断。

经过实验研究发现，本文设计的车道线偏离预警系统在保证实时性的前提下具有较高的准确度。

2 车道线识别

能够准确快速地识别车道线时车道偏离预警系统的关键技术之一，也是判断车道偏离预警系统的重要指标之一。目前流行的神经网络算法虽然在准确率方面处于领先地位，但是在硬件成本方面却处于明显的劣势，而且由于车道线识别不同于其他的交通元素的识别，车道线识别具有目标特征明显、位置固定、种类少的特点，因此通过对图像进行合理的预处理以及运用合理的图像边缘检测算法能够达到较高的识别准确度。 2.1 图像预处理

由于车辆在实际行驶过程中，交通情况复杂，对于车道线的识别存在诸多干扰因素，如道路两侧绿化对车道线的干扰、光线变化、前方车辆干扰等[14]。另外，摄像头采集的图像数据较大，其中包含信息量较大，直接进行车道线识别会对实时性产生较大影响，同时也增加了硬件成本。因此，本文在车道线识别之前进行了一系列图像预处理，即图像增强。根据车道线识别的要求，本文运用的图像预处理方法有车道线感兴趣区域提取即车道线ROI提取、图像灰度化操作和中值滤波。 （1）车道线ROI提取

针对本文所研究的车道偏离预警系统摄像头采集到的图像信息中的天空、大叔、道路周围的高层建筑等处于图像上半部分的元素对于车道线识别而言均为无用元素，因此在车道线ROI提取的过程中可以将这些元素忽略。通过车道线ROI提取可以有效减小原始图像大小，提高识别速度和准确度。车道线ROI提取效果如图1（b）所示，图1（a）为原始图像。 （2）图像灰度化

由于摄像头采集的图像为彩色图像，即一个像素需要R、G、B三种信号表示，若直接将彩色图像进行识别會增加计算量从而增大硬件的负担，对实时性产生较大的影响，并且车道线不同于其他交通元素，车道线与道路区分明显，因此通过图像灰度化操作可以有效地降低原始图像的数据量。 （3）中值滤波

中值滤波是一种非线性的平滑技术，是空间滤波算法的一种[15]。中值滤波可以有效地去除图像中的椒盐噪声，该算法核心思想是用某领域内全部像素的中间值代替该领域内全部像素值[16]，数学表达式为：

经过这一系列图像预处理操作可以得到待检测图像，如图2所示，其中图2（a）为原始图像，图2（b）为待检测图像。 2.2 车道线边缘检测

根据车道线的特点，本文运用梯度变化进行车道线边缘检测，常用的利用梯度变化的边缘检测算法有Sobel算法、Robort算法和Canny边缘检测算法[17]，本文采用的是Canny边缘检测算法。与其他边缘检测算法相比，Canny边缘检测算法具有准确度高、有效地消除假边缘、效果明显地特点。Canny边缘检测算法的核心思想是计算每一点是不是最大值来判断像素点是否为边缘点，设中心边缘点为，二维高斯函数为：

通过Canny边缘检测算法，得到车道线边缘检测效果如图3所示。其中，图3（a）为待检测图像，图3（b）为边缘检测效果图。 2.3 车道线拟合

完成上述车道线边缘检测后，需要运用一条直线来拟合车道线，常用的直线拟合方法有最小二乘法和Hough变换[18]。与最小二乘法相比，Hough变换具有鲁棒性强、容错性强的特点，因此，本文采用Hough变换实现拟合。Hough变换的核心思想是坐标系的变换，即将图像的坐标空间变换为参数空间，在参数空间进行匹配计算，最终实现直线拟合。 假设在直角坐标系中直线方程为：

其中，为直角坐标系中原点到直线的距离;为直线与轴的夹角。

由（4）和（5）可知，直角坐标系中直线经过Hough变换后为极坐标点，因此，若在参数坐标空间下有较多直线交于一个点，则可以判定有直线存在，该参数点则为直角坐标系中的直线[19-21]。经过Hough变换后，车道线拟合效果如图4所示。 3 车道偏离判断

为方便进行车道偏离判断，本文建立如图5所示的坐标系。假设道路横向方向为轴，道路纵向方向为轴，以车辆前轴中点为坐标原点。设为车辆偏离距离，为车辆偏航角度。当车辆向右偏离车道时，规定、为正值;当车辆向左偏离车道时，规定、为负值。 综上所述，本文规定当车辆向右偏离车道时的预警条件为：

其中，为车辆偏离距离安全阈值;为车辆偏航角度安全阈值。

根据上文车道线检测结果和本文制定的车道偏离判断方法，本文设计了如图6所示的车道偏离预警系统的判断流程。 4 实验研究

为验证本文所设计的车道偏离预警系统的效果，本文以实际车辆在实际道路上行驶时摄像头拍摄的视频为对象，结合实际车辆在道上行驶过程中的安全性，以车辆主动换道作为车辆偏离车道。在车辆未偏离车道时，将车道线标记为绿色，而当车辆偏离车道时，将车辆所压的车道线标记为红色。预警效果如图7所示，其中图7（a）为车辆正常行驶，未进行变道，图7（b）为变道行驶。

从对车辆实际行驶时摄像头拍摄的视频处理效果来看，本文设计的车道偏离预警系统具有实时性良好、准确度高、预警准确、及时的特点，但是在光照较强的地方，由于摄像头拍摄效果的问题造成了几次误判，但是总体表现良好。 5 总结

本文运用了一系列数字图像处理理论设计了基于机器视觉的车道偏离预警系统，针对目前主流的基于神经网路算法的车道线识别算法存在计算速度慢，对硬件要求高的特点，本文综合运用一系列图像预处理操作及运用合理的边缘检测算法、车道线拟合算法，实现车道线识别。与主流的神经网络算法相比，本文的车道线识别具有实时性高、成本低的特点。针对现有的车

道偏离判断模型存在的各种问题，本文综合运用车辆横向位置偏移量和偏航角度实现车道偏离判断，与传统的模型相比，本文的车道偏离判断方法简单高效、准确度高的特点。 参考文献：

[1]Aufrère1 R， Gowdy J，Mertz C，et al.Perception for Collision Avoidance and Autonomous Driving[J].Mechatronics，2003，13（10）： 1149-1161.

[2]邹静.基于DSP的车道偏离预警系统中图像处理方法的研究[D].长安大学，2013. [3]郭小强.基于图像的车道偏离预警系统研究[D].湖南：湖南大学， 2014： 1-6. [4]AKHIL S，Dr MAHESH K.Collision avoider using lane departure warning[J].International Journal of Scientific and ResearchPublications， 2014，4（2）： 1-4.

[5]Lee S，Kwon W，Lee J W. A vision based lane departure warning system[C]//Ieee/rsj International Conference on Intelligent Robots and Systems，1999. IROS '99. Proceedings.IEEE， 1999： 160-165 vol.1.

[6]Kwon W，Lee J W，Shin D，et al.Experiments on decision making strategies for a lane departure warning system[C]//IEEE International Conference on Robotics and Automation，1999. Proceedings. IEEE Xplore， 1999： 2596-2601 vol.4.

[7]高瑞勝.基于单目视觉的车道偏离预警系统的研究[D].浙江：杭州电子科技大学， 2013：42-44.

[8]Risack R，Mohler N，Enkelmann W.A video-based lane keeping assistant[C]//Intelligent Vehicles Symposium，2000.IV 2000. Proceedings of the IEEE. IEEE， 2000：356-361. [9]Dagan E，Mano O，Stein G P，et al.Forward collision warning with a single camera[C]//Intelligent Vehicles Symposium. IEEE， 2004： 37-42.

[10]Bertozzi M， Broggi A， Cellario M， et al. Artificial vision in road vehicles[J]. Proceedings of.the IEEE， 2002， 90（7）： 1258-1271.

[11]Gonzalez-Mendoza M， Jammes B， Hernandez-Gress N， et al. A comparison of road departure.warning systems on real driving conditions[C]// The， International IEEE Conference on.Intelligent Transportation Systems， 2004. Proceedings. IEEE Xplore， 2004： 349-354.

[12]Van W W，Brookhuis K A，De W D.A comparison of different ways to approximate time-to-line crossing（TLC） during car driving[J]. Accident Analysis & Prevention， 2000， 32（1）： 47-56.

[13]Mammar S，Glaser S， Netto M.Time to line crossing for lane departure avoidance： a theoretical study and an experimental setting[J]. IEEE Transactions on Intelligent Transportation Systems， 2006， 7（2）： 226-241.

[14]Wei-wei Zhang，Xiao-lin Song，Gui-xiang Zhang.Real-time lane departure warning system based on principal component analysis of grayscale distribution and risk evaluation model[J]. Journal of Central South University，2014，21（4）

[15]劉国宏，郭文明.改进的中值滤波去噪算法应用分析[J].计算机工程与应用，2010（10）：187-189.

[16]巫肇彬.基于机器视觉的车道偏离预警系统的研究[D].燕山大学，2017.

[17]韦炜.常用图像边缘检测方法及Matlab研究[J].现代电子技术， 2011（04）： 91-94. [18]Zhang X，Shi Z.Study on lane boundary detection in night scene[C]//Intelligent Vehicles Symposium.IEEE Xplore， 2009：538-541.

[19]张翀，范新南.基于直线模型的车道线实时检测方法[J].计算机工程与设计，2012， 33（01）：295-299.

[20]KOBAYAKAWA Michihiro，KURITA Takio，SEKITA Iwao，UMEYAMA Shinji.Line detection using Hough transform based on linearity of local region[J].ITE Technical Report，1994，18（80）.

[21]钱怡.基于Hough变换的车道线检测[J].山东工业技术，2017（10）：272-273.