结构化道路车道线的鲁棒检测与跟踪

光 电 子 � 激 光第 21 卷 第 12 期 � 2010 年 12 月 � � � � � � Journal of Optoelectronics � Laser � � � � � � � � Vol. 21 No. 12 � Dec. 2010 结构化道路车道线的鲁棒检测与跟踪* 刘献如* * , 蔡自兴 (中南大学信息科学与工程学院,湖南长沙 410083) 摘要:针对智能车在视觉导航过程中车道线检测的鲁棒性和实时性问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 ,提出一种适用于结构化道路的车道线 鲁棒检测与跟踪方法。首先,简化的 Sobel算子提取车道线边缘图像,将边缘图像与改进的 Otsu方法得到的车 道线分割图像进行融合,实现对车道线标记点的鲁棒检测;然后,采用迭代最小二乘方法拟合车道线标记点并 去除干扰点,并根据拟合参数建立车道线模型;最后,引入尺度无迹卡尔曼滤波( SUKF)对车道线进行跟踪。通 过对多段实地采集的视频进行了仿真实验,结果 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 明, 该方法对于高速公路车道线的检测率可达到 99% ,并具 有较好实时性能;对于受损和弄污的城市道路车道线也体现出较好的鲁棒性和时间性能。 关键词:车道线检测; 改进Otsu; 车道线跟踪; 尺度无迹卡尔曼滤波( SUKF) ; 智能车 中图分类号: TP242 � � 文献标识码: A � � 文章编号: 1005�0086( 2010) 12�1834�05 Robust lane detection and tracking for the structured road LIU Xian�ru* * , CAI Zi�x ing ( School of Information Science and Engineer ing, Central South University, Changsha 410083, China) Abstract: Aiming at the robust and real time problems of lane detection in the visual navigation system of intelligent vehicles, a robust lane detection and tracking method is proposed for the structured road. Firstly, the lane marking pixels are reliably det ect ed by fusing the lane edge image with the simplified Sobel algorithm and the lane segmentat ion imagewith the improved Otsu method. Secondly, the iterat ive least square method is proposed for fitting the lanemarkings and removing the non�lane markings. T hen the lane model is constructed according to the fitting parameters. Finally, the scaled unscent ed Kalman filter( SUKF) is introduced for tracking the lanes and locating them in successive frames. T he simula� t ions of the proposed method are carried on several videos. T he result s show that the proposed method can supply the highway lane detection rat e up to 99% and has good time performance. T he algorithm is also applicable to impaired and dirty town roads, which also has better robust and time performance. Key words: lane detection; improved Ot su; lane tracking; scaled unscented Kalman filter( SUKF) ; int el� ligent vehicles 1� 引 � 言 � � 快速而准确地识别出车道标识线是实现智能车辆自主导 航的关键问题之一。由于视觉系统获取的图像可以为车辆导 航提供丰富的信息,如位置、道路标记、路面边界和车辆行驶方 向等,于是基于计算机视觉的车道线检测与跟踪成为当前研究 热点。 � � 实时有效地获取车道标志线是实现智能车安全正确行驶 的重要保证。通常的做法是利用不同车道线模式(实或虚的白 色线等)或者不同的道路模型( 2D或 3D,直或曲) ,利用相关的 检测技术实现车道线的检测与跟踪[1]。这些方法大体可分为 基于特征和基于模型两大类。基于特征的方法通过结合低层 特征(如边缘)对路面图像分割定位车道线[2, 3] ,但仅适用于干 净而光照较好路面图像,同时对遮挡或噪声干扰无能为力。基 于模型的方法仅采用少量的参数描述车道线[ 4, 5] ,如事先假定 车道线的形状为直线或抛物线,那么车道线检测过程可看作是 计算这些模型参数的过程。基于模型的方法比基于特征的方 法具有更强的抗干扰能力和抗遮挡能力。目前,对于车道线的 跟踪大都采用卡尔曼滤波( KF) [ 6, 7]或粒子滤波( PF) [ 8~ 10] ,但 KF算法只适用于线性应用场合。而 PF算法存在粒子多样性 衰竭问题,虽然通过重采样技术可一定程度上缓解该问题的严 重性,但无疑增加了算法的复杂度。 � � 针对以上问题,本文提出鲁棒的车道线检测与跟踪方法。 首选采用 Sobel检测算子获取车道线边缘图;针对Otsu方法对 � � � 收稿日期: 2010�04�01 � 修订日期: 2010�07�22 � * � 基金项目:国家自然科学基金重大专项资助项目( 90820302) ;国家自科学基金面上资助项目( 60805027) ;国家博士点基金资助项目(200805330005) � * * E�mail: lxrcsu@ 163. com 低对照比图像难以准确分割出车道的缺点,提出了改进的 Ot� su方法实现对图像的二值分割,结合边缘图像,实现对车道线 的粗检测,再采用迭代最小二乘曲线拟合方法获得车道线的模 型参数;在车道线跟踪部分引入尺度无迹卡尔曼滤波( SUKF, scale unscented Kalman filter)对车道线跟踪预测。 2� 车道线的检测 � � 安装在无人车前方的智能相机实时检测与跟踪车道线,以 保证车辆安全行驶。一般地,智能相机所获取的图像最上面的 1/ 3是天空或是较远的非暂时关注的问题,在此略去不计。 2. 1 � 边缘检测 � � 边缘检测主要是(图像的)灰度变化的度量、检测和定位, 关于边缘检测算法很多,在车道线检测中常用 Canny算法[ 5] , 但是 Canny边缘检测计算量大。车道线大部分是阶梯形边缘, 如果定义变度曲面在这个点是N 阶不连续,那么阶梯形边缘 是一阶不连续的,因此采用梯度求解算子就可获取车道线的边 缘信息,而 Sobel算子具有较好计算效果和时间性能。将 Sobel 的两个卷积核, dy= [- 1, - 2, - 1; 0, 0, 0; 1, 2, 1]、dx= [ - 1, 0, 1; - 2, 0, 2; - 1, 0, 1]对图像进行卷积,令图像为 f (x, y),则( x, y)处的梯度和方向角分别为 � � � � G( x, y) = dy 2 + dx 2 (1) � � � � O( x, y) = arg tan( dy/ dx) (2) � � 为了减少计算量,将式(1)简化为G( x, y) = | dy |+ | dx | , 这并不影响边缘提取的结果。方向角式(2) 计算也较复杂,且其 贡献甚微,在此省略不计。实验过程中,当G(x, y) > th, th为一 设定的阈值,则认为存在边缘点,同时进行标记;否则,视为背 景点。 � � 经过边缘检测后,虽然车道线检测出来,但是同时大量的 非车道线边缘信息也同样地保存了下来,为了得到车道线,还 需进一步的处理非车道线标记点。 2.2 � 改进的Otsu自适应阈值图像分割 � � Otsu[11]在 1979年提出的最大类间方差法(也称大津方法) 一直被认为是阈值自动选取的最优方法,其基本思想是:在获 得图像灰度直方图的条件下,利用概率论的知识,通过计算最 大类间方差而得到分割门限。在较为理想的!双峰∀条件下,用 Ostu准则能够取得较好的分割效果。在公路图像中,由于天 空、周围环境因素的影响以及车道线存在明显污迹下,直接使 用Otsu往往不能保证车道标志线能有效地划分。 � � 针对行车特点,一般地说,智能车获取的车道图底部中 央是不包含车道的路面,而路面也正是被处理为背景的,那 么图像分割的阈值需要大于此值。基于以上分析,提出一 种简单且有效的 Otsu改进算法。假定图像分为两类,一类 是包含车道线的前景,另一类为背景。设图像 f ( x, y)包含 L 个灰度级,改进的 Otsu 算法步骤如下: � � 1) 采用传统 Otsu方法使类间方差 �B满足 � � � � �2B( k * ) = max1< k< L�2B( k) (3) 的图像灰度阈值 k * ,即图像分为前景和背景的阈值。 � � 2) 参考阈值计算,在图像中取视频底部中央 1/ 3、高为 60象素块 Blk( x, y) ,求得该块的灰度均值 m= mean ( Bl k (x , y)) ,则 th_set= w * m,其中 w # [ 1, 2]为输入控制参数, 默认时取 1. 2; � � 3) 比较 k* 和 th_set,当 k * < t h_set,则最佳分割阈值 th _best= t h_set,否则 th_best= k* 。 � � 4) 分割图像,如果图像在( x, y )处的灰度值 f ( x, y ) < th_best,则认为是背景;否则,为存在车道的前景。 � � 实验结果如图 1 所示。从实验结果可以看出:传统的 Otsu方法在车道与路面线对比度不大的情况下, 就可能将 车道线误判为背景;而改进算法能有效地将车道线分割 图 1� 车道线分割 Fig. 1� Lane segmentation 出来。 2. 3 � 车道线扫描及拟合 � � 改进的 Otsu方法有效地将包含车道线的前景分割出来, 从图 1可看出,它并不强调边缘的存在,但是突显车道线以及 灰度较一致的区域较亮的部分(如天空) ,而边缘检测得到的是 包含车道线双侧边缘的边缘图像,也即只在灰度不连续的地方 有定义。因此,如果将这两者包含交集车道线在内的图像进行 融合,就可获得只包含车道线的车道线图像。但是,由于干扰 的存在,使得检测结果中仍有少量的非车道线点存在,这些点 存在不便于车道线的拟合和建模。干扰点的主要来源是邻近 车辆和周边防护栏等,且为数不多,离车道线点较远。文献 [ 12]假定所检车道线图像底部部分不存在干扰点,让这些点作 为种子点,采用区域生长方法得到剩余部分车道线。但是该方 法不仅耗时,且由于光照变化得到的车道线生长不完全。为了 有效性去除这些干扰点,提出了迭代最小二乘方法拟合车道标 志点。同时,假设只检测智能车所在车道的两边的车道线,所 用车道模型沿用直线模型。以左车道线为例,迭代最小二乘法 剔除非车道线标记点的步骤如下: � � 1) 车道线点集对{x l (i) , y l( i)} , i= 1, ∃, m进行一阶最小 二乘拟合,获取拟合参数k^ l、^bl和拟合误差平均值 el ; �1835�第 12期� 刘献如等:结构化道路车道线的鲁棒检测与跟踪 � � � � � � � � � � � � � � � � � � � � � � � 2) 将{x l( i)}代入由第 1步得到拟合参数方程,计算其拟 合值{ y^ l( j )} ; � � 3) 计算拟合值与检测点实际值绝对差,当| y l (i) - y^ l ( i) | % p_th,则[ x l(i) , y l( i) ] # lef t_lane,否则[ x l (i) , y l( i) ] lef t_ lane,并予以剔除,其中 p _th为一设定的较小像素阈值, lef t_ lane为左车道线标记点集合; � � 4) 对 lef t_lane中车道线标记点集重新进行最小二乘拟 合,重新计算其拟合参数 kl、bl 和拟合误差 el,如果 &el & ∋�, { x l(i) , y l( i) }= lef t_lane,转至第 2步,否则停止; � � 5) 存储 kl、bl。 � � 同样的方法可以实现右车道线标记点集 right_lane。一般 地,相对于车道线标记点,干扰点占有较少的比例,经过两次迭 代,基本上能将非车道线点能去除,得到最后参数即为此时车 道线的模型参数,可用于后续的车道线跟踪预测。 3� UKF及其车道线跟踪 � � 虽然车道线的参数、位置和方向可以由车道线检测算法得 到,但是,车道线跟踪模块引入可提高车道线检测的速度,也即 找出下一帧中感兴趣区域,减少车道线搜索时间。将车道线跟 踪问题视为一系统,系统的状态是包含车道线模型参数以及其 他参数的向量,对该系统状态进行滤波估计,可得到车道线在 下一帧中的预测位置和方向,并通过下一帧的观测予以校正, 不但可减少检测的时间,而且还可提高检测率。因此,引入滤 波性能优秀的UKF进行滤波估计。 3. 1 � UKF基本思想及其建模 � � 在!近似任意非线性函数的概率分布比近似非线性函数更 容易∀的思想指导下, Simon等人[13]提出了基于 unscented变换 ( UT)的卡尔曼滤波,即UKF。在确保随机向量均值和协方差 不变的前提下,选择一组 Sigma样点集,每个 Sigma点通过非 线性变换,即 UT。由变换后样点的统计量估计随机向量通过 非线性变换后的均值及方差,避免了线性化所带来的误差,且 不需要计算非线性方程的 Jacobi矩阵,比 EKF( extended Kal� man filter)类算法具有更好的稳定性[14]。UKF的滤波性与 PF 的滤波性能基本上一样,但是 UKF的计算开销远小于 PF [15]。 因此,对于要求实时性较强的车道线采用 UKF滤波算法进行 跟踪。 � � 由于结构化道路的特点,故车道线跟踪存在一定的特殊 性。其一,车道线近似直线特性,若用 y= kx+ b来表示车道 线,则左右车道线直线的斜率 k和纵截距 b在相邻帧中变化较 小;其二,当前帧中车道线总会在下帧部分的存在,车道线底部 的标志肯定会消失了,而其最远点一定不会消失于下一帧。基 于上述特点,我们取车道线的 k和 b以及其颜色平均值 Gth作 为控制参数,则跟踪系统的状态可表示为 x(t)= ( k, b, Gth )T ,采 用 UKF滤波的车道线跟踪模型为 � � � � X(k) = AX (k- 1) + Bw t Y( k) = CX (k) + DV t (4) 其中: A是 3 ( 3单位阵; B= [ t � t � 0] T ;C= x 1 x 2 x 3 x4 x 5 1 1 1 1 1 0 0 0 0 0 T ; D= [1 � 1 � 1 � 1 � 1] T ;wt 和 v t分别为状态转移与观测模型的高斯白噪声。 3. 2� UKF及其车道线跟踪 � � UKF算法中的 UT 是其算法的核心,也是实现对非 线性进行状态估计的重要手段。尺度 UT 的 SUKF 比 UKF具有更好的滤波性能 [ 16] , 因此采用 SUKF 算法对 状态空间进行滤波估计。假设 L 维状态向量 X在 k- 1 时刻的状态均值和方差为 �X k- 1和 P k- 1, SUKF 估计具体 实现过程如下: � � 1) 初始化均值和方差, �X 0 = E[ X 0 ] , P 0 = E( X 0 - �X )( X 0- �X 0 )T ,以及扩充向量的均值和方差 �X a0 = E[ X a ] = [ X T 0 � 0 � 0]、P a0 = E( X 0- �X 0) ( X 0- �X 0) T。然后计算 Sigma 点 ak- 1 = [ �X ak- 1 � �X ak- 1 ) (L + !) P ak- 1 ]。其中: X a = [ X T , v T , nT ] ; a = [ ( x )T , ( v )T , ( n )T ] T ; !尺度参数; L 增量状 态维数; P v 状态转移噪声协方差; Pn 是观测噪声。 � � 2) 将所得到 S igma点代入式( 4)计算其传播值 xk| k- 1和 观测值 y k| k- 1,其时间更新方程为 �X -k = ∗2L i= 0 w mi xi, k| k- 1 P-k = ∗2L i= 0 w ci [ xi, k| k- 1 - x-k ] [ xi , k | k- 1 - x-k ] [ xi , k | k- 1- x k ] y-k = ∗2Li= 0 w mi y xi, k| k- 1 (5) 其中: w 0= !/ !+ L ; w mi = 1/2( !+ L ) ; w c0= !/ !+ L + ( 1- ∀2 + #) ; w ci= w mi。 � � 3) 观测更新方程 P !y k ,!y k = ∗2Li= 0 w (c)i [ y i, k| k- 1 - !y-k ] [ y i, k| k- 1 - !y-k ] T P x k , yk = ∗2L i= 0 w (c)i [ xi, k| k- 1 - !y-k ] [ xi, k| k- 1 - !y-k ] T ∃= Px k , y kP y k , y k (6) � � � � x k = x k + ∃(y k - y - k ) P k = P - k - ∃P y k , yk ∃T (7) 其中式( 6)的 3式分别为计算方差、协方差和滤波增益, 则 式( 7)为最后的状态向量均值和方差。 � � 经过式( 7) 得到下一帧中车道线可能的位置。实际处 理时,在各候选车道标志点左右一定的区域认为是感兴趣 区域,并在此区域内搜索与 Gth相近的像素点,进行相应的 标志,从而得到当前帧中车道线的位置。最后,将所得到点 进行一次最小二乘拟合,用于更新车道线模型。 4 � 实验结果与分析 � � 为了验证算法有效性,对智能车在城际高速公路上所采集 的多段视频进行了仿真实验,所用微机 CPU 为 2. 95 GHz,内 存为 1. 96 G、双核,编程语言为 Matlab和 C+ + 。 � � 图像传感器置于智能车辆挡风玻璃的正前方,所获取的视 频参数如下:采集速率 25 frame/ s,图像格式为 bmp,大小为 192( 240。图 2的视频来源于某城际高速公路,其中第 1帧为 检测帧,其左侧有白色越野车干扰,车道线检测用红线进行标 记,可看出,本文提出的方法具有较好的鲁棒性。后续三帧为 随机抽取的带干扰的跟踪结果,可看出,本文提出的算法能较 �1836� � � � � � � � � � � � � � � � � � � 光电 子 � 激 光 � 2010年 � 第 21卷 � 好地实现对车道两旁车道线的检测与跟踪。 � � 为了验证算法的通用性,对某城市内一段公路的车道线视 频进行了检测与跟踪实验,实验结果如图 3所示,图中车道线 与路面光照对比度不高,且车道线被严重弄污。从图可看出, 本文提出的算法对于该类结构化道路也体现出较好检测与跟 踪效果。 图 2� 高速公路车道线检测与跟踪结果 Fig. 2� Lane detection and tracking result for highway 图 3� 城市公路车道线检测与跟踪结果 Fig. 3� Lane detection and tracking result for city road � � 最后,对洁净的高速公路和城市公路车道线的检测率进行 了测试。计算方法如下:取视频中的连续 100帧,采用本文方 法检测自行车道两侧车道线,只要发现一侧车道线出现了偏 离,则认为检测失败。实验结果见表 1。以 25 frame/ s的数据 采集率,高速公路跟踪基本能满足智能车依据车道线进行导航 的要求。对于城市公路,由于其污染较重,无疑会增加拟合迭 代次数,跟踪时间也会相应的增加了,准确率也有所下降。误 检主要发生图像出现抖动较为厉害的时候,也即车道线模型参 数变化较大的时候,而这种抖动主要是由于地面不平坦导致智 能车产生剧烈振动。 表1 � 高速与城市公路车道线检测与跟踪比较 Tab. 1 � Lane detection and tracking comparison between highway and city road Detect ion t ime / s� f ram e- 1 T racking t ime/ s � frame- 1 Accu rate rate/% th w H ighw ay 0. 15 0. 035 99 15 1. 8 City r oad 0. 26 0. 051 91 5 1. 2 5� 结 � 论 � � 基于视觉的车道线检测与跟踪识别是智能车辆导航系统 中至为关键的一部分。针对复杂环境中车道线检测感兴趣区 域难以选取的问题,提出了采用简化的 Sobel边缘检测与改进 的 OTSU自适应图像分割方法相结合检测车道标记点;用迭 代最小二乘方法拟合标志点,获取车道线模型参数;最后引入 SUKF算法进行后续帧实现车道线的跟踪识别。将方法应用 于高速公路和城市一般公路的车道线检测与跟踪,均取得了较 好跟踪效果,并具有较好鲁棒性和实时性。 � � 对于由于剧烈振动引起的车道线跟踪问题有两种方案:一 种是去抖动法后再检测;另一种是通过当前滤波后检测结果与 先前帧进行比较,如若连续出现较大偏差,为了保险起见,这时 应启动车道线检测系统,重新计算模型参数和车道线特征。另 外,对于车道线曲率较大时车道线研究可采用样条函数进行处 理。在下一步的研究中,将重点研究多模型车道线的跟踪与识 别问题。 参考文献: [ 1 ] � McCall J C, Trivedi M M. Video�based lane estimation and tracking for driver assistance: survey, system, and evaluation [ J] . IEEETrans. Intelligent Transportation System, 2006, 7( 1) : 20�37. [ 2 ] � Jin�Wook Lee, Jae�Soo Cho. Effective lanedetection and tracking method using statistical modeling of color and lane edge�orientation[ C] . Fourth International Conference on Com� puter Sciences and Convergence Information Technology [ C] . 2009. 1586�1591. [ 3 ] � Sin�YuChen, Jun�Wei Hsieh. Edge�based lane change detection and its application to suspicious driving behavior analysis[ A] . �1837�第 12期� 刘献如等:结构化道路车道线的鲁棒检测与跟踪 � � � � � � � � � � � � � � � � � � � � � Third International Conference on Intelligent Information Hiding and Multimedia Signal Processing[ C] . 2007, 2: 415�418. [ 4] � Ruyi Jiang, Reinhard Klette, Tobi Vaudrey, et al. New lane model and distance transform for lane detection and tracking [ A] . Proceedings of the 13th International Conference on Com� puter Analysis of Images and Patterns[ C] . Munster, Germany, 2009. 1044�1052 . [ 5] � Yue Wang, Eam Khwang Teoh, Dinggang Shen. Lane detection and tracking using B�Snake[ J] . Image and Vision Computing, 2004, 22(4) : 269�280. [ 6] � Melo J, Naftel A, Bernardino A, et al. Detection and classifica� t ionof highway lanes using vehicle motion trajectories[ J] . IEEE Transactions on Intelligent Transportation Systems, 2006, 7 (2) : 188�200. [ 7] � King Hann Lim, Kah Phooi Seng, Li�Minn Ang, et al. Lane de� tection and Kalman�based linear�parabolic lane tracking[ A] . International Conferenceon Intelligent Human�Machine Systems and Cybernetics[ C] . Hang zhou, Chian 2009, 2: 351�354. [ 8] � XIAN Gui�ying, Askar Hamdulla, YUWei�jun. Aparticle filter and data association method for tracking of multi�targets[ J] . Journal of Optoelectronics� Laser, 2009 , 20(2) : 244�247. 向桂英,艾斯卡尔 �艾木都拉,于伟俊.基于粒子滤波和数据 关联的多目标跟踪算法[ J] . 光电子 �激光, 2009 , 20(2) : 244�247. [ 9] � Radu Danescu, SergiuNedevschi. Probabilistic lane tracking in difficult road scenarios using stereovision[ J] . IEEE Transac� t ions on Intelligent Transportation Systems, 2009, 10( 2) : 272� 282. [ 10] HUZhao�hua, SONGYao�liang, LIANGDe�qun, et al. A particle filter based tracking algorithm with cue fusion under complex background[ J] . Journal of Optoelectronics � Laser, 2008, 19 (5) : 680�685 . 胡昭华, 宋耀良,梁德群. 复杂背景下多信息融合的粒子滤波 跟踪算法[ J] .光电子 �激光, 2008 , 19(5) : 680�685 . [ 11] OtsuN. A threshold selectionmethod fromgray�level histogram [ J] . IEEE Transactions on Systems, Man and Cybernetics, 1979, 9( 1) : 62�66 . [ 12] GUAN Xin, JIA Xin, GAO Zhen�hai. Adaptive threshold algo� rithm based on contrast�regional homogeneity analysis of lane image[ J] . Journal of Jilin University, 2008, 38(4) : 758�763. 管欣,贾鑫,高振海.基于道路图像对比度�区域均匀性图分 析的自适应阈值算法[ J] . 吉林大学学报, 2008, 38( 4) : 758� 763 . [ 13] Simon Julier, Jeffrey Uhlmann, Hugh F Durrant�Whyte. A new method for the nonlinear transformation of means and covari� ance in filters and estimators[ J] . IEEE Trans. on Automatic Control, 2000, 45( 3) : 477�482. [ 14] Fred Dai M. Nonlinear filters beyond theKalman filter[ J] . IEEE A& E System Magazine, 2005 , 20(8) : 57�69. [ 15] Mihaylova L, Boel R, Hegyi. An unscented Kalman filter for freeway traffic estimation[ A] . Proceedings of 11 IFAC Sym� posium on Control in Transportation Systems[ C] . 2006, 11: 31�36. [ 16] Julier S J. The Scaled Unscented Transformation[ A] . In Pro� ceeding of the American Control Conference [ C] . 2002, 6: 4555�4559. 作者简介: 刘献如 � ( 1977- ) ,女,湖南娄底人,博士研究生,主要研究领域为计算机 视觉、视频跟踪等∀ �1838� � � � � � � � � � � � � � � � � � � 光电 子 � 激 光 � 2010年 � 第 21卷 �