首页 > > > 基于视频图像的实时车道探测算法研究.pdf

基于视频图像的实时车道探测算法研究.pdf

基于视频图像的实时车道探测算法研究.pdf

上传者: wanghao198901 2013-12-08 评分1 评论0 下载0 收藏10 阅读量676 暂无简介 简介 举报

简介:本文档为《基于视频图像的实时车道探测算法研究pdf》,可适用于硬件技术领域,主题内容包含基于视频图像的实时车道探测算法研究哈尔滨工业大学交通科学与工程学院马骥裴玉龙【摘要】智能交通系统的目标是获得更有效、更安全的道路交通因此发展了自动道符等。

258 基于视频图像的实时车道探测算法研究 哈尔滨工业大学交通科学与工程学院 马骥 裴玉龙 【摘要】智能交通系统的目标是获得更有效、更安全的道路交通,因此发展了自动道路、自 动驾驶、前期事故源探测和事故预防等系统,其中精确的实时车道探测是先决条件。本文介 绍了车辆无意识脱离车道的视频探测试验报警系统的发展,探讨了基于视频图像的实时车道 探测算法。该算法既可应用于施划标线或非施划标线道路,也可应用于曲线道路或直线道路。 车道探测采用 Hough 变换,其结果不仅可以确定车道边界位置、头车与影响车之间的相关交 通信息,而且可以提供车道脱离报警功能。 【关键词】视频 车道探测 图像分割 图像识别 Hough 变换 中图分类号:U491 文献标识码:A 0.引言 目前汽车产业一直致力于获得更有效、更安全的道路交通,并且在自动道路、自动驾驶、 前期事故源探测和事故预防等方面做了很多研究工作。 对于智能车辆,为了提高避免碰撞能力和事故存活率,已经发展了各种不同的碰撞预警 系统和碰撞避免系统。由于系统算法依赖于精确的探测、识别和跟踪系统,因此对于碰撞避 免系统,精确的实物探测和识别系统是先决条件。目前,以视频图像为基础的车辆探测和识 别系统已经有所发展。 对于驾驶员辅助报警系统,实时车道探测跟踪系统也是非常重要的组成模块,它可以提 供与车道有关的车道结构和车辆位置信息。在美国,每年发生超过 300 万起车辆因脱离车道 而并没有与其它车辆相碰撞的交通事故。据估计,如果具有驾驶员辅助报警系统,会有超过 53%的交通事故可以避免。实时车道探测系统可以很容易地用于提供脱离车道报警功能。使 车辆沿道路某一给定车道行驶是非常复杂的。这项研究的第一步是车道探测问题,也是本文 的主旨。两个主要内容包括识别车道边界和确定车辆的行驶路径。随着探测问题的解决,第 二步是采取有效措施进行预防,例如产生适当的车辆干涉(如采用单向刹车控制系统)。 车道边界识别的一种方法可以基于计算机视频图像。这种方法的主要优点在于假定道路 上只有常规的标志标线(如路面划实线或虚线),道路上不必设置其它附加设备(如信号发送 器)。这种方法属于图像处理和图像识别研究领域,而该领域近年来已经得到迅速发展。目前 有很多算法能够快速识别位图图像上的物体。另外,还有很多低成本的设备可以利用,例如 CCD 摄像机、图像数字化的外围设备,以及实时图像处理的快速计算设备。 1.硬件系统 应用的硬件系统包括具有帧接收机转接卡的个人电脑和 CCD 摄像机。CCD 摄像机用于 图像获取。探测脱离车道的计算机通过通讯界面与数据采集计算机相连(已经安置在试验车 259 内),以便获取探测算法所必需的前轮速度和驾驶观测角度。 2.基于视频图像的车道探测方法 这里探讨对于道路上车辆无意识脱离车道的探测方法。探测基于 CCD 摄像机获取的图 像以及车辆的前轮速度和测定角度。 首先假定两张图像起点之间的车辆速度向量是恒定的。在这种情况下,通过图像的透视 变换,预测的车辆前进道路即成梯形(见图 1)。梯形的高度由现状车速和给定的反应时间来决 定,该反应时间是一种测定参数。算法的目的就是确定车辆的预测行驶路径是否包含在车道 边界以内。 在道路表面平整、视线良好的情况下,车道根据亮度值的大小是同质均匀的区域,其边 界范围是比较容易确定的,而且曲率变化也不大。这些特性有助于以比较简便的方法分离出 现状的车道边界。从上述图像特性也可以总结出图像处理的步骤。 图 1 探测过程中的数据显示示意 2.12.12.12.1 边界探测边界探测边界探测边界探测 与该方法的其它步骤相比,边界探测需要花费大量的时间,因为每一个像素点都要进行 计算。采用降低图像的分辨率或自适应改变探测区域的方法可以降低所需花费的计算时间。 由于车道曲率变化不大,可以采用一种简单的方法预测车道位置: 在图像中确定车道边界位置,并将其存储于表格中, 通过对存储于表格中的车道边界位置加上或减去适当的值,使车道实际上宽一些, 在下一张图像中,修改表格对应位置就可以确定车道边界。 应用这种方法可以得出较好的结果,同时可以大大降低边界探测的时间。 速度(公里/小时) 探测时间 (0.01 秒) 驾驶角度 灰色区域: 预测的车辆行驶路 径 图像数据源 260 2.22.22.22.2 统计分析边界探测的结果统计分析边界探测的结果统计分析边界探测的结果统计分析边界探测的结果 计算边界的绝对值后,下一步是将其分类以便确定属于车道边界的绝对值。在数字化过 程中的数字转换会出现相似误差,为了消除这些误差,必须作出亮度直方图,然后计算平均 值和方差。 2222.3 .3 .3 .3 边界探测结果的阈值边界探测结果的阈值边界探测结果的阈值边界探测结果的阈值 通过应用边界探测结果的阈值,可以得到车道边界的图像。该阈值与上述计算方差是成 比例相关的。 2222.4 .4 .4 .4 在车辆预测路径中确定车道边界在车辆预测路径中确定车道边界在车辆预测路径中确定车道边界在车辆预测路径中确定车道边界 应用 Hough 变换来确定车道边界是非常有效的,因为它可以将不属于车道边界的点筛 出。虽然 Hough 变换可以计算更复杂的曲线,但经常用于确定车道边界的线性部分。由于车 道曲率变化不大,因此也可以近似地认为车道边界是线性的。 在道路表面状况整洁良好、照明良好的情况下,Hough 变换适宜在线探测。当道路表面 具有白色虚线时,可以获得最好的结果。必须强调一点,该方法必须进行发展改进,以便提 高在线图像处理和试验集成硬件系统的计算能力。将来这种方法还可以通过“智能层”进行 拓展,该“智能层”会采用很多先进的方法(模糊、神经网络等技术),以提高基本信号和图 象处理层的功能,适应不同的道路表面系统。 3.基于视频图像的车道探测算法 过去的十多年中,以视频图像为基础的车道边界探测已经进行了大量研究。由于接收图 像经常伴随着杂讯,许多车道探测算法都已经向过滤这些杂讯以获得稳定图像的方向发展。 无论采用何种算法,车道探测算法都应该具有下列性能: 探测不能受到阴影的影响。这些阴影通常由树、建筑物、大型车辆等造成。 它应该能够处理施划标线或无施划标线的道路。它必须准确探测道路施划的标线和 无施划标线的道路的边界。 它应该能够处理曲线形道路,而不是将其假设为一条直线道路。 3333.1 .1 .1 .1 算法综述算法综述算法综述算法综述 目前,许多以视频图像为基础的车道探测算法已经发展起来。在这些算法中,几种车道 探测系统最具代表性。 LOIS(Likelihood of Image Shape),由密歇根州立大学人工智能实验室开发,应用变形模 板方法。但是,这种算法如果没有大量繁琐的计算资源,并不能保证全局优化和整体精确度, 并不适于实时数据处理。RALPH(Rapidly Adapting Position Handler)是卡内基梅隆大学机器人 学院开发的系统。它用于控制自治车辆的侧面横向位置。但是,它只能确定道路的曲率。道 路的标线位置在驾驶环境中探测实物也十分重要,RALPH 并没有考虑这一点。 本文中研究的实时车道探测算法是以获取道路上行驶车辆的实时视频图像为基础。在该 车道探测算法中,应用彩色信号提示来处理道路面积分割和阴影消除。由于道路通常具有长 度和平滑曲线,所以应用 Hough 变换。这种车道探测算法可以应用于施划标线路面或非施划 261 标线路面,也可以应用于曲线或直线道路。Hough 变换的输出结果不仅可以确定车道边界的 位置以及头车和影响车之间的关系,而且可以提供脱离车道的报警功能。 3333.2 .2 .2 .2 车道探测算法车道探测算法车道探测算法车道探测算法 图 2 表明车道探测跟踪算法的流程图。它包括 5 个步骤:图像采集、图像分割、边界探 测、Hough 变换和车道跟踪。 图 2 车道探测跟踪系统流程图 3.2.1 图像采集 这种以视频图像为基础的系统的输入数据是从行驶的车辆中获取的一系列彩色图像。在 车辆挡风玻璃后面沿中心线安装一部 CCD 摄像机。它在车辆的前部拍摄图像,包括道路、 路上的车辆、路边交通标志以及路上相关物体。具有图像捕捉卡的单板计算机可以实时拍摄 图像,并且存储至计算机中。车道探测系统从存储中调取图像进行处理。 为了获得较好的车道分析值、提高算法的运行速度,通过高斯金字塔将原始图像尺寸从 232304 像素减至 116152 像素。 3.2.2 图像分割 在分析驾驶过程中,图像分割是至关重要的一步。虽然道路边界的识别和相关场景特征 的探查对于驾驶员来说是很平常的,但是对于精确的图像自动分割却是非常困难的,也是不 可靠的。许多传统的系统建议通过提取几何特征用于推断和证明某种物体的存在,以此为基 础来恢复交通场景的一部分。这里,将色彩提示作为分割标准。彩色可视模块能够提供道路 区域的信息,与是否划分车道边界、是否存在照明设施无关。许多车道探测系统都受到阴影 的限制,因此只能应用于公路。这里可以应用色彩提示来解决阴影问题。 道路区域面积探测 在道路图像中,道路区域面积具有下述特性: 考虑图像较低位置中的绝大部分是道路区域; 道路区域具有类似统一的均匀颜色。 基本思想是当道路区域置于相对色彩丰富的环境时,通常是“灰色”的。 移去阴影 在绝大多数车道探测算法中,阴影是很大的问题。阴影可能是树、建筑物、大型车辆等 投影造成的。可以通过采用 HSV 色彩模型(Hue 色度, Saturation 饱和度, Value 纯度)来解决。 很显然,可以发现阴影区域的平均色度值和饱和度要高于非阴影区域,但是阴影区域的亮度 却稍稍低于非阴影区域,应用这些特点可以移去阴影。 移去不相关的图像部分 虽然通过色彩分割图像是很好的,但是图像中仍然包含一些非道路图像像素。例如,经 过图像分割后,还存在一些路旁图像。这一步骤的目的是消除那些非相关的图像像素,可以 通过对上述步骤产生的结果进行自下而上的扫描来移去这些不相关的图像。 3.2.3 边界探测 图像采集 图像分割 边界探测 Hough 变换 车道跟踪 262 应用 Sobel 过滤器获得边界图像。对于每次扫描,从图像中心至图像边缘,始终在边界 线像素中搜索顿点。由于道路通常很长,而且具有平滑曲线,即使在边界杂讯像素存在的情 况下,也能保证探测线位的准确。 3.2.4 Hough 变换 探测直线的代表方法是 Hough 变换。其中心思想是在路线参数的间隔中,将路线探测问 题转化为简单的峰值探测问题。尽管在几何上道路存在曲线线型,直线仍然是车道最好的近 似逼近值,尤其在车辆安全行驶的可能范围内。因为通常情况下,曲线也很长,而且很平滑。 3.2.5 车道跟踪 车道探测和车道跟踪是有区别的。车道探测包括确定单独一个图像的车道位置,并没有 考虑车道形式的发展趋势。车道跟踪包括在一系列连续的图像中确定车道边缘线的位置,并 且应用前面图像的车道位置信息来限制当前图像中可能的车道探测位置。一些系统应用不同 的车道探测跟踪算法。例如 VaMoRs 系统应用 LOIS 算法来确定道路的初始探测,然后转向 AURORA 算法进行逐画面式车道位置跟踪。 由于每秒钟可以获得很多图像画面,按顺序图像之间的差别非常小,因此在车道跟踪方 面,并不需要处理每一整张图像。根据前面的车道位置形式,可以对当前图像画面做出正确 的车道位置估计。因此,在 Hough 变换中,倾角ϑ 受到前一张图像估计范围的限制。这样做, 将会大大提高计算速度和探测的准确度。每秒钟内,车道探测算法将处理前几张图像画面, 并且给出后几张画面车道位置的准确定位估计。 4.车道探测算法的应用 4.1 4.1 4.1 4.1 车辆脱离车道报警车辆脱离车道报警车辆脱离车道报警车辆脱离车道报警 摄像机沿汽车的中心线安装。如果车辆在车道范围内,通过摄像机采集的图像如图 3 所 示。经过 Hough 变换,可以获得图像平面上介于探测车道和 X 轴之间的交角( 21 ,θθ ),可以 通过( 21 ,θθ )来确定是否脱离车道。如果车辆正常驾驶,[( 21 θθ + )-180]的绝对值将在某一 阈值范围内。相反,如果[( 21 θθ + )-180]的绝对值超出这一阈值范围,说明发生了车辆脱离 车道或者车道变形。 (a) (b) 图 3 脱离车道报警 (a) 正常驾驶:abs (( 21 θθ + )-180)阈值 (b) 车道变形或者车辆脱离车道:abs (( 21 θθ + )-180)>阈值 y x 1θ 2 θ x y 1θ 2θ 263 4.2 4.2 4.2 4.2 获取相关交通信息获取相关交通信息获取相关交通信息获取相关交通信息 根据车辆探测和识别系统,将会探测到头车。但是,头车与影响车之间的关系,比如距 离和跟驰率,都是不可知的,除非采用一些传感器,比如雷达(根据图像中的车辆尺寸,这种 信息只能粗略估计)。通过应用投影绘图和车道探测技术,可以解决这种问题。 假设汽车在地平面上行驶,为了获得相关信息,必须进行标定。由于既要处理平面运动, 又要处理平面探测,因此在平面之间采用投影绘图关系,而不用复杂的标定过程。投影绘图, 也就是透视变换,是通过一点从一个平面映射到另一个平面。图 4 表明了两个平面之间的关 系(图像平面和地平面)。投影绘图的普通形式是线性比例绘图: 1514 321 1 YcXc YcXccX iig ++ ++ = , 1514 876 1 YcXc YcXccY iig ++ ++ = (1) 这里: ( gg YX , )——地平面上点的真实坐标; ( ii YX , )——图像平面上点的坐标; ic ——变换参数, i =1…8 图 4 图像平面与地平面之间的关系 应用相似矩阵方程(2)处理映射绘图十分简便。从方程(2)中,可以计算出道路平面与图像 平面之间相对应的四个点的标定。但是,原始形式对于测量误差还是很敏感的,会在很大程 度上影响变换的精度。为了提高精度,变换中引入探测误差,如公式(3)所示。 [ ][ ] [ ]181888 = BcA (2) [ ][ ] [ ] 11188 =+ NNN BcA ε (3) 应用 N 套四点标定,假设误差平均值为零。采用最小乘方法解方程(3),得到解(方程(4))。 八个绘图参数的精度与地面平整度、探测误差等有关。 投影中心 图像平面 地平面 264 [ ] [ ] [ ][ ] [ ] [ ]1818818 = NtNNtN BAAAc (4) 一旦执行标定,该变换允许计算头车与影响车之间的相对距离和相对速度。将摄像机的 中心投影作为地面坐标的原点,由于摄像机相对于地面仅仅是平移运动,因此只要当影响车 运动时,映射变换就有效。从汽车探测系统中给定头车坐标,应用映射变换可以很容易获得 相对距离( gY )。考虑到很短的时段内距离变化很小,因此可以很合理的得到头车和影响车之 间的相对速度。 5.结语 这里研究的实时车道探测算法基于从道路行驶车辆中获得的一系列视频图像。实时车道 探测和跟踪系统是用于碰撞报警和预防的实物探测和识别系统中非常重要的模块。在这种车 道探测算法中,应用色彩提示进行图像分割、移去道路阴影。因为车道通常是平滑的长曲线, 因此在保证车辆安全行驶的范围内,考虑将车道看成直线。车道探测应用 Hough 变换,该车 道探测算法适用于施划标线道路和非施划标线道路,也适用于曲线道路和直线道路。Hough 变换的输出结果不但能够确定道路边界的定位、头车与影响车之间的关系,而且可以用于提 供脱离车道报警。 已经证实,车辆无意识的脱离车道可以通过探测得知,所需硬件即为个人电脑、实时传 输数据至计算机内存的帧接收机转接卡和 CCD 摄像机。目前已经实现的集成系统为探测车 辆脱离车道的算法提供了很好的基础,而且这种车道脱离探测可以逐渐应用于汽车中。在不 远的将来,对单向刹车控制系统的研究将有效的预防基于视频探测技术发现车辆无意识脱离 车道的危险行为。 参考文献: 1. Ran B.and Liu X., Development of A Vision-Based Real Time Lane Detection and Tracking System for Intelligent Vehicles, Presented at the 1999 TRB Annual Meeting and To Appear in Transportation Research Record, 1999. 2. [日]社团法人,交通工程研究会,智能交通系统.北京:人民交通出版社,2000. 3. Soumelidis, A., G. Kovacs, J. Bokor, P. Gaspar, L. Palkovics and L. Gianone, Automatic Detection of the Lane Departure of Vehicles, Transportation Systems 1997—A Proceedings Volume from the IFAC Symposium, Edited by M. PAPAGEDRGIOU and A. POULIEZOS, China, Greece, June 1997. 4. Kreucher C., Lakshmanan S. and Kluge K., A Driver Warning System Based on the LOIS Lane Detection Algorithm, Proceedings of IEEE International Conference on Intelligent Vehicles, 1998. 5. 黄卫,陈里得,智能运输系统(ITS).北京:人民交通出版社,1999. 6. Wang Y., Shen D. and Teoh K., Lane Detection Using Catmull-Rom Spline, Proceedings of Intelligent Vehicles 1998 Symposium, 1998. 7. Aoki M., Image Proceeding in ITS, Proceedings of Intelligent vehicles 1998 Symposium, 265 1998. 8. Sakurai K., Kyo S., and Okazaki S., A Lane Recognition Method Based on White Line Detection and Road Area Detection, Proceedings of Intelligent Vehicles 1998 Symposium, 1998. Study of Vision-Based Real Time Lane Detection Ma Ji , Pei yulong The Transportation College of Harbin Institute of Technology 150090 Abstract: The goal of ITS is to obtain more effective and safe way of the road transportation, so a lot of efforts are spent on the research and development on the fields of automated highways, automated steering, early detection of accident sources and avoiding accident. Accurate real time lane detection is a prerequisite for them. The paper reports on the development of an experimental warning system for the visual detection of the unintentional lane departure of road vehicles. The fundamental adaptive real time lane detection algorithm is described, which is based on video sequences taken from a vehicle driving on roads. The lanes are detected using Hough transformation. The proposed lane detection algorithm can be applied on both painted and unpainted road as well as curved and straight road. The output of Hough transformation not only determines the location of lane boundary, and the relationship between the leading vehicle and subject vehicle, but also is used to provide lane departure warning. Key Words: Vision-based, lane detection, image segmentation, image recognition, Hough transformation

该用户的其他资料

  • 名称/格式
  • 评分
  • 下载次数
  • 资料大小
  • 上传时间

用户评论

0/200
    暂无评论
上传我的资料
资料评价:

/ 8
所需积分:1 立即下载
返回
顶部
举报
资料
关闭

温馨提示

感谢您对爱问共享资料的支持,精彩活动将尽快为您呈现,敬请期待!