基于视觉和毫米波雷达的车道级定位方法 | 厚势汽车

随着汽车数量的不断增加，道路安全问题越显突出且不容忽视，因此，高级驾驶辅助系统已成为研究热点。在 20 世纪 70 年代，美国开始研究用于军事领域的无人驾驶技术，并将其用于高速公路行驶和城市智能交通运输领域 [1]。例如，1995 年，美国卡耐基梅隆大学研制的 Navlab-V 型无人驾驶汽车横穿了美国东、西海岸，且在全程近 5000 km 的州际高速公路上的车辆自主驾驶部分高达 98.2％。

在包含车道偏离预警、车辆辅助转向的诸多高级驾驶辅助系统应用中，车辆的车道级定位非常重要，且关注最多的是车辆的横向定位。主要的定位方法包括基于全球定位系统（GPS）和基于激光雷达的方法，其中基于 GPS 的定位方法有：

• GPS／DR（Dead Reckoning）组合定位 [2]，它使用 GPS 定位和航位推算，但由于定位传感器存在测量误差，所以航位推算的误差随时间增加而增大。

• 差分 DGPS（Differential GPS）定位方法 [3]，其较为有效，但建设和维护差分基站的成本非常高，定位效果受到车辆距离、基站位置和基站数量的限制。

基于激光雷达的定位方法是通过多线激光雷达的点云数据进行特征匹配的 [4]，但因激光雷达的数据量很大，在雨雪天等条件下表现不佳，故实时性不强。

针对中、高速城市道路及高速公路场景的横向定位问题，本文提出一种基于视觉和毫米波雷达的车道级定位方法。与激光雷达相比，毫米波雷达的数据量非常小、可靠检测距离较长，适用于全天气环境，在传感器端即可实现动、静态障碍物的识别，识别道路两旁连续规则的护栏的计算量小且稳定可靠。

1. 系统概述

图 1  系统框架示意图

本文提出的基于多传感器在线数据和 OSM（Open Street Map）离线地图数据库的车道级定位系统的输入分别为传感器实时数据（单目摄像头、毫米波雷达和GPS）以及 OSM 离线地图，输出为当前车辆行驶的车道级定位，主要分为检测、定位与匹配及车道级定位 3 大模块，如图 1 所示。

其中，检测模块分为车道线检测和道路边沿检测两部分：

• 车道线检测使用单目摄像头作为输入，单目摄像头安装在挡风玻璃后，用于获取车前道路的实时图像，进而识别当前车道的左、右车道线；

• 道路边沿检测采用毫米波雷达作为输入，毫米波雷达通常用于识别障碍物，本文主要用来识别高速公路两旁的护栏等连续规则的静态障碍物，并以此作为道路边沿的输出。

定位与匹配模块的输入是 GPS 天线定位信息和 OSM 地图信息。OSM 地图是一种开放的 GIS（Geography Information System）数据，是免费开源、可编辑的地图服务，其元素主要包括点、路和关系，并以此构成整个地图画面。本文所用 OSM 地图包含道路名称、道路类型、车辆行驶方向、车道数量和每条车道宽度等信息。在车道级定位模块中，主要通过 GPS 获取的经、纬度，从 OSM 离线地图数据库中检索当前的道路信息，这里特指当前道路的车道数量以及每条车道宽度。

车道级定位模块首先将车道线和道路边沿的位置结果进行数据融合，即将各类坐标统一转换为世界坐标系下的坐标；然后，将融合后的数据与当前道路的车道数量、车道宽度信息进行对比，根据车道线与道路边沿的相对位置关系进行车道级定位。

2. 车道线检测

车道线的检测方法主要分为模板法和特征法。

• 模板法采用直线、抛物线和其他曲线模型来匹配车道边界点，例如，Mechat 等 [5] 使用支持向量机（SVM）方法对车道线进行分类，并用 Catmull-Rom 曲线模型进行拟合；

• 基于图像特征的方法是根据图像特征提取边沿，如 McDonald 等 [6] 利用车道线的几何特征对 Hough 变换的参数进行限制。

本文所用车道线检测方法：

• 对摄像头采集的原始图像进行逆透视变换，并对逆透视变换的图像进行二维高斯滤波和分位数二值化（P-Tile）预处理，以过滤噪声并增强车道线特征；

• 采用概率 Hough 变换提取候选车道线集合，利用含多规则约束的自定义投票检测方法筛选左、右车道线，并用圆曲线模型进行拟合而得到最终的检测结果。

图 2  原始图像和经逆透视变换的图像

本文采用求解齐次坐标变换矩阵的方法 [7] 计算逆透视变换矩阵，以建立图像平面坐标系上的点 P_I＝ [ u v 1 ] ^T 与世界坐标系上对应的点 P_w ＝ [ x y z 1 ] ^T 之间的对应关系。该方法只需选取平面上的多个特征点，测量获得特征点在世界坐标系和图像平面坐标系中的坐标，用最小二乘法求解即可得到变换矩阵。逆透视变换的图像效果如图 2 所示。

与基于相机模型进行逆透视变换的方法 [ 8~9 ] 相比，本文采用的逆透视变换方法无需摄像头的内、外参数且容易实现，但无法在线修正相机外部参数（例如俯仰角等）变化的影响。逆透视变换的效果和摄像头与地面的俯仰角有关，颠簸和坡面情况都将对逆透视变换的结果产生影响，本文主要研究平坦和轻微倾斜的路面情况。

车辆在行驶中经常受到各种环境因素的影响，包括车道线磨损、阴影和逆光等。本文所用图像预处理方法分为高斯滤波和分位数二值化 2 部分。

默认车辆的行驶方向与车道线的延伸方向基本一致，本文在逆透视变换图像的纵向采用 1 阶高斯平滑处理，在其横向采用 2 阶差分高斯处理，以增强车道线特征。车辆的行驶过程中很难用单一的固定阈值进行图像分割。

本文使用分位数二值化的方法统计高斯滤波处理后的逆透视变换图像幅值直方图，并保留像素值最大的 (100 - P)% 个像素点，P 为设置的阈值。经过多次实验得出，P＝97.5 时的二值化效果最佳。这种二值化处理方法适用于不同亮度的环境，在阴影、逆光和反光等条件下均能够得到较好的分割效果。

针对预处理后的图像，采用概率 Hough 变换方法粗提取候选车道线；然后，在车道的左、右边分别采用自定义投票空间的方法选取长度较长且距离中心最近的实线或虚线作为左、右候选车道线；在候选车道线的周围选定一块平行四边形兴趣区域，并对兴趣区域的白色特征点进行曲线拟合。结合我国道路设计与施工规范，本文采用圆曲线模型进行曲线拟合，图 3 所示为原始图像及其拟合图像。

滤波过程主要分为 2 个部分：

• 对车道线的检测结果进行滤波。对于摄像头采集的视频连续输入序列，本文采用一种自适应模型进行帧间滤波，将当前帧和前一帧的检测结果进行加权叠加，并作为当前帧的输出结果；

• 根据当前帧的检测结果，在车道线的周围设置一系列兴趣区域，下一时刻的图像输入仅考虑兴趣区域内的车道线特征点（如图 3(c) 所示），从而进一步提高车道线检测方法的准确率。

3. 基于毫米波雷达的道路边沿检测

毫米波雷达是高级驾驶辅助系统中的传感器，主要用途是检测动态障碍物。本文使用毫米波雷达检测道路边沿，识别静态障碍物 [10]，如道路两旁护栏等边界物体，并通过最小二乘法拟合道路的左、右边沿。相比于不到 40° 视角的摄像头，毫米波雷达的水平视场角更大，可以识别约 200 m 范围内的静、动态障碍物。

图 4  毫米波检测道路边缘示意图

由于本文采用毫米波雷达检测道路两旁护栏等边界物体，故需将毫米波雷达安装在与护栏高度相同的位置。如图 4 所示，首先，根据障碍物的横坐标将障碍物分为左、右 2 个集合，记为 P_L 和 P_R。为获取道路的主方向，在道路边沿仍采用直线模型进行拟合。对于每个集合，采用随机抽样的方法获取该侧的边沿。以 P_L＝｛P_1，P_2，…，P_n｝为例，任意选取 3 个初始点拟合直线，计算所有点到该直线的偏差，将偏差在预设阈值范围内的所有点添加为内点，并重新使用 3 个初始点和所有内点拟合新的直线。重复上述步骤迭代 100 次，所得含内点数量最多的直线模型即为最终结果。

根据时空连续性原理，连续 2 帧道路边沿位置图像的偏差不会太大。因此，为了提高检测结果的连续性，将前一帧车道线检测结果进行叠加。针对车道左、右两侧的检测结果，分别使用 2 个 Kalman 滤波器进行跟踪。以左侧护栏为例，靠近上、下边缘设置 2 条横向扫描线，每帧检测所得车道线和 2 条扫描线的交点坐标分别为 ( x_1, 40 ) 和 ( x_2, 360 )。基于方向不会发生突变的假设，设置状态变量X(k) ＝ [ x1  x′1  x2  x′2 ] ^T，观测变量 Z(k) = [ x1 x2 ] ^T，系统的状态方程和观测方程如下：

其中：W(k) 和 V(k) 分别为系统噪声和观测噪声，假设两者均为满足高斯分布且均值为零的白噪声；A和 H 分别为状态转移矩阵及系统观测矩阵，

系统的状态方程和观测方程的误差 R 及协方差矩阵 Ｑ 分别为：

每次获得最新的测量值 Z(k)，通过k－1 时刻的 Kalman 滤波器输出值 x ( k-1 | k-1 ) 来估计 k 时刻的预测值 x(k | k-1) ，通过计算最小均方差误差矩阵获取误差增益矩阵 G(k)，从而获得修正后 k 时刻的输出值 x( k | k )。

4. 基于视觉和毫米波雷达的定位方法

本文定义了世界坐标系 Ｗ、以摄像头光学中心为原点的摄像头坐标系 C 以及图像平面坐标系 I，3 个坐标系之间的关系和数据融合效果如图 5 所示。

图 5  坐标系定义及数据融合效果

在本文定位方法的实验平台中，将毫米波雷达安装在车前方保险杠下方，摄像头安装在车前挡风玻璃的后方，所建两者的坐标系均以自身为原点。为了融合两者的数据，需要先将 2 种传感器进行联合标定。本文以毫米波雷达坐标系为准，将摄像头坐标系进行旋转和平移，并与毫米波雷达坐标系对齐。

对摄像头的原始图像进行逆透视变换时，选取的地面特征点均以毫米波雷达为原点，并测量其在世界坐标系（毫米波雷达坐标系）下的坐标。为直观显示融合效果，将毫米波雷达的数据点和道路边缘检测结果透视显示在原始图像上，如图 5 (b) 所示。其中，左、右两侧的圆点为过滤动态车辆后的静态障碍物。

根据定位与匹配模块，通过当前的 GPS 定位以及 OSM 离线地图输入可以获得当前道路的车道数量N以及每条车道宽度｛ｗ_i | i = 1, 2,…, n｝。第 1 条车道和最右侧车道与左、右护栏之间存在一定的间隔，在不同位置，间隔距离可能不同。经过多次实验发现，第 1 条车道与左侧护栏之间的距离相对更加准确且更易于人工标注，因此，本文使用的 OSM 离线地图还包含了第 1 条车道左侧车道线与左侧护栏的距离 d_1 = w_0 的信息。

图 6  各车道与左车道线到道路边沿距离的对应关系

计算当前车道的左、右车道线与左侧护栏之间的距离 d_l 和 d_r，由于当前车道的右车道线也即右侧车道的左车道线，如图 6 所示，所以当 | d_l－d_k | 和 | d_r－d_(k+1) | 均在阈值范围内时，当前车道即为第 k 条车道（k = 1,2,3,4）。对于车道级定位输出，同样使用基于历史连续帧的数据滤波，以避免因为车道线或道路边沿误检或漏检而造成车道定位突变等错误。

5. 实验与结果分析

图 7  Cyber Tiggo 实验平台

本文以图 7 所示的上海交通大学自主研制的智能 车 Cyber Tiggo 为实验平台进行本文方法的验证实验。其中，摄像头采用加拿大 Point Grey 公司的 Dragonfly2 工业摄像头，分辨率为 800 像素 X 600 像素，安装在汽车前挡风玻璃后；毫米波雷达采用美国 Delphi 公司的电子扫描毫米波雷达，检测距离长达 174 m。

图 8  不同情况下的图像预处理和车道线检测结果

采用二维高斯滤波和分位数二值化方法对图像进行预处理，以消除横线干扰、车道线残损模糊和阴影等的影响，图 8 示出了在不同情况下的车道线检测结果。图中，从左到右依次为原始图像、预处理后的图像和车道线检测结果。

本文所用测试数据取自一段高速公路，共 10748 帧，其中，图像、毫米波雷达数据以及 GPS定位数据均为 10748 帧。数据的真值采用人工标注的方法得到，对 10748 帧数据的车道序号进行人工标注。

图 9  车道级定位方法的定位结果

图 9 所示为采用本文的车道级定位方法所得定位结果。图中，浅色点为人工标注真值（为了直观显示，将其略下平移），深色点为本文的车道级定位结果。由图可见，所提出的车道级定位方法能够准确检测 9788 帧图像，其准确率为 91.07％。车道级定位结果的误检原因在于：

• 在车辆换道时，采用视觉的车道线检测可能出现车道线误检；

• 当车辆稳定行驶在某一条车道时，采用毫米波雷达检测道路护栏边沿变化可能产生护栏误检。

6. 结语

本文提出了一种基于视觉和毫米波雷达的车道级定位方法。通过低精 GPS 从 OSM 离线地图中获取当前车道的基本信息，采用单目摄像头检测车道线，利用毫米波雷达检测道路两旁连续规则的护栏或树木并作为道路边沿，根据先验车道信息，对比车道线与道路边沿的相对位置关系，从而获得横向车道级定位。

结果表明，从传感器配置上来说，相比多线激光雷达，毫米波雷达的数据量非常小、可靠检测距离较长，适用于全天气环境的车道级定位，在传感器端即可实现动、静态障碍物的识别，识别道路两旁连续规则的护栏或树木的计算量小且稳定可靠。

通过车道定位实验发现，针对中、高速城市道路及高速公路场景，采用本文提出的车道级定位方法可以得到较好的定位效果，其定位准确率依赖于车道线以及道路边沿检测的准确率。

由于车道线方向与道路边沿方向基本一致，下一步研究将增强基于视觉的车道线检测模块和基于毫米波雷达的道路边沿检测模块的耦合性，进而提高车道级定位结果的稳定性。