基于历史信息的沥青路面坑槽识别方法.pdf

总第 期交通科技 第期 收稿日期：第一作者：徐婷怡（），女，博士生。通信作者：杨璐璐（），女，硕士生。基于历史信息的沥青路面坑槽识别方法徐婷怡杨璐璐陈长孙立军（同济大学道路与交通工程教育部重点实验室上海 ）摘要在沥青路面坑槽识别方法中，为了解决现有方法准确度与速度不高的问题，提出一种基于历史信息的沥青路面坑槽识别方法。根据实测图像，在提出改进的阈值确定方法基础上，提出基于历史信息的坑槽图像识别算法框架，该框架主要分为图像去噪、改进的阈值确定算法及坑槽形态特征提取个部分，并进行算法性能评价与分析。实验证明，随着在改进的阈值确定中更多的历史信息用于创建阈值初始约束条件，能显著简化算法流程，减少算法收敛时间，在不降低识别准确度的前提下提升识别速度，最快可较不运用历史信息的算法提升的速度。关键词道路工程损坏检测图像识别路面管理坑槽识别中图分类号 沥青路面中的坑槽损坏是一种普遍存在的病害，其特点主要表现为发生突然，并且逐渐波及周围完好路面。沥青路面表面层产生的坑槽，通常最早出现、也是最容易出现的一类，主要由于路面表面层的不稳定性造成。车流量越大，车辆荷载越重，动水和孔隙水的压力越强，冲刷作用就越严重，形成的坑槽也越深。现阶段，常见的几种坑槽自动化检测方法包括震动法、三维重建法和基于视觉的检测方法。基于视觉的坑槽检测方法在采集路面图像后，利用图 像 处 理 技 术 进 行 分 析，其 中，等 采 用，结合纹理信息对路面进行训练，计算潜在的病害区域的纹理信息后，利用 识别潜在区域是否属于坑槽。等采用启发式的决策逻辑方法，结合面积、标准偏差、圆度和直径信息，检测区分路面裂缝和坑槽。等利用面积和紧密度提取出潜在的坑槽病害，计算潜在病害区域和背景区域的直方图相似性和标准偏差，最终检测路面是否存在坑槽。上述检测方法侧重于坑槽的识别，均是在灰度图像二值化后，再提取潜在的病害区域，最后判断潜在病害区域是否属于坑槽。基于二维视觉图像的坑槽识别中，对其分割阈值进行确定是首要并且十分关键的。本文首先根据实测图像，提出改进的阈值确定方法；其次，提出一种基于历史信息的坑槽图像识别算法框架，该框架主要分为图像去噪、改进的阈值确定算法及坑槽形态特征提取三部分；最后，进行算法性能评价与分析。改进的阈值确定方法 图像预处理本研究采集了运营年的条铺筑沥青路面城市道路，采集路面图像所用检测车搭载 的鹰眼 系统，外观见图。图检测车外观车尾上方安装有左、右个高清工业相机，车轮设有传感器，车辆行驶过程中每拍摄次路面图像。采集过程中，镜头与路面保持垂直，并且镜头与路面的距离保持固定不变，原始图像由个车载相机所拍图像拼接而成，每个相机拍摄的图像尺寸为 。图像预处理的目的为统计坑槽图像灰度直方图的特征值，为先验阈值的确定做准备。方法分为两步：图像裁剪，由于原始图像中包含标线、井盖等目标，需要裁剪只包含坑槽损坏区域的图像；图像灰度化，原始图像为 图，由于后续图像处理基于灰度图像，因此需要将 图转换为灰度图。坑槽图像灰度直方图特征值从实际采集的二维图像中可以发现，沥青路面坑槽的特征与完好路面有比较显著的灰度值差异。坑槽图像典型的灰度直方图形式见图。图坑槽图像灰度分布直方图图中有个波峰，灰度值较小的波峰所在灰度值附近区域为完好路面，而灰度值较大的波峰所在灰度值附近区域为坑槽损坏，因此可将个波峰中间的波谷处灰度值作为阈值，将坑槽从完好路面图像中提取。阈值的选取对分割出（识别）的图像质量产生较大影响。在分割过程中如果将坑槽的像素点划分到完好路面中，会使坑槽区域变小，路面范围扩大，坑槽的形态发生改变；同样的，如果将路面的像素点划分至坑槽范围内，则会导致路面区域变小，坑槽区域变大，其坑槽形态也会发生变化。为了得到较为理想的分割效果，阈值的选取至关重要。曝光程度对图像灰度特征值具有显著影响，图像采集时日照过于强烈容易导致曝光过度，会导致坑槽处灰度值比正常曝光时的灰度值提高。对条路段同位置坑槽处的灰度直方图波峰值、波谷值进行统计分析，其灰度直方图中波峰值对比见图图。由图可见，针对路段的个 坑槽，路段的完好路面波峰灰度值在第二年均普遍上升，而坑槽波峰灰度值在第二年则普遍下降，但总体而言，同年的各波峰灰度值都较为集中，年完好路面波峰灰度值均值为 ，年坑槽波峰灰度值均值为 ，年完好路面波峰灰度值均值为 ，年坑槽波峰灰度值均值为 。而在图、图中可以看到，、路段的 年与 年完好路面波峰灰度值基本持平，而坑槽波峰灰度值分布范围则较广，且其灰度值也较高，最高可达 。图路段坑槽图像 年与 年灰度直方图波峰值对比图路段坑槽图像 年与 年灰度直方图波峰值对比图路段坑槽图像 年与 年灰度直方图波峰值对比因此，对、路段的坑槽图像进行人工比对，发现路段的拍摄曝光正常，而、路段坑槽图像在拍摄过程中存在过度曝光现象，即坑槽处灰度值显著提高，与图像采集当天日照过于强烈有关，曝光图像见图。因此，针对正常曝光图像及过度曝光沥青路面图像有必要进行分类分析，方可得到准确的坑槽提取分割阈值。年第期徐婷怡等：基于历史信息的沥青路面坑槽识别方法图曝光图像 阈值确定方法历史阈值，即是历史图像中坑槽识别所用的阈值。首先，对路段（正常曝光）的图像的波谷值进行比较分析，见图，可得 年与 年同一坑槽处的灰度波谷值相近，且该路段的灰度波谷值都比较集中，年灰度均值为 ，年灰度均值为 。因此，在正常曝光的情况下，在坑槽提取的阈值选择上，可用该路段历史图像中的波谷值作为阈值，且短期路龄的增加（年）并不会明显影响该阈值。图路段坑槽图像 年与 年灰度直方图波谷值对比其次，对、路段（存在过度曝光）的图像的灰度波谷值进行比较分析，并计算图像的灰度中值、均值进行对比，结果见表。表图像灰度波峰谷值、中值、均值对比编号 年 年完好路面波峰灰度值坑槽波峰灰度值波谷灰度值灰度中值灰度均值完好路面波峰灰度值坑槽波峰灰度值波谷灰度值灰度中值灰度均值 由表可见，虽然由于过度曝光的原因，年间同一位置坑槽处的灰度波谷值相差较大，但同一图像的波谷值与中值和均值比较接近，也能一定程度 反 映 图 像 的 曝 光 程 度，因 此，可 以 运 用 年、年的图像中值或均值，针对 年图像的波谷值进行矫正，推测 年该位置的波谷值，即坑槽提取的阈值。分别计算 年与 年同一位置图像的灰度差值中值与灰度差值均值作为矫正值 ，与 年图像的波谷值 相加，推测 年坑槽图像的波谷值 。计算方法如式（）式（）所示。中值 （）均值 （）均值推测 均值 （）中值推测 中值 （）将表中数据代入式（）式（）进行计算，见表。表推测波谷灰度值与实际波谷值对比编号灰度差值（中值）灰度差值（均值）推测波谷灰度值（中值矫正）推测波谷灰度值（均值矫正）年实际波谷灰度值 平均灰度值 徐婷怡等：基于历史信息的沥青路面坑槽识别方法 年第期由表可见，经过灰度中值、均值的差值矫正，其结果均接近 年实际波谷灰度值，而运用均值矫正的结果更为接近。因此，选用图像均值作为阈值矫正参数。基于历史信息的坑槽识别算法框架本研究提出的基于先验阈值的坑槽识别算法框架见图。图基于历史信息的坑槽识别算法框架首先，对所采集的原始图像进行灰度化处理，并进行中值滤波达到图像降噪的目的。其次，判断待检测图像的曝光程度，如果可以判断为正常曝光，则其阈值即为历史阈值；若为过度曝光，或者无法判断曝光程度，则计算待检测图像灰度均值，并计算待检测图像灰度均值及历史图像灰度均值的差值，若差值小于，则表示不存在过度曝光，无需矫正，或者即便过度曝光，也不影响阈值，则其阈值即为历史阈值；而如果差值大于，则进行阈值矫正，阈值为历史阈值及差值之总和。再次，根据矫正后的阈值进行阈值分割，初步将图像分割为完好区域与潜在的坑槽区域。最后，通过形态学运算、连通域的删选等操作，从形态学的角度，对潜在的坑槽区域进行最终判断及提取，并输出识别结果。坑槽形态特征的判断及提取阈值分割后，沥青路面图像被分为完好区域与潜在的坑槽区域，从而进行二值转换得到二值图像。然而该二值图像存在小斑点、小裂缝、小噪声区域，需要利用形态学运算进行噪声处理，本文中，首先运用腐蚀消除细小噪声，后利用膨胀算法填充坑槽区域的内部空洞，随后删除小面积对象作为坑槽形态特征的初步提取。随后根据连通域形状特征计算参数进行计算，完成坑槽形态特征判断及提取。连通域形状特征参数坑槽的形状特征基本由椭圆率犲、密实度犆及面积犃来确定。椭圆率犲及密实度犆的计算方式见式（）、式（）。犲犾 犾 （）犆犾 犃（）式中：犾 为与该区域具有相同标准二阶中心矩的椭圆长轴长度；犾 为与该区域具有相同标准二阶中心矩的椭圆短轴长度；犃为连通域面积。形状特征阈值确定设该连通域为坑槽时，其椭圆率犲、密实度犆及面积犃需要大于阈值犜犲、犜犮、犜犃。其中，犜犮参考 等学者的研究，选取为 ；犜犃根据实际拍摄图像，选取为 ；而犜犲则需要进行试算确定。而其识别检测结果按照式（）式（）进行 年第期徐婷怡等：基于历史信息的沥青路面坑槽识别方法评价。犜 犘（犜 犘犉 犖）（）犜 犘（犜 犘犉 犘）（）（犜 犘犜 犖）（犜 犘犉 犘犜 犖犉 犖）（）式中：犜 犘为被正确检测为坑槽的样本图像数量；犜犖为被正确检测为非坑槽的样本图像数量；犉 犘为被错误检测为坑槽的样本图像数量；犉犖为被错误检测为非坑槽的样本图像数量；为召回率；为精确率；为准确率。本文选取 张包含裂缝、坑槽、裂缝、完好、阴影的沥青路面图像进行人工训练试算，其 、和 随犜犲阈值的变化曲线见图。图 、和 随犜犲值的变化曲线由图可以看到，随着犜犲的增大，呈下降趋势，则呈上升趋势，而 则变化平缓，这是由于种评价指标互相影响，相互制约，高时，通常 低，某些情况下是矛盾的，因此需要对指标综合考虑，观察其变化趋势。可以看到当犜犲 时，、和 值均较高，所以，犜犲选取 较为合理。性能评价与分析本研究用于性能评价的实验数据采用组图像，组图像均来自 年采集的、路段，每组有 张图像，包含裂缝、坑槽、裂缝、完好、阴影，第一组图像为确认的正常曝光图像，第二组图像包含过度曝光及不能判断曝光情况的图像。实验目的主要分为两方面：将本文所提的基于历史信息的坑槽识别方法与未用历史信息的识别方法进行性能比较；在本文所提的算法框架的基础上，验证历史信息创建初始条件的不同方法对算法性能的影响。故设计以下种实验方法，见表，实验中不考虑确定历史信息的时间。表实验方法项目方法一 方法二 方法三 方法四运用本文所提的算法框架正常曝光（运用正常曝光流程）正常曝光（运用过度曝光或不能判断曝光情况的流程）过度曝光或不能判断曝光情况方法一。运用本文所提的基于历史信息的坑槽图像识别算法框架，确定正常曝光，并运用正常曝光流程，即阈值为历史阈值。方法二。运用本文所提的基于历史信息的坑槽图像识别算法框架，确定正常曝光，但运用过度曝光或不能判断曝光情况的流程。方法三。运用本文所提的基于历史信息的坑槽图像识别算法框架，确定为过度曝光或不能判断曝光情况，则需要矫正阈值。方法四。不运用本文所提的基于历史信息的坑槽图像识别算法框架，使用最大类间方差法提取潜在的坑槽。识别坑槽损坏过程及检测结果示例见图。图 检测过程及检测结果示例由图 可见，以上种实验方法均能较好地准确识别坑槽损坏，以下对检测结果及检测速度进行比较，结果见表、图。徐婷怡等：基于历史信息的沥青路面坑槽识别方法 年第期表检测结果及检测速度对比方法 平均检测时间一 二 三 四 图 检测结果及检测速度对比由表及图 可以得知，方法一整体速度最快，检测结果最优；方法二相较方法一，在同样的图像样本情况下，确定正常曝光，但运用过度曝光或不能判断曝光情况的流程，检测时间相对增加，其检测精确率和准确率有所下降，召回率与方法一持平；方法三召回率与方法一、方法二相同，精确率和准确率相较方法二有所下降，其检测速度与方法二持平，同时也高于方法一；方法四的召回率与另外种方法相同，但精确率和准确率最低，同时检测时间明显比另外种方法更长。分析原因为：方法一、方法二及方法三都运用了本文所提的算法框架，基于历史信息创建了阈值初始约束条件，而坑槽损坏识别具有对阈值初始约束条件敏感的特性，即阈值初始约束条件的设定能显著影响检测时间，所以种方法均相较方法四提升了检测速度；而方法一由于确定了图像正常曝光，则在算法流程步骤里计算量最少，则检测时间最短，结果最优；而方法二运用了方法一中的样本图像，但由于人工选择了过度曝光或不能判断曝光情况的流程，相较方法一计算量更大，所以检测时间增长，而且检测结果略有下降，说明确认更多的历史信息能减少流程步骤，并且减少检测时间，提高检测结果；方法三中的算法流程与方法二相同，计算量相同，所以检测时间基本持平，且检测结果也与方法二基本持平，略有下降。方法四不使用本文所提的算法框架，运用最大类间方差法，对与每张图像的检测都首先需要计算整幅图像的像素点之间灰度方差，所以检测时间较长，且由于最大类间方差法的阈值分割结果不够稳定，所以其检测结果也不是最为理想的。上述对比说明了在算法中，若能对阈值的确定增加初始约束条件，或者说利用历史信息确认阈值，则能大幅提升检测速度及优化检测结果。结论）现有的坑槽图像识别方法均未考虑到利用识别前已有的历史信息，而本文所提出的基于历史信息建立坑槽图像识别方法，通过利用历史信息创建坑槽识别的阈值初始约束条件，提升了识别准确率与速率。）提出了基于历史信息的坑槽图像识别算法框架，该框架主要分为图像去噪、改进的阈值确定算法及坑槽形态特征提取个部分。实验证明，随着在改进的阈值确定中更多的历史信息用于创建阈值初始约束条件，能显著减化算法流程，减少算法收敛时间，在不降低识别准确度的前提下提升识别速度，最快可较不运用历史信息的算法提升的速度。）本研究以时隔年相同位置城市沥青路面的图像作为样本，经过统计分析及实际测试，得到对于坑槽的监控识别，可以运用历史图像中的阈值，并且提出了针对不同曝光程度的阈值矫正方法，且发现短期路龄的增加（年），不会对阈值产生影响。参考文献谢会申沥青混凝土路面坑槽形成原因及修补关键技术四川水泥，（）：张丰梁基于车载双目视觉的路面坑槽检测方法研究苏州：苏州科技学院，薛增光基于三维结构光检测技术的路面坑槽与拥包病害的特征提取及识别算法研究杭州：浙江理工大学，戴勇路面坑槽修补智能化技术研究西安：长安大学，余俊，吴海军，王武斌，等基于深度学习的沥青路面坑槽量化 方法公 路工 程，（）：李伟聪，龚侥斌全柔性沥青路面弯沉验收标准研究武汉理 工 大学 学报（交 通科 学与 工 程版），（）：年第期徐婷怡等：基于历史信息的沥青路面坑槽识别方法