基于图像处理的轨旁组合信号灯识别方法_郭齐成.pdf

2023 年第 36 卷第 7 期Electronic Sci.Tech./Jul.15，2023https:/收稿日期:2022-01-21基金项目:国家自然科学基金(U1734211)National Natural Science Foundation of China(U1734211)作者简介:郭齐成(1996 )，男，硕士研究生。研究方向:图像处理。张轩雄(1963 )，男，博士，教授。研究方向:电子机械系统。基于图像处理的轨旁组合信号灯识别方法郭齐成1，沈拓1，2，张轩雄1(1 上海理工大学 光电信息与计算机工程学院，上海 200093;2 同济大学 上海市轨道交通结构耐久与系统安全重点实验室，上海 201804)摘要对列车轨旁信号灯进行准确辨识是保障列车安全运行的重要措施。然而，对于轨道系统而言，除了通常的单色信号灯外，还有组合(两种颜色)信号灯的指示方式。针对轨旁组合信号灯的识别问题，文中提出了一种基于图像处理技术对位于列车前方 150 m 内的轨旁组合信号灯的识别方法。根据组合信号灯的颜色和形状特征，采用颜色分割、形态学处理、霍夫变换等手段提取组合信号灯的候选区域。同时利用组合信号灯位于当前轨道右侧的位置特征以及组合信号灯之间圆心距的距离特征，定位其位置并识别组合灯颜色。实验结果表明，该方法能准确定位和识别轨旁组合信号灯，对绿与黄、两绿和两黄这 3 种组合灯的识别率分别为 94 14%、96 21%、86 67%。关键词轨旁组合信号灯;图像处理;颜色分割;形态学操作;霍夫变换;边缘检测;轨道提取;图像识别中图分类号TN99;TN391文献标识码A文章编号1007 7820(2023)07 008 08doi:10.16180/ki.issn1007 7820.2023.07.002ecognition Method of the Combined Trackside Signal Light Basedon Image ProcessingGUO Qicheng1，SHEN Tuo1，2，ZHANG Xuanxiong1(1 School of Optical Electrical and Computer Engineering，University of Shanghai for Science and Technology，Shanghai 200093，China;2 Shanghai Key Laboratory of ail Infrastructure Durability and System Safety，Tongji University，Shanghai 201804，China)AbstractThe trackside signal light is an important guidance for a running train in a rail transportation systemHowever，the combined trackside signal light included two colors is also used as a specific sign in addition to the usu-al single color signal light In order to solve the recognition problem of the combined trackside signal light，a methodbased on image processing technology is employed to recognize the combined trackside signal light located within 150m in front of train As a result，the candidate region characteristics of the combined trackside signal light are extrac-ted by color segmentation，morphological processing，and Hough transform On the other hand，the combined track-side signal light can be positioned on the right of running rail train The central spacing between two single lights candetermine whether or not existing combined trackside signal light to remove the possible interferences from other lightsor environment The experimental results indicate that this method can accurately locate and recognize the combinedtrackside signal light，and the color correction ratio is 94 14%for green and yellow light，96 21%for two greenlights，86 67%for two yellow lightsKeywordscombined trackside signal light;image processing;color segmentation;morphological operation;Hough transform;edge detection;track extraction;image recognition轨旁信号灯对于保障列车的行车安全至关重要。目前，判断轨旁信号灯状态的方式主要有两种1:一种是通过列车驾驶员的眼睛观察来判断;另一种是通过列车驾驶室内的仪表信号来判断。在高速行驶的列车上，恶劣天气外加身心疲惫可能导致驾驶员无法及时辨别甚至未发现轨旁信号灯。另外车内仪器的电气化干扰会对保障列车安全运行的驾驶室信号造成掉码、串码、不接码等故障，导致安全隐患2。为了进一步保障列车的行车安全，需要一种冗余且低成本的辅助安全驾驶的措施减轻驾驶员的驾驶负担和降低行车安全隐患。随着图像处理技术的迅猛发展，工业和无人驾驶等领域已经在积极应用这一新技术3。在路面交通灯识别领域，主要有以下两大类方法:一类是以采用模板匹配4、圆形提取5 和基于颜色分布5 6 的 3 种识别8郭齐成，等:基于图像处理的轨旁组合信号灯识别方法Electronic Science and Technologyhttps:/方式为主的数字图像处理技术。文献 4 报道了基于光斑检测算法，检测圆形亮点区域并应用自适应模板匹配识别交通灯。文献 5在归一化 GB 颜色空间中，采用颜色分割提取目标候选区域，随后用霍夫圆变换定位识别交通灯。文献 6 通过中值滤波对图像进行预处理后，再利用交通信号灯模板匹配方法检测信号灯区域，最后利用 HSV 颜色空间模型识别交通灯的状态。另一类是采用神经网络的方法。文献 7 提出了一种新的反卷积深度神经网络来检测小交通灯，通过设置焦点回归损失函数提高识别精度。然而，对于高速列车轨旁信号灯的识别应用研究却较少。文献 8 利用 YOLO 卷积神经网络检测铁路信号灯的位置，采用传统图像处理方式识别信号灯颜色。实验验证了该混合算法的可行性，但未排除邻线轨旁信号灯的干扰以及未考虑复杂环境下该算法的可行性。文献 9 在识别轨道交通信号灯时，结合机器视觉和神经网络技术实现了当前轨旁单个信号灯的有效识别，但缺乏对当前轨旁出现组合信号灯情况的考虑。在轨道交通系统中，除单色信号灯之外，还有绿黄、两绿、两黄等轨旁组合信号灯类型 10。两者都能识别出单一颜色信号灯，但没有对轨旁组合信号灯的有效识别展开研究。为此，本文将对轨道交通中组合信号灯进行系统的研究，提出一种定位和识别轨旁组合信号灯的方法。该方法根据组合信号灯的颜色和形状特征，采用颜色分割、形态学处理、霍夫变换等手段提取组合信号灯的候选区域。同时利用组合信号灯位于当前轨道右侧的位置特征以及组合信号灯之间圆心距的距离特征，定位其位置并识别组合灯颜色。在准确识别图像中信号灯的同时，解决了场景中出现组合信号灯的识别问题。1轨旁组合信号灯候选区域提取随着列车不断向前行进，组合信号灯在图像中的位置也在发生变化。例如，图1(a)中在近距离时，信号灯处于图像的右上部分;图1(b)中在远距离时，信号灯处于图像的中心部分。因此，为了准确识别轨旁组合信号灯，避免漏检，本文将对整幅图像进行分析处理。(a)(b)图 1 轨旁组合信号灯图像(a)白天(b)夜间Figure 1 The image of trackside combined signal light(a)Daytime(b)Night1 1颜色分割为了提取轨旁组合信号灯的候选区域，本文利用组合信号灯的颜色特征进行颜色分割来消除一些与研究对象无关的背景噪声。对轨旁组合信号灯进行颜色分割，首先要选择合适的颜色空间。目前，在颜色分割领域内，常用的颜色空间11 主要有 GB、Lab、HIS 以及 HSV 这 4 种。相比其他 3 种颜色空间而言，HSV 颜色空间能够直观地表达出色彩的明暗、色调以及鲜艳程度，并且其各颜色分量分布最为均匀。因此针对复杂背景环境下的组合信号灯图像，本文采用 HSV 颜色空间进行颜色分割12。由于采集的图像基于 GB 颜色空间模型，因此在颜色分割前，需要通过式(1)式(3)实现 GB 颜色空间到 HSV 颜色空间的转换。H=0，if max=min60 G Bmax min+0，if max=and G B60 G Bmax min+360，if max=and G B60 B max min+120，if max=G60 Gmax min+240，if max=B(1)S=0，if max=0max minmax=1 minmax，otherwise(2)V=max(3)针对信号灯基本色中的红、绿、黄 3 种颜色，经9Electronic Science and Technology郭齐成，等:基于图像处理的轨旁组合信号灯识别方法https:/过颜色空间转换后，本文实验环境下 GB 和 HSV颜色空间中各分量 阀 值 范 围 设 置 如 表 1 和 表 2所示。表 1、G、B 3 分量的阀值范围Table 1 Threshold ranges for，G，BGBed 210，255 0，90 0，100Green 0，60 200，255 100，180Yellow 200，255 200，255 50，120表 2 H、S、V 3 分量的阀值范围Table 2 Threshold ranges for H，S，VGBed 0，30 300，360 0，70 0，90Green 150，180 0，70 0，90Yellow 80，140 0，70 0，90采用表 2 中 HSV 各分量阀值对原图像进行颜色分割，将满足条件的颜色像素点设置为白色，不满足的设置为黑色。颜色分割效果如图 2 所示。(a)(b)图 2 颜色分割效果图(a)白天(b)夜间Figure 2 The effect image of color segmentation(a)Daytime(b)Night1 2形态学处理经过颜色分割后，本文得到了原图像的二值图像13。但由于受到背景色干扰、光照强度变化等因素的影响，二值图像中还存在不同程度的背景噪声，导致二值图像中存在一些分散的小白点和位于白斑中间的黑洞。为了消除这些背景噪声、有效提取轨旁组合信号灯的边缘，本文采用形态学操作解决二值图像中存在的背景噪声问题14。先腐蚀二值图像中的白色高亮部分，消除存在的一些小白点，再膨胀二值图像中的白色高亮部分，填补白斑中间的黑色区域，使得图像中的白色圆形区域更加饱满，便于后续的霍夫圆检测。其中，腐蚀和膨胀操作使用的是大小为 5 5 的卷积核。形态学处理后的效果图如图 3 所示。(a)(b)图 3 形态学处理效果图(a)白天(b)夜间Figure 3 The effect image of morphological processing(a)Daytime(b)Night1 3霍夫圆检测经过颜色分割和形态学处理后，在二值图像中信号灯呈现的形状为白色圆形。本文根据该形状特征，使用基于霍夫梯度法的霍夫圆变换检测图像中全部的白色圆形区域，即信号灯的候选区域15 16。其中霍夫圆变换检测的参数设置如下:方法采用 CV_HOUGH_GADIENT，累加器图像的分辨率与输入图像之比的倒数为 1，圆心之间的最小距离为 3，Canny 边缘检测01郭齐成，等:基于图像处理的轨旁组合信号灯识别方法Electronic Science and Technologyhttps:/算子的高阀值为 100，检测阶段圆心的累加器阀值为10，圆半径的最小值和最大值为 5 和 10。霍夫圆检测效果图如图 4 所示。(a)(b)图 4 霍夫圆检测效果图(图中白色圆圈为霍夫圆的输出)(a)白天(b)夜间Figure 4 The effect image of Hough circle detection(the white circle is the output of Hough circle)(a)Daytime(b)Night2轨旁组合信号灯定位与识别轨旁组合信号灯的定位与识别主要利用当前轨道与组合信号灯的位置关系，以及轨旁信号机内部组合信号灯圆心距的大小关系来实现。2 1轨道线提取在城市轨道交通系统中，站台及道岔处通常会存在多条轨道，每条轨道上都会设置各自的轨旁组合信号灯来引导本轨道上的列车运行。为了保障当前轨道上列车的行车安全，有必要排除邻线轨道上的信号灯干扰，识别当前轨道上的轨旁组合信号灯。考虑到信号灯位于当前轨道右侧的位置特征关系，本文以右轨道作为参考线来排除邻线轨道上的信号灯干扰。(a)(b)(c)(d)图 5 边缘检测效果图(a)Log 算子(b)Canny 算子(c)Laplacian 算子(d)Sobel 算子Figure 5 The effect image of edge detection(a)Log(b)Canny(c)Laplacian(d)Sobel11Electronic Science and Technology郭齐成，等:基于图像处理的轨旁组合信号灯识别方法https:/在使用霍夫线变换检测轨道线之前，首先要对图像进行边缘检测的处理。本文实验对比了 4 种常用的边缘检测算子。从图 5 中可以发现，Log 算子抗噪能力较差，检测到的轨道边缘不明显且不连续;Canny 算子对光源噪声较敏感，且阀值为自定义阀值，导致轨道线边缘检测较不稳定;Laplacian 算子较难分辨出轨道清晰的边缘，通常用于边缘定位;Sobel 算子对噪声具有平滑作用，相比其他 3 种边缘检测提取效果而言，其提取出的轨道边缘更为清晰且连续。因此，本文选用 Sobel 算子对图像进行边缘检测，利用霍夫线变换检测轨道线17 18。在 1 435 mm 的标准轨间距下，图像中右轨的方向角在 85o，65o，且轨道线段长度最大，通过设置相应的斜率和线段长度提取出右轨道线。具体过程如图 6 所示。(a)(b)图 6 轨道线的提取(a)霍夫直线效果图(b)定位右轨道线Figure 6 The extraction of track line(a)Effect image of Hough line(b)Locate right rail2 2组合信号灯定位组合信号灯定位方法如图 7 所示。(a)(b)图 7 组合信号灯的定位(a)单个灯情况(b)多个灯情况Figure 7 The location of combined light(a)Single light(b)Multiple lights步骤 1计算各信号灯与右轨道之间的距离。通过霍夫圆变换，获得轨旁信号灯候选圆形区域的坐标和半径。假设图中存在 3 个轨旁信号灯的候选区域，即3 个信号灯圆心点坐标分别为 A(x1，y1)、B(x2，y2)、C(x3，y3)。利用轨道线提取获得的右轨曲线函数 y=f(x)，分别计算出在信号灯对应纵坐标 yi下曲线 y=f(x)中的横坐标 xFi，即信号灯与右轨道在同一水平线的焦点坐标F为(xFi，yFi)，其中yFi=yi。再分别计算各信号灯与在同一水平线上轨道焦点的距离 di=xixFi，其中 i=1，2，3。步骤 2定位基准信号灯。由于信号灯位于轨道的右侧，首先过滤掉 di 0 的信号灯;然后在剩余的信号灯中选择距离右轨道最近的信号灯，即选取 di最小的信号灯，并以此为基准信号灯。步骤 3定位轨旁信号组合灯。计算剩余信号灯与基准信号灯的圆心距 d，若 d Dmax，则保留下来，否21郭齐成，等:基于图像处理的轨旁组合信号灯识别方法Electronic Science and Technologyhttps:/则过滤掉;最后，保留下来的信号灯即为当前轨道的轨旁组合信号灯。其中，Dmax为组合灯的最大圆心距，实验验证其值为基准信号灯半径的 6 倍。2 3组合信号灯颜色识别经过上述处理后，获得了轨旁信号组合灯在图像中的准确位置。通过对轨旁组合信号灯区域内像素值的统计分析，可以准确识别出轨旁组合信号灯的颜色，进而正确引导列车安全运行。在统计分析的过程中，利用信号灯颜色的 GB 值(如表 1 所示)计算出每个信号灯区域拥有像素点最多的一种颜色，进而判断出轨旁信号机内显示的组合信号灯的颜色类型，从而引导列车安全运行。(a)(b)(c)(d)图 8 轨旁组合信号灯识别结果(a)白天绿黄灯识别效果图(b)夜间单红灯识别效果图(c)白天双绿灯识别效果图(d)夜间单绿灯识别效果图Figure 8 ecognition results of trackside combined signal light(a)Daytime green and yellow light recognition effect image(b)Night single red light recognition effect image(c)Daytime double green light recognition effect image(d)Night single green light recognition effect image图 8 中各组合信号灯的含义如下:图 8(a)表示准许列车由车站出发，表示运行前方有两个闭塞分区空闲;图 8(b)表示不准列车越过该信号机;图 8(c)表示准许列车由车站出发，开往半自动闭塞区间;图 8(d)表示准许列车由车站出发，表示运行前方至少有 3 个闭塞分区空闲。3实验结果3 1实验准备为了验证本文方法的可行性和准确性，实验采集了上海轨道交通地铁 11 号线嘉定南路站的夜间信号机图像数据、上海同济大学轨道交通试验线的日间信号机图像数据作为实验数据集，图像大小为 1 800 1 200，分辨率为 72 dpi。数据集共有 190 幅不同距离和光照环境下的轨旁组合信号灯图像，单一信号灯占比为 47%，组合信号灯占比为 53%。实验的软件平台为 Visual Studio 2010 旗舰版，硬件为 PC(配置:Intel()Core(TM)i5 6300HQ CPU 2 30 GHz，内存为16 00 GB，64 位 Windows10 操作系统)，结合 C+开发语 言 和 OpenCV 计 算 机 视 觉 库 实 现 本 文 的方法19 21。3 2实验验证与分析实验结果如表 3 所示。由表 3 可以看出，一红、一31Electronic Science and Technology郭齐成，等:基于图像处理的轨旁组合信号灯识别方法https:/绿、两绿、一绿一黄这 4 种组合信号灯的识别效果较好，一黄、两黄两种组合信号灯的识别效果较差。轨旁组合信号灯的候选区域主要通过颜色分割和形态学处理获取，在颜色分割时，绿色和红色信号灯受周围环境背景色的干扰比较小，分割效果比较好，提取的信号灯候选区域也比较完整;黄色信号灯受站台照明黄色灯光的影响较大，提取的信号灯候选区域不够完整，因此黄灯的识别效果不佳。此外，由于形态学腐蚀膨胀的不规则性，导致霍夫圆检测定位信号灯的位置出现细微偏差，影响 Dmax的大小，进而在识别组合信号灯时，原本圆心距在 Dmax范围内的组合信号灯因 Dmax过大而被漏检，从而导致两黄的组合灯识别效果不佳。表 3 轨旁组合信号灯识别结果Table 3 ecognition results of trackside combined signal light样本总数正确识别总数错误识别总数识别正确率/%一红302829334一绿353239142一黄252238812绿黄353329428两绿353419621两黄302648667文献 8 使用卷积神经网络识别信号灯需要消耗13 83 s，本文采用图像处理的方法耗时仅为 0 73 s，速度更快。一方面是因为本文采用 OpenCV 的底层语言C+进行编写;另一方面是由于本文的方法更为精简，无需大量训练过程即可实现轨旁组合信号灯的识别。另外，在轨道两侧出现多个轨旁信号组合灯时，文献 8 无法识别出当前轨道的轨旁信号组合灯，但本文的方法可以准确识别出当前轨道的轨旁信号组合灯。如图 6(b)所示，本文方法在检测出所有信号灯候选区域的同时，还能利用右轨道线作为参考，排除邻线信号灯的干扰，准确识别当前轨道的轨旁组合信号灯。为了进一步保障列车的行车安全，在本文基础上还可以集成更多的功能，例如可以将识别结果集成到机车制动系统控制，减少人为操作失误的影响。4结束语本文提出了一种基于图像处理技术，能够有效识别 150 m 内的轨旁组合信号灯的方法，并通过实验验证了该方法的可行性。该方法将轨旁组合信号灯的颜色、形状特征与轨道的位置特征相结合，实现了轨旁组合信号灯的准确识别，进一步保障了列车的行车安全。但该方法仍存在一些不足，例如对整幅图像进行处理，计算量偏大;另外在恶劣天气环境下，轨旁组合信号灯的识别效果不佳。后续可以选取合理的感兴趣区域减少计算量，以及优化该方法来提升恶劣环境下的识别效果。参考文献 1 刘伯鸿，李国宁 城市轨道交通信号 M 成都:西南交通大学出版社，2011:25 68Liu Bohong，Li Guoning Urban rail transit signal M Chengdu:Southwest Jiaotong University Press，2011:25 68 2 刘爱民 机车信号的故障分析与处理 J 中国新技术新产品，2018(10):91 92Liu Aimin Fault analysis and processing of locomotive signal J China New Technology and New Products，2018(10):91 92 3 甘赟 图像处理技术的创新应用探索 J 信息记录材料，2021，22(8):233 235Gan Yun Exploration on innovative application of image pro-cessing technologyJ Materials for Information ecord，2021，22(8):233 235 4De Charette，Nashashibi F eal time visual traffic lightsrecognition based on spot light detection and adaptive trafficlights templates C Xian:Proceedings of the IEEE Intelli-gent Vehicles Symposium，2009:358 363 5Omachi M，Omachi S Detection of traffic light using structuralinformation C Beijing:Proceedings of the IEEE Tenth Inter-national Conference on Signal Processing，2010:809 812 6Zhu X Y，Zhao C H，Qi X Z，et al ecognition of trafficlights in urban traffic scenes using color space modelC Shanghai:Proceedings of the International Conference on Im-age and Video Processing，and Artificial Intelligence，2018:1 6 7Lee E，Kim D Accurate traffic light detection using deepneural network with focal regression loss J Image and Vi-sion Computing，2019，87(7):24 36 8Beinarovica A，Gorobetz M，Alps I Algorithms for railwayembedded control devices for safety manoeuvresJ Elec-trical，Control and Communication Engineering，2020，16(2):95 101 9 张焕增，李茂强，刘英杰 基于视觉的轨道交通信号灯识别算法研究 J 电子制作，2020，20(18):53 55Zhang Huanzeng，Li Maoqiang，Liu Yingjie esearch on railtransit signal recognition algorithm based on vision J Prac-tical Electronics，2020，20(18):53 55 10 中国铁路总公司 铁路技术管理规程M 北京:中国铁道出版社，2014:12 35China ailway Corporation ailway technical managementregulationsM Beijing:China ailway Publishing House，2014:12 3541郭齐成，等:基于图像处理的轨旁组合信号灯识别方法Electronic Science and Technologyhttps:/ 11 巨志勇，翟春宇，张文馨 基于 SVM 与区域生长的彩色商品标签图像分割方法 J 电子科技，2021，34(10):69 74Ju Zhiyong，Zhai Chunyu，Zhang Wenxin Color commoditylabel image segmentation method based on SVM and regiongrowthJ Electronic Science and Technology，2021，34(10):69 74 12 张坤，李珊珊，王晓红，等 基于机器视觉的铁路信号灯检测技术 J 河北工业科技，2019，36(2):115 121Zhang Kun，Li Shanshan，Wang Xiaohong，et al Detectiontechnology of railway signal lamp based on machine visionJ Hebei Journal of Industrial Science and Technology，2019，36(2):115 121 13 马永杰，陈振宇，马芸婷 基于自适应阈值投影的双行车牌分割方法 J 计算机工程与科学，2020，42(9):1616 1624Ma Yongjie，Chen Zhenyu，Ma Yunting A double row licenseplate segmentation method based on adaptive threshold pro-jectionJ Computer Engineering and Science，2020，42(9):1616 1624 14 胡晨，胡德敏，胡钰媛，等 一种改进的图像阴影去除方法 J 电子科技，2021，34(4):41 46Hu Chen，Hu Demin，Hu Yuyuan，et al An improved imageshadow removal method J Electronic Science and Technol-ogy，2021，34(4):41 46 15 傅迎华，王雅静，付东翔，等 多算法融合的视盘分割方法 J 小型微型计算机系统，2019，40(12):2681 2685Fu Yinghua，Wang Yajing，Fu Dongxiang，et al Multi algo-rithm fusion method of optic disc segmentation J Journal ofChinese Computer Systems，2019，40(12):2681 2685 16 Widyantoro D H，Saputra K I Traffic lights detection and recog-nition based on color segmentation and circle hough transform C Yogyakarta:Proceedings of the International Conference onData and Software Engineering，2015:237 240 17 董昱，郭碧 基于 Hu 不变矩特征的铁路轨道识别检测算法 J 铁道学报，2018，40(10):64 70Dong Yu，Guo Bi ailway track detection algorithm based onHu invariant moment feature J Journal of the China ail-way Society，2018，40(10):64 70 18 郭碧，董昱 基于分段曲线模型的铁路轨道检测算法 J 铁道科学与工程学报，2017，14(2):355 363Guo Bi，Dong Yu ailway track detection algorithm based onpiecewise curve modelJ Journal of ailway Science andEngineering，2017，14(2):355 363 19 刘培军，马明栋，王得玉 基于 OpenCV 图像处理系统的开发与实现 J 计算机技术与发展，2019，29(3):127 131Liu Peijun，Ma Mingdong，Wang Deyu Development and im-plementation of OpenCV based image processing system J Computer Technology and Development，2019，29(3):127 131 20 毛星云，冷雪飞 OpenCV3 编程入门 M 北京:电子工业出版社，2015:26 59Mao Xingyun，Leng Xuefei OpenCV3 programming primerM Beijing:Publishing House of Electronics Industry，2015:26 59 21 李珊珊 基于机器视觉的铁路信号灯检测与识别技术的研究 D 石家庄:河北科技大学，2019:7 55Li Shanshan esearch on detection and recognition technolo-gy of railway signal light based on machine vision D Shiji-azhuang:Hebei University of Science and Technology，2019:7 55欢迎订阅Electronic Science and Technology邮发代号:52 246投稿网址:https:/