基于热图感知的复杂场景港口箱号检测算法.pdf

年 无线电工程 第 卷 第 期：引用格式：游索，陈平平，林键辉，等基于热图感知的复杂场景港口箱号检测算法无线电工程，（）：，（）：基于热图感知的复杂场景港口箱号检测算法游索，陈平平，林键辉，黄胜秋，涂桥桥（福州大学 先进制造学院，福建 泉州；华辉建工集团有限公司，福建 福州；福建省顺天亿建设有限公司，福建 龙岩；福建领航园林工程有限公司，福建 厦门）摘要：受自然场景下光照、遮挡和多方向多尺度等情况的影响，港口场景下集装箱号码的精准检测仍然面临着巨大的挑战。为解决箱号检测中多余背景和干扰字符问题，根据集装箱号文本字符的结构规律，设计了一个基于热图感知的像素级箱号检测架构。通过融合的轻量级初定位网络获取目标箱号预选区域，构建基于的像素级字符区域自适应网络，从预选区域中精准提取箱号感兴趣区域。基于实际数据集的结果表明，所提算法能够达到 的箱号定位准确率，并能达到帧秒的实时性，满足实际的场景需求。关键词：热图感知；箱号检测；中图分类号：文献标志码：开放科学（资源服务）标识码（）：文 章 编 号：（），（，；，；，；，）：，：；收稿日期：引言随着文字识别场景的日益复杂，对自然场景下文字识别的需求也愈发强烈。场景文字识别（，）成为研究热点，它是的子问题，主要任务是将自然场景中的文字提取出来并转化成字符形式。相较于传统技术，具有更多的挑战，例如字体多样性、多尺度、任意形状、光照、背景和模糊等。虽然近年来深度学习在中的应用有效解决了上述问题，但针对特定的应用场景，这些通用的专题：面向智慧城市的通信技术研究 算法无法很好地解决文本识别问题。本文面向集装箱运输及管理的自动化和智能化需求，旨在设计一个高效的集装箱箱号的文字检测算法。为了构建更加精准、高效的检测网络，基于已有的文本检测和识别研究，同时利用集装箱箱号空间排布和字符分布等特征，创新性地提出了一种基于热图感知的集装箱箱号检测识别算法，能够在箱号倾斜、字符不清晰等背景复杂的港口集装箱图像中精准地检测图像中的箱号，解决了该场景下的算法难点和应用的技术瓶颈。首先，设计了融合卷积块注意力机制（，）的轻量级网络对箱号框进行初定位，充分利用初定位网络高效地检测出矩形箱号框；接着提出像素级字符区域自适应网络（，），用于初定位箱号优化，利用基于自适应网络得到图像的字符级别热图，通过最小二乘法算法结合图像形态学处理方法，得到精准的任意方向箱号区域。实验结果表明，能够达到 的箱号定位准确率，满足实际应用的实时性，为集装箱箱号的精准检测提供了新思路。相关工作集装箱箱号的检测总体可分为传统方法和基于深度学习的方法，其中常用的传统箱号检测方法有基于数学形态学、基于边缘特征和基于最大稳定极值区域（，）。王炎等提出了一种基于数学形态学的箱号定位方法，利用膨胀、腐蚀等基本运算处理图像，通过改进形态学结构元素对箱号进行定位。黄深广等提出基于字符边缘特征的定位方法，利用字符的边缘特征信息对集装箱号进行定位。王冬云等提出了一种基于导向滤波和自适应的图像边缘检测算法细化图像边缘。沈寒蕾等利用一种最大稳定极值区域的方法，通过灰度化的方法得到图像最大稳定极值区域，再进行后处理，完成对集装箱号定位。上述传统的图像学处理方法对背景较复杂的图像进行检测有一定的局限性，且检测速度相对较低。随着深度学习的快速发展，基于深度学习的目标检测算法无论是在检测精度还是在速度上都有着出色的效果。利用卷积神经网络提取图像特征用于分类问题，比较经典的目标检测网络有、等。年，等提出了目标检测算法，用深度神经网络进行图像特征提取，用回归的思想做分类问题，有着较高的检测速度和准确率。崔循将用于集装箱箱号的检测；刘岑等通过修改网络，将输入改为单通道，都有着较好于传统方法的检测效果。在集装箱箱号的检测中，无论是传统图像处理方法，还是深度学习，在解决箱号的初定位之后，由于实地检测时拍摄角度或者集装箱停靠方向的不确定，都不可避免地要对初定位区域的箱号字符进行倾斜校正处理，达到最佳的检测效果，以满足后续识别的要求。常用的倾斜校正方法有基于投影分析法、基于分块质心法、基于变换法和基于最小外接矩形法。以上方法对长串字符的倾斜校正都依赖于单个字符在图像中的具体位置，位置的获取基本上是通过图像二值化获得字符所在的连通区域来实现。然而在实际的箱号检测中，用图像二值化获取字符位置的方法鲁棒性能较差。因为在实地拍摄时，很容易遇到光线不均的问题，运用二值化时强光或者背光的区域会被当成字符。此外，在初定位的箱号区域内，除了目标字符外，还有距离目标字符非常近的干扰字符，当初定位框比较大时，其他位置的字符，如公司、箱型尺寸等文本信息也会框进来，进而影响倾斜校正的结果。主要方法 网络结构本文设计了一种由融合的轻量级初定位网络和模块组成的箱号检测网络，如图所示。对于采集的箱号文本图像，首先由箱号初定位网络输出该文本的初定位矩形框。但是该阶段输出的箱号框往往会出现多框、漏框及框不准等情况，需对候选框进行优化。为了解决这些问题，进一步提出了，通过挖掘箱号字符热图信息，引入最小二乘算法，最终得到优化后的四边形箱号框。图系统流程 专题：面向智慧城市的通信技术研究 年 无线电工程 第 卷 第 期 融合的轻量级网络为了提高箱号初定位阶段的算法实时性，采用作为网络主干，以特征金字塔结构（，）为基础，加入注意力模块来平衡检测速度和精度。设计的融合的轻量级网络，主干输出个尺度的箱号文本特征图，图像尺寸分别为 、。然后通过，将箱号特征图进行多尺度特征融合。接着将融合得到的个特征图输入到注意力机制模块。通过卷积进行特征图的平滑处理，得到通道数为的种不同尺度箱号特征图。最后通过网络的检测头以及非极大值抑制，得到箱号框。融合的网络结构如图所示。图融合的轻量级的箱号初定位网络 模块针对箱号字符呈直线排布的规律，提出了，如图所示。具体而言，设计了一个基于的字符热图生成网络，预测图像中每一个字符热图信息，并利用热图非刚性边界真值区的域像素值大小关系，获取字符中心点的位置，然后对中心点进行直线拟合，得到拟合直线与目标箱号字符所在像素组成的连通域，并将此区域作为最终目标箱号区域。图 字符热图生成网络字符热图生成网络的目标是精确定位自然图像中的每个字符区域，以更好地找到字符的中心点。为此，本 文 训 练 的 数 据 集 采 用 合 成 文 本（）数据集，获取图像中每一个文本的热图标签再进行训练。在中，利用基于的字符热图生成网络，生成单字符热图。将 作为主干网络，分别得到原图、大小的特征图、。这些特征图通过结构融合得到特征图、：（）（），（）专题：面向智慧城市的通信技术研究 （）（），（）（）（），（）式中：（）表示激活函数，（）表示标准化，（）表示卷积核为的卷积层，（）为倍上采样层。特征图、经过卷积平滑操作和上采样，得到相同尺寸的维特征图，只进行卷积平滑操作。然后将，通道连接在一起得到通道数为的特征图：（，）。（）此时特征图已经具有了高层和底层相融合的丰富语义信息，然后将输入卷积预测头得到字符级别热图。字符热图生成网络整体结构如图所示。图字符热图生成网络 基于最小二乘法的箱号精准定位算法由字符热图生成网络输出的文本区域，每个像素值的大小能够反映其对应文本中心坐标的概率大小，其中字符中心坐标像素的值大于等于其四周像素值。为了对箱号直线区域进行拟合，本文设计像素遍历算法，利用字符热图生成网络输出的热图，将初定位预选框内每一个字符的中心点标记出来，如图所示。图字符中心点示例 上述过程充分利用了文本热图区域分数据，得到了字符中心点的坐标。为了能将初定位网络输出的预选框内呈直线排布的字符连接在一起，满足最后连通域选取箱号区域的要求，采取最小二乘法拟合的方法。设直线方程，根据最小二乘法的原理，拟合出来的直线与输入的每一个点的距离平方和最小，其目标函数为：（）。（）当最小时，对目标函数求偏导，参数、满足：，。（）可得方程组：。（）解上述方程组得到、的值，即得到拟合的直线。箱号精准定位过程示例如图所示，其中矩形框为初定位网络输出的检测框。通过最小二乘法拟合直线后，在图（）即文本区域分图像内，将直线所在的像素点设置为，然后对该图进行图像二值化处理，接着通过连通域法，将直线所在的连通域选取出来，连通域采取邻接规则。最后通过最小外接矩形算法，得到目标连通区域的最小外接矩形个顶点的坐标，即为最后箱号精准定位的结果。专题：面向智慧城市的通信技术研究 年 无线电工程 第 卷 第 期 图箱号精准定位过程示例 在实际的集装箱号检测中，字符方向的直线拟合往往会受到干扰字符的影响，特别是检测倾斜横排集装箱号，初定位网络可能会框到多余的干扰字符。为拟合目标字符方向上的最佳直线、消除目标外字符的干扰，本文采取二次拟合的方案。具体方法为：在第一次拟合后，分别计算每一个参与拟合的点到拟合直线的距离，得到距离最小的个像素点后再次拟合（若初定位网络输出矩形框内中心坐标点，则不进行二次拟合）。图为拟合一次与二次拟合过程效果对比的一个示例，图（）的矩形框为初定位网络检测矩形框，其中上排为一次拟合，下排为二次拟合。通过实际的检测统计，二次拟合相比只拟合一次，可取得更好的直线拟合效果，获得更加精准的箱号检测效果。图一次拟合与二次拟合对比 实验结果分析 实验数据集本文实验实测样本均采集于福建江阴港口，来源于人工多角度随机拍摄和摄像头定点拍摄的 张照片。所测试样本包含了昼、夜样本，分辨率为 ，排列方式有横排和竖排种，且包含了不同的集装箱箱型、光照条件、倾斜角度、不同箱号大小以及不同的自然环境下的样本，每一张图片有箱号目标数量 个不等，共 个箱号个体。实验环境本次测试的实验硬件环境为 ，内存 ，为，软件环境为 操作系统，使用编译工具。实验结果分析为测试箱号初定位融合的轻量级网络的表现，在现有数据集基础上，本文网络同经典目标检测算法进行对比实验，并选用平均精准度均值（）和平均定位速度作为评价指标来衡量不同算法的综合性能。箱号初定位与其他算法对比结果如表所示。由表可以看出，融合的轻量级网络在和平均定位速度个指标上都比和 高，达到了、速度达到了 帧秒；尽管精度略逊色于，但是在速度上与之相比提高了 帧秒，可见本文初定位网络在保证检测速度的同时，确保了初定位基本的精度要求。表不同算法初定位准确率和速度对比 方法 平均定位速度（帧秒）本文方法 为了验证本文提出的箱号检测算法及整体识别算法性能，其中检测部分与、文献的基于最大稳定极值区域（）和连通域分析方法进行对比。对于定位准确率的计算，本文对目标箱号区域做了四边形的标注，当预测框与四边形标注框的交并比值大于 时，认为定位成功。定位准确率为定位成功数与箱号框总数的比值，具体实验结果如表所示。专题：面向智慧城市的通信技术研究 表不同算法定位准确率和速度对比 方法定位准确率 平均定位速度（帧秒）文献 本文方法 由表可以看出，本文的定位准确率相比、和文献都高，高达，说明本文定位算法具有较好的自适应能力。原因在于本文采用基于热图感知的精确后处理方法，能够输出任意方向的矩形框，可以有效排除箱号倾斜下非箱号区域字符的干扰。而、和 只能输出平行于图像边界的矩形框，即使检测框能够覆盖所有箱号区域，却因为检测过多的背景和干扰字符而导致定位失败；而文献采用方法对于不同倾斜且多光照背景下箱号定位容易失败。从平均速度来看，由于加入了热图感知优化部分导致速度有一定程度的下降，但是本文算法满足实际应用中的实时性要求，箱号检测结果展示如图所示。图本文箱号检测结果展示 结束语本文提出了一种热图感知的集装箱箱号检测识别算法，利用融合的轻量级网络高效地检测出矩形箱号框，同时结合利用图像中字符的热图以及图像形态学处理方法，得到精准的任意方向箱号区域。实验结果表明，相比目前主流的文本识别算法有着明显的精度提升，并且鲁棒性好、检测速度高，可满足实际场景的应用需求。此外，将进一步考虑实现端到端的箱号检测识别算法，从而优化在实际项目中的部署。?参考文献王润民，桑农，丁丁，等自然场景图像中的文本检测综述自动化学报，（）：，：（）：，：，：，：（）：王炎，贺俊吉基于数学形态学的集装箱箱号快速定位算法计算机工程与设计，（）：黄深广，翁茂楠，史俞，等基于计算机视觉的集装箱箱号识别港口装卸，（）：王冬云，唐楚，鄂世举，等基于导向滤波和自适应的图像边缘检测光学精密工程，（）：沈寒蕾，徐婕，邹斌基于的集装箱号低秩矫正研究工程数学学报，（）：，：（）：，：，：，：（）：，：，：，（）：，：崔循基于深度学习的集装箱箱号自动识别长春：长春理工大学，：（）：专题：面向智慧城市的通信技术研究 年 无线电工程 第 卷 第 期 刘岑，郭立君，张荣，等改进算法在集装箱箱号定位中的应用传感器与微系统，（）：王炎，贺俊吉基于投影分析的集装箱箱号倾斜校正方法计算机仿真，（）：田原?，姚萌萌，高国栋港口集装箱号图像倾斜校正识别仿真计算机仿真，（）：胡婷基于神经网络的集装箱字符识别的研究武汉：武汉理工大学，张起坤，陈亮东基于外接矩形的集装箱字符矫正算法山东工业技术，（）：，（）：，：，：（）：，（）：，：作者简介游索男，（），硕士研究生。主要研究方向：计算机视觉、场景文本识别。（通信作者）陈平平男，（），博士，教授，博士生导师，福州大学“旗山学者”。主要研究方向：机器学习、通信、智能信息等数据传输分析及应用。主持国家自然科学面上基金、青年基金；发表 学术论文多篇；担任多个国际权威通信会议组委会成员，年通信会议分会组委会主席。林键辉男，（），工程师。主要研究方向：智慧工地信息化。黄胜秋男，（），工程师。主要研究方向：智慧工地信息化。涂桥桥男，（），工程师。主要研究方向：园林图像处理。专题：面向智慧城市的通信技术研究