基于概率神经网络的电力设备铭牌文本识别_杨丽.pdf

收稿日期:2022 08 29基金项目:平顶山学院青年基金(PXY QNJJ 2019007)作者简介:杨丽(1987)，女，河南省驻马店市人，工学硕士，平顶山学院电气与机械工程学院实验师，主要从事智能控制研究基于概率神经网络的电力设备铭牌文本识别杨丽，张硕，薛亚许，杨光(平顶山学院 电气与机械工程学院，河南 平顶山 467036)摘要:针对电力设备入库统计管理存在的问题，提出一种基于概率神经网络的电力设备铭牌文本识别方法 根据 Prewitt 边缘检测算子、逻辑运算、文本列方向灰度值累计值，实现铭牌文本的字符分割;利用字符灰度矩阵和 LBP 直方图统计，对字符进行多特征综合提取;设计概率神经网络(PNN)模型，对分割后的字符图像进行批量训练和测试，并与 BF 网络模型作对比 结果表明:当扩散速度 Spread 取 0 1 时，加噪、不加噪图像训练的结果均为最优;PNN 模型在训练时间、正确率方面均具有较明显的优势关键词:电力设备;文本识别;字符分割;概率神经网络中图分类号:TP391 413文献标识码:A文章编号:1673 1670(2023)02 0017 050引言用电规模的扩张及用电结构的多元化导致越来越多的电力设备投入生产运行1 2，电力设备的验收、入库、维护、检修等管理工作变得越来越复杂 通常是采用现场读取或拍照记录设备铭牌的相关参数，再通过办公软件绘制表格，工作效率较低，同时需要较多人力 对于一些电压等级高、辐射量大等工作环境较为复杂的场合，现场记录铭牌参数的风险大大提高 铭牌参数的自动识别已经变得越来越重要，铭牌参数通常是由数字、中英文字符、特殊字符等文本组成 文献 3 4根据电力设备铭牌文本的特点，将文本分为可变区域和不可变区域，对于可变区域，采用 Keras 深度学习理论搭建残差网络模型，识别率高达 98%，但是仅限于已知类别的电气铭牌;对于不可变区域，采用建立模板数据库进行分类识别，但是同样仅限于已知类别的电气铭牌 文献 5将文本看作一个序列，同样是利用深度学习方法对文本进行端到端识别6，可以根据铭牌文本的定位获取设备参数，但是当出现大量字母和特殊字符或多行文本时，识别效果不够理想 文献 7 利用支持向量机对提取的字符的小波能量和边缘方向直方图的特征进行最优排列，达到识别目的，但是对于特殊字符的识别没有提及也有文献利用形状上下文8 9 算法来描述字符特征，并取得较好效果针对现有电力设备铭牌文本识别研究存在的问题，提出一种基于概率神经网络的电力设备铭牌文本识别方法 首先获得电力设备铭牌图像文本字符特征数据，利用概率神经网络进行建模，并通过所建模型对提取到的特征进行训练、测试1获取实验数据以电力设备铭牌作为研究对象，主要选取的设备有变压器、互感器、断路器、配电箱、控制柜 根据铭牌文本的复杂程度分为有特殊字符和无特殊字符两大类 针对不同的铭牌图片，获取铭牌文本特征数据，如图 1 所示图 1铭牌文本特征数据获取流程1 1图像预处理采用相机对电力设备铭牌进行图像采集，采集到的图像为三维彩色图像 在图像采集时，光线充足，并未出现反光、黑影的现象为减少图像处理过程中内存占用，加快图像预处理，需对采集到的图像进行灰度化处理 根据人眼对不同波长的敏感度，采用加权平均值进行灰度第 38 卷第 2 期2023 年 4 月平顶山学院学报Journal of Pingdingshan UniversityVol 38 No 2Apr 2023化，如式(1)所示 灰度化后的图像如图 2 所示，如果某些细节模糊失真，则需进行图像平滑处理gray=0 29 +0 587 G+0 114 B(1)图 2灰度化1 2二值化对于灰度图像，灰度范围为 0，255，为更直观地分析铭牌文本字符的特征，以区别背景与文字，需对其进行二值化处理，即选取一个合适的阈值，将灰度小于该阈值的置为 0，不小于该阈值的置为 1，这样就出现非黑即白的图像 使用最大类间方差法(Otsu)选取合适的阈值，对高压金属封闭环网开关设备的铭牌图像进行二值化处理，结果如图 3 所示图 3二值化由图 3 可知，部分铭牌信息出现丢失的情况，为获取较完整的文本信息，需对图 2 灰度化图像进行边缘检测 分别采用 oberts、Sobel、Prewitt、Can-ny 等常用的边缘检测算子对灰度化图像进行检测，发现当采用同一阈值 0 08 时，Prewitt 边缘检测算子在字符完整性和细节性方面检测到的结果较好，故选用 Prewitt 作为边缘检测算子，检测的结果如图 4 所示 检测到字符的边缘轮廓图像，让其与二值化图像进行逻辑“或”运算，再进行取反运算，得到如图 5 所示的处理结果图 4Prewitt 边缘检测图 5结果取反1 3字符分割为获取铭牌文本的特征，需对铭牌中的文本进行行分割和字符间分割 分别选中要分割文本区域的左上角和右下角，进行行分割 当出现参数和参数内容的背景不一致时，需分别进行分割 对图 5中的型号部分进行分割，针对分割出的型号内容背景颜色为白色，利用取反运算，使其与型号背景颜色一致，均为黑色背景，分割的结果如图 6 所示图 6行分割结果为了分割出单个字符，需对行分割的结果进行列分割，即字符间分割 每两个字符之间都有间隔，可以对行分割图像在列方向上的灰度值累计进行分析 对图 6 行分割结果分别进行列方向灰度值计算，计算结果如图 7 所示由图 6(a)可知，对于型号来说，背景颜色为黑色，包含两个字符，其对应列方向灰度值累计如图7(a)所示，被分成两个区间，第一个字符对应的区间为(0，20)，第二个字符对应的区间为(55，75)，中间一段间隔为黑色背景，列方向灰度值累计为0 由图 6(c)可知，对于型号内容来说，背景颜色为81平顶山学院学报2023 年黑色，共包含 7 个字符，其对应列方向灰度值累计如图 7(b)所示，被分成七个区间，从左到右的每个字符对应区间分别为:(0，13)，(13，22)，(22，31)，(31，40)，(40，50)，(50，58)，(58，70)图 7列方向灰度值累计值根据行分割结果包含的字符在列方向上的灰度值累计特点，当列方向灰度值累计和小于设定阈值时，默认是字符间隔，将其行分割结果进一步进行字符间分割 分割出单个字符后，将其显示到一行，如图 8 所示 其中，字符间隔位置背景颜色为白色图 8单个字符分割结果在单个字符分割过程中，由于铭牌上文本的大小不同，会出现分割后的字符大小也不同 为避免字符大小不同对后续文本识别造成影响，采用线性归一化，将单个字符全部都压缩为 32 48 的像素点阵，且要确保归一化不会对字形造成破坏1 4特征提取分割出单个字符后，在进行字符描述时，选取传统的字符灰度矩阵特征和字符的纹理特征相结合来表征一个字符 传统的字符灰度矩阵是将字符分成 n m 个小块，通过计算所有小块的灰度值来表征单个字符 这里将字符分成 8 8 个小块，根据字符的大小，共分成 64 个小块，每一小块均为 4 6 矩阵，通过计算每一小块的平均灰度值，来表征整个字符的灰度矩阵在进行字符纹理特征10 提取时，选用的是LBP 特征提取 LBP 作为一种用来描述图像局部纹理特征的方法，具有旋转不变性和灰度不变性的特点 LBP 特征提取过程如下:在 3 3 窗口内，以中心像素为阈值，与剩下的相邻 8 个像素进行对比，如果周围像素值大于该阈值，则该位置标记为 1，否则为 0 故 3 3 邻域内的 8 个点经过比较可以产生 8 位二进制数，再转化为十进制，即该窗口中心像素对应的 LBP 值共有 256 种在提取 LBP 特征时，同样是将单个字符图像分为 8 8 子区域，根据子区域内 LBP 值对其进行直方图统计 得到的单个字符的 LBP 直方图如图 9所示，其中，直方图(a)、(b)、(c)、(d)分别为字符“型”“号”“2”“H”四个字符的 LBP 特征，不同的字符对应的直方图区别较明显 每一个字符的 LBP特征图对应一个 8 8 矩阵图 9不同字符的 LBP 直方图2概率神经网络概率神经网络是在 BF 网络的基础上结合贝叶斯最小风险准则提出的，包括输入层、模式层、求和层和输出层四层网络，具体结构如图 10 所示 其中，输入层神经元个数取决于样本的特征个数，模式层神经元个数取决于输入样本的个数，求和层神经元个数取决于样本的类别数目，输出层只包含一91第 2 期杨丽，张硕，薛亚许，等:基于概率神经网络的电力设备铭牌文本识别个神经元，对应分类的类别图 10概率神经网络结构输入层:概率神经网络的输入层和模式层之间是通过高斯函数 exp(Zi1)/2 进行数据传递模式层:计算输入的新样本属于该神经元的概率，该层中第 i 类样本的第 j 个神经元输出概率ij(X)=1(2)P/2Pexp(X Xij)T(X Xij)22(2)式中:i=1，2，M;j=1，2，Li求和层:通过同类神经元概率累加并平均，计算公式为fi=Lij=1ij(X)Li(3)输出层:根据贝叶斯最小风险决策将概率数值最大的那个类别作为判定类别从输出层输出3网络模型建立3 1网络模型构造输入层:对于电力设备铭牌文本特征，从字符灰度矩阵和 LBP 直方图特征描述字符特征 选取的字符灰度矩阵特征为 A=(A0，A1，A2，A3，A4，A5，A6，A7)其中，字符的灰度矩阵根据 8 8 分块，因此，矩阵 A 中每一列是一个 8 1 矩阵 选取的 LBP直方图特征为 B=(B0，B1，B2，B3，B4，B5，B6，B7)，同样是 8 8 矩阵 两者结合，因此，每一个字符样本为 8 16 矩阵，可以用 X=(A，B)表征输入样本特征，神经元个数选为 16模式层:为方便统计数据，使数据保持一致，针对分割出来的不同字符图像，分别各选 18 个样本作为训练、测试样本，因此，模式层选取神经元个数为18求和层:对铭牌图像进行字符分割，得到 10 种数字字符，分别为“0”到“9”;得到的大写英文字符共 26 种，分别为“A”到“Z”;得到的小写字母共 4种，分别为“m”“k”“g”“z”;得到的特殊字符共 5种，分别为“”“%”“/”“*”“”;得到的中文字符较多，有 155 种 因此，共有 200 种字符 不同种类的字符作为不同的输出 因此，求和层神经元个数选为 200输出层:神经元个数为 1，是对应的类别，针对本实验，共有 200 种输出类别，可以用一组二进制进行表示3 2网络模型参数设置扩散速度 Spread 大于 0，设置的最高训练次数为 1 000，最大训练误差为 0 01，高斯激活函数选取的标准差 =0 13 3样本归一化采用最大最小归一化函数，将提取到的特征矩阵进行线性归一到范围 0，1 其中，Xmin为样本数据的最小值，Xmax为样本数据的最大值，X 为待归一化的矩阵元素，Xnorm为其对应的归一化后的值Xnorm的计算公式为Xnorm=X XminXmax Xmin(4)4实验仿真与结果分析4 1实验仿真首先，对分割出来的单个字符分别建立训练库和测试库 其中，训练库和测试库都包括 200 个不同类别的字符，训练库中相同字符各 15 个，测试库中相同字符各 3 个，分别进行编号;其次，分别提取字符的灰度矩阵和 LBP 矩阵特征，并保存;最后，通过已经设定好的概率神经网络对提取到的数据进行训练、测试 其中，概率神经网络训练、测试的流程如图 11 所示图 11概率神经网络训练、测试流程02平顶山学院学报2023 年4 2结果分析4 2 1扩散速度 Spread 对正确率的影响Spread 的范围为(0，)，为确定 Spread 取值是否会影响网络模型的训练正确率，设置不同的Spread 数值 每设定 1 次 Spread 值，分别进行 5 次直接训练和 5 次加噪训练，加噪训练是指对训练样本加入强度为 0 2 的椒盐噪声 最后，对训练结果求平均，得到如表 1 所示的结果表 1Spread 值对训练正确率的影响Spread训练时间/s训练正确率/%原图加噪0 000 10 049 2100100 0010 048 3100100 010 046 81001000 10 045 71001000 150 046 61001000 20 047 0100990 40 047 184820 80 047 6616010 048 75655100 048 042421 0000 048 84142由表 1 可知:训练时间受 Spread 影响较小，可忽略 但是训练正确率受 Spread 的影响较大，尤其是加入噪声之后 当 Spread 过小时，会对加噪图像的训练正确率有影响，设定值越小，加噪图像的训练正确率越低，对原图的影响较小，训练正确率几乎不变;当 Spread 过大时，会对原图和加噪图像的训练正确率都有影响，设定值越大，对应的训练正确率越低 综合计算时间和正确率，本实验选取的Spread 值为 0 14 2 2不同识别方法的比较为比较不同网络对字符的识别效果，对原数据搭建 BF 网络模型 其中，选取的最大训练误差为0 01，扩散速度 Spread 为 0 1，与概率神经网络模型参数一致 分别对库中的图像进行训练和测试，结果如表 2 所示 由表 2 可知，当参数一致时，概率神经网络在时间、正确率方面效果均优于 BF，在训练时间方面，概率神经网络要远低于 BF 的训练时间，在识别正确性方面，概率神经网络的正确率要高于 BF 的正确率表 2结果对比网络类型时间/s训练测试正确率/%训练测试BF97 374 069 049 89473PNN0 047 10 040 1100955结论1)对电力设备铭牌文本图像进行预处理，采用边缘检测算子、逻辑运算及文本列方向灰度值累计值，对铭牌文本进行行分割和字符间分割，获得单个字符的二值化图像2)利用字符的灰度矩阵特征和纹理特征，分别对分割后的字符进行特征提取，通过对字符灰度矩阵进行分块处理并对比分析不同字符的 LBP 直方图，可知两者结合能更好地描述字符特征3)提出基于概率神经网络的电力设备铭牌文本识别方法，分析 Spread 对网络训练正确性的影响，并与 BF 网络模型进行比较，结果表明，概率神经网络在正确率和计算时间方面更利于字符识别参考文献:1 赵秀梅 海西供电公司电气设备管理信息系统的设计与应用 D 保定:华北电力大学，2017 2 高扬，贺兴，艾芊 基于数字孪生驱动的智慧微电网多智能体协调优化控制策略J 电网技术，2021(7):2483 2491 3 石煌雄，胡洋，蒋作，等 基于深度学习的电气铭牌可变区域识别方法的研究 J 云南民族大学学报(自然科学版)，2020(4):350 355 4 胡洋，石煌雄，蒋作，等 基于分类模板数据库的电气铭牌识别 J 现代电子技术，2021(2):96 100 5 陈晓龙，陈显龙，袁建平，等 基于深度学习的电力设备铭牌识别 J 广西大学学报(自然科学版)，2018(6):2216 2226 6 王军，鹿姝，李云伟 融合注意力机制和连接时序分类的多模态手语识别J 信号处理，2020(9):1429 1439 7 尹远，余正涛 融合字符及字符排列特征的铭牌识别方法 J 现代电子技术，2016(22):6 8，13 8 BELONGIE S，MALIK J，PUZICHA J Shape matching andobject recognition using shape contexts J IEEE Transac-tions on Pattern Analysis and Machine Intelligence，2002，24(4):509 522 9 CHEN Z，JIAN Y Y，ZHAN P S，et al Vision based handgesture recognition using 3D shape context J IEEE/CAAJournal of Automatica Sinica，2021，8(9):1600 1613 10 杨鼎鼎，陈世强，刘静漪 基于车牌背景和字符颜色特征的车牌定位算法 J 计算机应用与软件，2018(12):216 221(责任编辑:王彦江)12第 2 期杨丽，张硕，薛亚许，等:基于概率神经网络的电力设备铭牌文本识别