基于深度学习的图像文字识别技术在数字化审计中的应用.pdf

Microcomputer Applications Vol.39,No.9,2023文章编号：10 0 7-7 5 7 X（2 0 2 3)0 9-0 18 9-0 4基于深度学习的图像文字识别技术在数字化审计中的应用开发应用微型电脑应用2 0 2 3年第39 卷第9 期魏宁霞，张耀宏，张华，刘莉莉（国网宁夏电力有限公司，宁夏，银川7 5 0 0 0 0）摘要：通过整合的数字化审计平台获取所需审计信息，对所获信息中的图像展开小波变换分解，滤除审计图像噪声的同时提升其质量。结合基于Canny算子的边缘检测与区域分割技术分割完成预处理的审计图像，将完成分割的审计图像输入卷积神经网络，通过卷积层卷积处理审计图像提取审计图像文字特征。经下采样层累积卷积结果得出审计图像文字特征映射图，通过全连接网络判定所提取审计图像文字特征，输出识别结果后通过基于Relief算法的多特征融合方法改进卷积神经网络识别结果。实验结果表明，该方法具有较好的噪声滤除与分割效果，能够精准、清晰识别审计图像中的文字信息。关键词：深度学习；图像文字识别；数字化审计；小波变换分解；卷积神经网络；多特征融合中图分类号：TP391.41文献标志码：AApplication of Image Character Recognition TechnologyBased on Deep Learning in Digital AuditWEI Ningxia,ZHANG Yaohong,ZHANG Hua,LIU Lili(State Grid Ningxia Electric Power Co.,Ltd.,Yinchuan 750000,China)Abstract:We obtain the required audit information through the integrated digital audit platform,expand the wavelet transformdecomposition of the image in the obtained information,filter out the noise of the audit image and improve its quality.We com-bine edge detection based on Canny operator and region segmentation technology to segment the preprocessed audit image,in-put the segmented audit image into the convolutional neural network,and extract the text features of the audit image throughthe convolutional layer convolution process.After accumulating the convolution results of the down-sampling layer,the textfeature map of the audit image is obtained.The text feature of the audit image is determined by the fully connected network,and the recognition result is output and the recognition result of the convolutional neural network is improved by the multi-fea-ture fusion method based on Relief algorithm.The experimental results show that the method has good noise filtering and seg-mentation effects,and can accurately and clearly identify the text information in the audit image.Key words:deep learning;image character recognition;digital audit;wavelet transform decomposition;convolutional neuralnetwork;multi-feature fusion识别略，但是审计信息来源较为复杂，常有海量审计图像存在，需0引言要识别获取图像内审计信息6，为此，本文提出利用深度学为了顺应时代形势与科技的发展，一种新型审计环境模习的图像文字识别技术识别审计图像中文字。式一一数字化审计应时而生。其通过计算机与网络对需要1基于深度学习的数字化审计图像文字审计的企业相关信息进行访问与调用1。数字化审计以审计为目标，主要包括计算机辅助以及信息化风险防控两种审计类型2 。数字化审计具有数据中心与审计分析平台两个模块，数据中心是审计人员对需要审计企业的初始数据初步获取后，依据相关机构与法律法规对该数据展开储存与变换，之后审计人员可经专属通道进入分析平台，分析评估并审查审计信息获取最终结果3。为了实现良好的审计信息应用，黄志刚等4以机器学习为基础对企业财务信息进行识别，杜瑞忠等5 1采用DDCT表设计了一种多副本的审计策作者简介：魏宁霞（196 9一），女，本科，高级会计师，研究方向为财务管理、审计管理；张耀宏（197 0 一），男，本科，高级会计师，研究方向为财务管理、审计管理；张华（197 3一），男，本科，高级经济师，研究方向为审计管理、工程审计；刘莉莉（198 7 一），女，硕士，会计师，研究方向为内部审计。1.1数字审计系统框架大量审计信息是数字化审计开展的基础，数字化审计的整体框架如图1所示。图1中，整合的数字审计界面向用户提供了数据分析、审计、审批等一站式服务，完成信息流和数据流之间的交互。其采用了分工合作的审计模式，通过分析审计项目开展过程中的全样本数据，封闭重复推送符合疑点的数据、反映现场189.Microcomputer Applications Vol.39,No.9,2023上游数据源半结构化/非结构化数据内部结构化！数据一数据增强！数据后加载数据加载！数据预加载+数据质量管控！会/1数据！全文检索实时预警！批量处理数据挖掘i服务数据维护数据存储计算层！子层大数据平台11集成全文检索集成邮件/L审计应用层审计监测厂运营管理非结构化数据分析工具1图1数字审计系统框架检查情况。通过大数据平台呈现数字化审计结果，其具有较好的稳定、开放以及扩展效果，储存无限制。大数据挖掘分析内部数字化审计数据并利用爬虫技术在网络上得到的审计相关数据，通过接入层预处理数据后传人数据存储计算层，利用数据服务子层挖掘数字化审计信息内部存在的联系，匹配可疑审计数据特征，经中间服务层协议解析后反馈至审计应用层，为用户提供服务。1.2基于深度学习的图像文字提取1.2.1图像预处理为提高审计图像质量，通过小波变换分解审计图像滤除噪声影响7。去噪步骤如下。步骤1：首次N层小波变换审计图像，软阈值滤波1N层小波系数，消除加性噪声n(i,j)，获取审计图像灰度ni（i，j)r(i,j),得到:R(i,j)=n(i,j)+ni(i,j)r(i,j)软阅值去噪ni(i,j)r(i,j)其中，审计图像R的像素为（i，j)，存在噪声的审计图像为R(i,j)，噪声模型为n(i，j）、n i（i,j)，审计图像原始信息为r(i,j)。步骤2：利用审计图像同乘性噪声之间的独立性对数计算完成加性噪声过滤的审计图像8 ，变更乘性噪声为加性噪声，得到：log2(ni(i,j)r(i,j)=log2(ni(i,j)+log2(r(i,j)(2)当审计图像灰度等于0 时，令ni（i,j)r(i,j)与lime0*开发应用相加,得到n(i,j)r(i,j)十e0,e为噪声。外部步骤3N层小波分解log2（n i（i，j)R(i,j)），得出1-N知识库文档排结构化数据爬取内容元数据！调度服务数据访问结构化数据内存计算半结构化数据分布式计算非结构化数据流式计算1！定制协议接可！web Services!i杯餐n菲！协议据通过特征提取层提取审计图像内的文本特征，将所提取特征送人全连接层。利用其所含卷积核提取审计图像文字特征，实时查询审计流程驱动智能审计(1).190.微型电脑应用2 0 2 3年第39 卷第9 期层小波系数，对其进行软阈值处理9，滤除与噪声log2（n i（i，j)相对应的小波系数,得出与log2（r(i,j)相对应的小波系数，重建完成去噪的小波系数log2（r(i，j)）。步骤4：指数运算logzr(i，j），得到复原审计图像r(ij）。预处理原始待分割审计图像后得到高质量待分割图像，结合基于Canny算子的边缘检测与区域分割技术分割审计图像1o。利用M、N描述基于Canny算子，得到：M=1(-1,N=(11)2-112(-1-1)设审计图像中的像素点为（，y），利用算子M、N求解预处理后的审计图像像素梯度和方向，得到：T(a,y)=VM(c,y)+N(a,y)N(,yQ=arctanLM(,y)1.2.2基于卷积神经网络的图像文字识别通过卷积神经网络可以对审计图像中的文字信息进行自动提取，经过少量参数训练就能完成目标文字精准识别。经下采样层累积卷积结果，得出下采样结果即审计图像文字特征映射图。卷积神经网络卷积操作公式为t=f(2afl*c+b)ieM,其中，l、c以及6 分别表示层数、计算数值、卷积核以及加性偏置，i、i、M,分别表示特征映射图的内部点、编号以及图集。下采样公式为a,=f(g;down元(al-1)+b)其中，与down分别表示乘性偏置以及加法处理采样框内像素。下采样操作后通过全连接网络判定所提取审计图像文字特征，全连接层由前向传播和反向传播组成，标准结果与实际输出偏差通过前向传播获取，设其样本误差公式：h1E,=2其中，与y分别表示样本n的相应k维特征标准值以及该特征实际输出，t，与yn分别表示标准值、实际输出的向量，h表示特征维数。误差变化率公式如下：aE=aE.aua6au丽其中，u与6 分别表示节点输入以及偏置向量。不同的卷积核可获取审计图像目标的不同文字特征映射图，保证审计图像的唯一和尺度不变。1.3基于Relief算法的多特征融合通过基于Relief算法的多特征融合方法改进卷积神经网络识别结果。为了保持原有审计图像样本分类状态，在利用Relief算法选择图像文字多特征前，设定好移动间隔形式，再训练n个样本的特征，完成多特征融合，提高了改进卷积神经网络图像文字识别的精确度。(3）(4)(5)(6)(7)（8)(9)Microcomputer Applications Vol.39,No.9,2023利用假设的间隔迭代权值，为了让决策面移动的距离达到最大，在保持目前样本分类状况的情况下，假定间隔形式如下。(Il-L()-E()l)其中,E(）、L()分别表示的同类、非同类最近邻点。Re-lief算法选择审计图像文字多特征过程如下。定义mXn维数矩阵，存储n个样本特征，将待训练的第i个样本的N个特征存放在第i列中；定义不同维数特征初始权值w；为0，j=1,2，N。第i个特征样本的训练过程为定义训练样本、不同样本特征的总数分别为n、N，并且从1n、1N之间循环选取i、i值，迭代权值得到：diff(Y,x,E(r,)+diff(S,c;,L(,)ujfl=,-dn其中,Y、S分别为抽取样本；同类型、不同类型的样本集合。至此完成了图像文字的多特征融合，从而提高了识别结果的精确度。2实验分析为检测本文所研究审计图像文字识别技术的有效性，进行实验验证。目前没有真实发票数据集，因此我们在现实中收集了部分增值税发票图像。由于条件有限，我们在网络各图库中搜集发票图像。为了保证图像的质量，剔除了难以辨别的图像，最终收集到了2 5 6 张合格的发票图像，作为此次实验的数据集。并按照7：3的比例将数据集划分为训练集和测试集。神经网络训练时设置batch_size为6 4，通道数设为3，全连接层数量设置为32 个，学习率设置为0.0 0 0 5，dropout设置为0.2,可以防止过拟合的情况。设置小波变换的重复周期为0.0 1,Canny算子的阈值为5 0 0。以峰值信噪比为指标评价本文方法的滤波效果,PSNR值越高代表滤波降噪性能越好。在测试集中，随机选取10幅发票图像，用于验证识别效果。实验结果如图2 所示。通过图2 可以看出，本文方法对10 幅实验审计图像实施滤波降噪处理的PSNR值均较高、波动较小，平均值为23.21,可见本文方法的滤波降噪效果较好，且滤波性能较为稳定。25201510F0123图像序号图210幅审计图像的PSNR值以MeanIU(分类准确度均值)作为评价指标测试能量开发应用函数各项比例、对本文方法的审计图像分割效果的影响，实验结果如图3描述。100r90(10)80706050403020图3不同项比例的meanIU值结果通过图3可以看出，当能量函数中、的比例为0.3、0.5时，其meanIU值最高，此时图像分割结果最优，能获得n较为理想的审计图像分割效果。(11)本文方法经多次学习训练后，其平均适应度值与网络训练绝对误差结果见图4。5045403530252015F0图4平均适应度变化与网络训练绝对误差分析图4可得，随着送代次数的增加，本文方法的平均适应度值在送代次数满足2 0 次的要求训练次数后趋于平稳，网络收敛步数为5，说明本文方法具有较好的平均适应度，网络收敛速度较快，可利用较小的迭代次数实现文字信息识别，识别精度高。随机抽取其中一张税收发票图像，运用本文方法对其图像内有效信息进行识别，结果如图5、表1所示。结合图5、表1可以看出，本文方法能够精准识别审计图像中的文字信息，所识别信息清晰，可有效为后续数字化审计服务提供较好的数据基础。浙江增佳税本用发票口330 0 15 41307纯人号112090-315准托洋机15)341海南华AJ45678910微型电脑应用2 0 2 3年第39 卷第9 期0.50.4数值一平均适应度一一绝对训练误差10.10.010.0010.00010.0000111020 30405060选代次数/次No1513648130:241315136481#书日我；2 0 14年16 月2 5 日341/*3-44642-1/*-*c*29-6071531287*9999296+9778/*600+7113506/:/12-2116-1/$-$*29-607纳税人识别号酒/531287*9999296+977-地址电话：8*8/16862+0/+*600+税总开户行及账货物我应税劳务服务名租（2 0 15)341号海南华森实业公司90-315微洗焊机除花合计（大写）新江华鹤焊接设备有限公司地址电话：内税人识号：开户行及际号：中国银行浦登水昌文行38 36 47 9915 4浦警市南未街道文特路2 8 号0 5 7 5-8 7 8 6 5 2 2 6913306810762273323这款人：图5审计图像处理情况表1图像文字识别结果发票号No 15136481发票类别浙江增值税专用发票名称：浙江*有限公司纳税人识别号：购买方*地址、电话：*市*街道*路*号*开户行及账号：*银行*支行*货物或应税劳务、90-315液压焊机服务名称规格型号单位数量单价金额税率税额发票号开发应用浙江增傅花泰用发票No1513648130541015136481开宗日期：2 0 16 年10 月0 8 日341/*3-446-1/*-*1287*9999296+977-/+38*8/16862+0/+*600+6*-7113506/1/12-2117113506/1/12-21159规格型号载量台6760.230704计开来人哈祝美(c）文字识别结果台16769.2307696769.2317%1150.77No15136481微型电脑应用2 0 2 3年第39卷第9期(续表1)（大写）柒仟玖佰贰拾元整价税合计(小写）?7 9 2 0.0 0名称：浙江华锦焊接设备有限公司税销售方1150.?7￥115 0.7 7价金6760.217￥6 7 6 9.2 3（小写）￥7 92 0.0 0933080762332-锅焊接设备有销费索专用摩开户行及账号：中国银行诸暨永昌支行388364799154收款人复核开票人公章3总结为提升数字化审计数据的全面性与审计结果的精准性，研究了基于深度学习图像识别技术的审计图像文字识别方法，通过提升审计图像质量，精准识别有效的审计文字信息，税数字化审计的可靠性得到提升。150.77拔扣联狗天方和花光证￥115 0.7 7*浙江华锦焊接设备有限公司参考文献1刘佳进.基于审计意见、监管处分措施的数据挖掘样本选择的改进J.南京理工大学学报（社会科学版），2020,33(1):42-47.2 周坚，金瑜，何亨，等.基于区块链的云数据审计方案J.计算机应用研究，2 0 2 0,37（6)：17 99-18 0 3.3朱德利，杨德刚，胡蓉，等.适于移动终端字符识别环境的自适应多阅值二值化方法J.计算机科学，2019,46(8):315-320.4黄志刚，刘佳进，林朝颖.基于机器学习的上市公司财报舞弊识别前沿方法比较研究J.系统科学与数学，2020,40(10):1882-1900.5杜瑞忠，石朋亮，田俊峰.基于DDCT表的多副本完整性审计方案J.电子学报，2 0 2 0，48（1)：16 4-17 1.6 杨楠，南琳，张丁一，等.基于深度学习的图像描述研究.红外与激光工程，2 0 18，47（2）：18-2 5.7 LEE S H,KIM D Y,CHO Y.Image RecognitionBased on Deep Learning Using Multi-DimensionalNeural Network and Decision Making Neural NetworkLJ.Journal of Korean Institute of Intelligent Sys-tems,2018,28(1):34-40.8纪超，黄新波，曹雯，等.基于深度学习的图像显著区域检测J.激光与光电子学进展，2 0 19，5 6（9）：125-132.9ABD EI-M S,HASSAN S E A A,SEDIK A,et al.Effect of Reverberation Phenomena on Text-independ-ent Speaker Recognition Based Deep Learning JJ.Menoufia Journal of Electronic Engineering Research,2019,28(1):19-23.10董飞，马源源。基于改进活动轮廊模型的图像分割J.微型电脑应用，2 0 19,35 8)：7 7-7 9.（收稿日期：2 0 2 1-11-19)192