基于多模态OCR技术的动车组轮径修改作业系统.pdf

轮径修改是车载设备维护作业中的一项重要内容。目前，轮径修改作业主要采用传统的人工办法，该方法在作业过程中存在一些不足。因此，本文提出了一种基于多模态技术的动车组轮径修改作业系统，通过采用多模态技术、工作流引擎等先进技术手段实现了轮径修改作业任务单智能生成、作业任务单自动流转审批、流水式的作业步骤、以及轮径值修改前后自动校验等功能，从而实现轮径修改作业全流程卡控、规范作业过程，降低电务人员在轮径修改作业的错误率，提升轮径修改作业的安全及工作效率。关键词：多模态；动车组轮径；作业卡控；列车自动防护；智能运维文章编号：（）中图分类号：文献标识码：，赵明昌等：基于多模态技术的动车组轮径修改作业系统（，；，；，）：，：，：；：（）：引言动车组车载设备是保证行车安全、提高运输效率的关键技术装备。近年来，随着动车组的数量不断增加，行车安全面临考验。通过科技手段提前发现影响行车的不安全因素并加以消除，是提高铁路运行安全水平的重要一环。当前，日常的轮径修改作业主要采用传统的人工办法，即通过动车段提供的轮径修改单，依靠人工去提取轮径修改参数、生成轮径修改作业单，根据该作业单，安排相关作业人员到列车上作业，同时将轮径修改前后过程电脑截屏保存，最后将此信息提交管理人员进行复核确认。整个过程存在以下问题：缺乏有效便捷的技术手段对轮径修改作业进行全面、高效的监控；对于轮径修改作业单的编制，过度依赖人工经验和多次确认，费时费力；任务单的审批及修改后的确认也缺乏系统监管，导致任务单和作业后确认不及时、作业过程难以追溯；无法确认动车段提供的轮径修改单的准确性。本文提出一种基于多模态（）技术的动车组轮径修改作业系统（以下简称“作业系统”），作业系统依据 铁路动车组运用维修规则（铁总运 号）的要求，按照 轮径修改作业指导书的步骤，将相关规范信息化、智能化，作业过程流程化，从而降低轮径修改作业的门槛，规范作业过程，提升轮径修改的工作效率，降低轮径修改的错误率。系统结构作业系统主要由轮径修改参数采集终端、算法服务器、应用服务器、数据服务器及移动作业终端部分构成，各部分通过铁路办公网连接，网络拓扑结构见图。（）轮径参数采集终端：该终端主要由一台铁道技术标准图网络拓扑结构定制的高拍仪和一台个人计算机组成，通过定制的高拍仪能根据轮径修改单的大小、位置快速进行描边、对焦处理，从而准确、清晰的生成图片，为下一步的信息提取提供支撑。（）算法服务器：主要利用多模态技术，准确无误的将轮径修改通知单中的信息提取出来并进行结构化处理，并将识别的结果提供给应用服务器。（）应用服务器：主要实现业务流程，为前端展示提供支撑服务；是本系统的调度器，一方面负责调度底层提供的数据，另一方面按照业务规则将界面呈现给用户。（）数据库服务器：主要负责存储系统数据，包括结构化的数据和非机构化的图片、视频等数据。（）移动作业终端：主要负责现场作业过程数据采集。通过离线方式将任务存储在本地，然后到车上进行作业，流水式的步骤将指导书中的要求逐一落实，将整个现场作业过程分为签到、车号端号校验、轮径修改作业、试验等几个过程。通过现场实名签到、车号端号识别等手段确保作业的真实性，避免作业人员走错车、走错端等情况的发生。系统主要功能本作业系统采用多模态技术、工作流引擎等先进技术手段，支持当前动车组所有类型和车型的轮径修改作业。该系统实现了轮径修改作业任务单智能生成并打标校验、作业任务单自动流转审批、流水式的作业步骤、轮径值修改前后的自动校验等功能，从而实现轮径修改作业全流程、闭环管理。作业计划的编制作业人员利用轮径参数采集终端系统，将动车段提供的轮径变化通知单放在高拍仪上，点击拍照，系统即可根据轮径参数提取算法将相应的轮径参数提取出来并填写到作业计划单中，自动生成作业计划单，同时将本组车提取到的轮径值打标到轮径变化通知单上。作业过程的流转当计划单生成后，系统利用工作流引擎，从计划单开始进行流转，首先根据预先设置的工作流完成计划单的审批；当现场作业完成后，移动作业终端将作业过程图片上传到系统中，系统会再次触发结果复核流程，并将结果记录与原轮径变化通知单推送给复核人员，复核人员据此可以快速完成复核，从而对结果进行确认，完成本次轮径修改作业。作业记录当作业结果进行确认后，系统会自动生成作业台账记录。管理人员可以随时随地的查看作业记录，追溯每个作业过程。除此还可以对作业记录进行统计分析，按时间、作业人、车辆等多维度进行统计。关键技术 多模态技术 问题定义轮径修改通知单信息提取任务分为两个子任务进行研究：（）语义实体识别。对每一个检测到的文本进行分类，如将其分为轮径值、车组号、车号、轴号、通知日期等。轮径修改通知单信息提取任务见图，图中的黄色框、绿色框、红色框、蓝色框和褐色框分别代表车号、轮径值、轴号、车组号、通知日期实体。（）关系抽取，对检测到的实体之间进行关系分类，找出实体之间的对应关系。图中蓝色连接线代表“所属”关系，表明是该车的轴、轴、轴、轴。橙色连接线代表轮径值和轴的“所属”关系。赵明昌等：基于多模态技术的动车组轮径修改作业系统图轮径修改通知单信息提取任务 与传统技术的区别传统的深度学习技术只对文档图像进行建模，见图，使用深度学习技术提取图像特征，通过图像特征得到文本预测结果。这类方法只利用图像中的文本信息，缺少对视觉和结构信息的使用，因此精度不高。由于不同路局间 轮径变化通知单的格式不完全相同，比如有的带单位，有的将没有装速传的轮轴轮径值进行了删除处理，有的车型端轮轴次序是由车头向内等一系列的图传统深度学习技术问题，考虑不同路局的兼容性，以及车型、类型的兼容性，传统的技术很难准确的提取相关的轮径参数值。多模态技术将视觉信息、结构信息与文本信息融合到一起，能够深度理解多模态文档，见图。图多模态技术铁道技术标准不同于纯文本的抽取，轮径变化通知单的版面形式复杂多变，除了文档中的文本信息，布局信息对文字的语义理解同样重要。我们引入了布局知识增强，提出阅读顺序预测、细粒度图文匹配等自监督预训练任务，升级空间解耦注意力机制，极大提升了信息抽取的精度。另外，针对数据不足等情况，我们采用了随机遮挡目标实体，随机旋转、平移等数据增强技术，提升模型预测精度，降低了对现场环境的依赖，比如在作业计划编制时拍照有一定的倾斜，系统也能精准识别。该技术除在作业计划编制的时候使用外，移动终端现场作业过程也有应用，比如校验车号端号；完成轮径修改后，对轮径修改界面拍照后自动与计划值进行校验，这些都需要精准的识别技术，才能确保参数提取准确，从而实现由原来的人控到技控的转变。图片标注技术轮径参数的提取是整个作业的源头，数据一定要确保正确。为了直观反馈给用户每个轮径参数的识别情况，系统将识别后的结果又反写到采集的图片上，并根据识别的准确率用不同的颜色在图片上进行打标，绿色表示识别率在以上，黄色表示识别率在到之间，红色表示识别率在以下。通过以上处理，一是让用户很清楚的知道轮径参数提取的是哪些数值，二是让用户知道提取后的数值是多少，方便用户校验核对；三是让用户知道更应该关注哪些参数，从而提升用户的工作效率和确认的准确性。提取轮径值及图片标注界面见图。图提取轮径值及图片标注界面 轮径参数智能校验多模态技术识别的准确性很高，但是轮径修改作业是不允许犯任何错误的，轮径参数的提取要做到准确，为此，仅仅依靠多模态技术、图片打标技术还不够，必须在此基础上，通过引入规范要求对识别的轮径参数进行多维度、多角度的校验。比如拿本次识别的轮径值与上次修改后的轮径值进行比较，如果发现本次轮径值比上次的轮径值大，提示用户是否是换轮了，反之就要确认该 轮径变化通知单提供是否正确；除此以外，该系统还校验同一转向架内的轮径差、同一轮对轮径差，从多个维度对提取的轮径值进行确认，确保系统提取的轮径值准确无误，减少人工参与。工作流技术轮径修改作业的全过程分为多个阶段，包括计赵明昌等：基于多模态技术的动车组轮径修改作业系统划编制、计划审核、计划下发、现场作业、作业结果确认、作业记录登记等步骤，如果没有一个统一的流程把这些过程给串起来，就容易张冠李戴，作业记录容易错乱，审批、确认过程繁琐等问题的出现。基于以上问题，利用工作流，从源头将整个作业过程进行串联，审批的时候能看到源头数据，审批人员可以快速进行审批；结果确认的时候能将作业结果和原始轮径变化通知单同屏比较，确认的人员能准确、快速进行确认。全过程可跟踪、追溯，极大方便系统使用人员，也提升了作业效率。应用与展望作业系统在郑州铁路局高铁基础设施段投入使用以来，系统运行稳定、可靠。通过系统的运用，轮径修改作业效率得到了提升，有效解决了编制计划难、复核难、结果确认难的问题；避免了作业人员容易走错车、走错端的问题；实现了作业全过程可视化、可追溯的闭环管理，对提升动车运维检修的安全性具有重要意义。当前该系统还仅仅在动车组车载设备轮径修改作业中运用，与之类似，还可以进一步推广到轮径修改作业的运用中。另外针对铁路安全技防方面，基于多模态的技术，可以自动识别和提取文档中的文字信息，例如技术规范、操作手册等。这样可以大大减少人工处理文档的时间，从而提高作业效率。另外在数据分析和决策支持方面也能起到关键作用。多模态技术可以将大量的文字信息转化为结构化的数据，这些数据可以用于进一步的分析和决策支持。通过对作业过程中的数据进行分析，可以发现潜在的问题、趋势和改进点，从而提高整体的运营效率和安全水平。参考文献：王飞，岳林，赵晓宇，等 级列控车载设备电子地图存取管理方案 中国铁路，（）：许可，吉泓鑫，张哲动车组轮径修改作业卡控系统研究铁道通信信号，（）：胡启正，杨勇，王巍铁路电务智能运维应用系统研究与设计中国铁路，（）：公丕宾 智能检修与作业卡控系统研究铁道通信信号，（）：褚伊郎君，李科，储著群基于手持终端的车载设备作业检修系统 铁道通信信号，（）：，责任编辑：张航