语音识别技术在卷烟厂MES系统的应用研究与实践——以昭通卷烟厂为例.pdf

信息通信语音识别技术在卷烟厂MES系统的应用研究与实践以昭通卷烟厂为例李佳聪，谭昌冕，邓兴萍，沈立东，顾林举，鲁荣乔（红塔集团昭通卷烟厂，云南昭通6 57 0 0 0）摘要：为了提升昭通卷烟厂MES系统现场操作人员的系统操作体验，提高人员的工作效率，运用语音识别技术，建立工厂语音识别系统。文章阐述语音识别技术的技术原理，剖析工厂语音识别系统的构建方法，包括系统实现支撑条件、系统架构设计及系统部署等。研究语音识别技术在MES系统部分场景应用，介绍其在昭通卷烟厂的应用效果，并推广运用在车间的移动巡检系统上，为智能制造工厂的建设积累经验。关键词：语音识别；MES系统；卷烟厂；应用中图分类号：TP391文献标识码：B1 引言在工厂的数字化转型中，MES系统作为生产现场综合管理的集成系统，在数字化生产过程中发挥着重要的作用。MES终端能够精准记录生产运行过程中的工艺质量、产品消耗、运行效率等各方面的数据，相较于以往的纸质记录，MES终端具有功能更强大、覆盖更全面、数据更直观、记录更真实、操作更便捷等优点。但是，在一些特殊的业务需求上，遵循“交清接利”的原则，需要在MES系统中录入大量的文字信息，这往往要花费大量的精力用来手工录入。比如：卷包及制丝的交接班记录、制丝停机断料原因分析记录、设备维修记录、设备综合检查计划等，都会占用员工大量的时间和精力。鉴于这些情况，为员工提供高效率的录入工具是工厂数字化转型中急需解决的问题。近年来，随着人工智能技术的快速发展，语音识别技术作为人机交互接口的关键技术、发展迅速。从理论技术到实践水平的成熟，语音识别技术已经在工业、通信、家电、医疗、汽车电子等各个领域广泛应用。它打破了传统录入方式的限制，使用语音录入代替键盘打字录入，提高文字录入效率，降低员工的工作强度。本文结合红塔烟草(集团)昭通卷烟厂的生产实际情况，基于国内成熟的语音识别平台对中文进行实时语音转写，构建昭通卷烟厂的语音识别系统，实现MES系统的使用便捷性和可用性。2语音识别技术原理语音识别技术是让机器通过识别把语音信号转变为可被计算机程序识别的信号，进而通过理解转变为指令的技术。它相当于“机器的听觉系统”，听懂人说什么，并作出相应的行为。一个完整的语音识别系统包含了五个部分：预处理、特征提取、声学模型训练、语言模型训练和语音解码器。2.1预处理对输入的原始语音信号进行处理，过滤掉其中的背景噪声、非重要信息，并进行语音信号的端点检测、语音分帧和提升高频部分的信号等处理。2.2特征提取特征提取在语音识别中起着非常重要的作用，它的好坏能直接影响后续语音识别系统的性能2 。它是在去除语音信号中无用的余信息后，保留能够反映语音本质特征的声学参数3,并形成特征矢量序列，以便用于后续处理。2.3声学模型训练收稿日期：2 0 2 3-0 2-2 8作者简介：李佳聪（19 9 4-），女，本科，云南玉溪人，助理工程师，研究方向：计算机科学与技术。2023年第0 5期(总第2 45期)文章编号：2 0 9 6-9 7 59(2 0 2 3)0 5-0 142-0 4声学模型是对声音的建模，能够把语音输入转换成声学表示的输出，相当于语音识别系统的中枢神经4。根据训练语音库的特征参数训练出声学模型参数，在识别时可以将待识别的语音的特征参数与声学模型进行匹配，得到识别结果。2.4语言模型训练语言模型是用来预测字符序列产生的概率，能判断一个语言序列是否为正常的语句5。它能够有效地结合汉语语法和语义的知识，描述词之间的内在关系，从而提高识别率，减少搜索范围。对训练文本数据库进行语法、语义分析，经过基于统计模型训练得到语言模型。2.5语音解码器语音解码器是语音识别技术中的识别过程。针对输入的语音信号，基于已经训练好的声学模型、语言模型及字典，建立一个搜索空间，根据搜索算法在该空间中寻找最佳的一条路径，这个路径就是能够以最大概率输出该语音信号的词串，从而找到最合适的词串。3系统设计3.1系统实现支撑条件在平台选择方面，由于国内专业的语音识别厂商很多，语音识别技术也比较成熟，且在工厂内部部署语音转文字平台的价格昂贵，因此采用国内成熟的实时语音转文字的公有云平台。同时，配置了性能稳定、高信噪比、环境适应性强的麦克风，确保语音识别的准确率。在MES系统兼容性方面，昭通卷烟厂现有MES系统是基于“组件式”架构实现的按照组件化原则设计的业务服务模块，可以根据用户需求量体定制，且具有良好的二次开发和业务拓展能力，符合“组件式”架构的组件，扩展业务模块可以做到即插即用，不影响原有系统的业务插件。在网络安全方面，工厂的MES系统是连接办公内网，无法直接访问外部互联网，为了保证现有MES系统和语音识别系统的运行安全和稳定，实现内外网的隔离，因此增加了语音识别跳板服务器。当系统功能需要调用语音识别平台服务时，先访问语音识别跳板机的中转服务，然后通过语音识别跳板机的中转服务访问外网的语音识别平台服务。同时，为确保语音识别跳板机对内对外都是最小访问权限，采用白名单方式管理，跳板机对外只对指定的语音识别平台开放端口，对内只对指定的语音识别项目服务器开放端口。并在语音识别跳板机上安装防病毒软件，禁用各类不必要的端口。142Changjiang Information&Communications3.2系统架构设计为了全面兼容昭通卷烟厂原有的MES系统，语音识别系统采用与MES系统相同技术的开发语言和实现架构，实现系统无缝集成，保证语音识别系统功能和现有MES功能全面融合。服务器是利用现有MES系统的服务器，让用户在同一个网站内进行访问。系统具体的技术架构如下图1所示，包括数据访问层、组件层、服务访问层、界面层、集成层、框架组件库、外运语音识别跳板服务等，各层结构是独立分离，通过降李佳聪等：语音识别技术在卷烟厂MES系统的应用研究与实践低各层次之间的耦合度，提升系统的可扩展性及灵活性。3.3系统部署语音识别系统采用分布式部署方式，嵌入式的组件单独部署在集团外网的跳板机上，与语音识别服务实时连接；在MES系统应用服务器上部署内网服务，连接外网服务组件。通过网络隔离等措施，保障了工厂内网的安全。服务器的部署采用VMwarevSphere数据中心和虚拟化平台架构，具体设计如下图2 所示：集成平台界面层（MVC设计模式）View服务访问层（动态化）Remoting服务公共组件（支撑业务组件）专用业务组件层（组件化、可插拨）框架组件库工厂模型组件基础数据组件工作流组件权限组件日志组件数据访问层（支持异构平台）数据库（数据持久层）OracleDB2Websocket移动城用网站移动终端HttpsHttpWeb网站websocketWeb客户端WEB服务器基于该部署架构，语音识别系统在实现语音转写的过程中，需要经历一个复杂的处理过程：首先，用户通过移动终端或者PC机发起语音识别的请求服务，通过WebSocket与语音识别中转服务建立语音输入长连接。然后语音识别跳板服务接收请求后，与语音识别云平台建立WebSocket连接，语音输入平台判断用户IP地址满足语音连接白名单要求后，完成语143ControllerWCF服务断料汇总设备抢修消息组件卷包操作工设备综合检查交接班数据模型类NHibernate数据模型类映射文件SQLServerMySQL图1语音识别系统的技术架构语音识别中转服务语音识就板服务送系统&基础服务生产服务设备服务API.Remoting.wicF质量服务产耗服务现场管理服消息服务业务彩务图2 服务器部署架构音识别跳板服务器创建WebSocket连接。接着在WebSocket连接创建成功后，语音识别跳板服务器将用户输入的语音信息通过WebSocket转发到语音识别平台服务，通过语音识别平台服务回传语音转文字信息给语音识别中转服务。最后，语音识别中转服务将语音转文字信息转发给移动终端或者PC机，在用户界面进行显示。ModelWebAPI卷包制丝设备交接班感官质量评吸录入MongoDBSQLiteWebsocket业务数据库集群ERP主数据制丝中控语音识别跳板机外网语音服务1语音识别平台实时语音转写接口白名单配置服个性热调配置服务语音实时转写报服务语吉识满云平台Changjiang Information&Communications3.4建立烟草领域语言知识库在语音识别平台上建立烟草领域的知识库，确保语音识别系统在工厂的应用效果。该知识库中涵盖的范围要广泛，需要对卷烟设备名称、卷烟工艺名称、设备检查体系、卷烟工艺体系等建立规范与标准。同时，语音识别系统可以从系统操作人员的语音文件中提取出专业术语，与知识库中进行对比后保存，保证拼音输入和语音输入的正确率。3.5系统自学习机制在MES系统语音识别应用场景中，当系统操作人员通过语音录入方式进行业务处理时，语音识别系统会将录入语音、输出的文字和修改后的文字绑定存储到指定位置和数据库，实现语音文件与文字的比对功能研究，从而建立语音识别系统的自学习机制。当操作人员修改语音识别错误的文字时，系统会将修改后的文字作为反馈信息，传输到语音识别平台进行学习和优化，以提高语音识别率；当技术人员在使用语音录入的过程中，系统会将少数辨认不出的专业术语补充到知识库中，实现下次遇到同样词汇时系统的自动识别。随着语音识别系统的持续投入使用，将会产生大量的训练数据，可以训练出高精度的声学模型和语言模型，从而提升识别率，提高语音识别性能。通过语音识别系统的自学习机制，提升系统人工录入数据有效性，实现系统的智能化和个性化。4MES系统应用场景研发为了赋予MES系统相关场景具备通过语音录入文字的能力，优化升级现有MES的部分功能，提升用户使用体验，选择以下场景作为语音输入转文字的应用研究。4.1断料汇总在制丝生产过程中，停机断料率是考核制丝生产质量的重要指标。当出现断料时，质检人员需要及时记录断料情况、处理措施，并深层次的分析断料原因，同时为避免相同问题的出现，需要记录改进措施等。在现有MES系统断料汇总功能基础上，通过语音转文字组件进行功能嵌入，将需要大量文字数据的断料问题描述、原因分析、改进措施等录入项目使用语音转文字进行替代录入，以减轻质检人员文字录入的工作量。4.2设备抢修设备抢修是设备管理的重要业务流程之一。当设备出现故障时，需要通过MES系统的现场终端或者PC端发起报修请求，对应的修理工接收到报修信息后即刻前往现场对设备进行维修，维修完成后需要在现场终端或者PC端对维修过程、故障原因、解决措施等进行记录。在现有MES系统现场终端或者PC端设备抢修的基础上，通过语音转文字组件进行功能嵌入，将需要文字录入的维修过程、故障原因、解决措施等录入项目使用语音转文字进行替代录入，减轻设备维修人员文字录入的工作量。4.3卷包制丝设备交接班MES系统已实现电子交接班，并支持在终端进行交接班操作，遵循“交清接利”原则，对本班设备运行方式及下班设备运行注意事项提出合理的建议，同时记录本班设备出现的运行异常情况、维修处理情况、设备运行故障、存在隐患及注意事项进行交接。对于电子交接班的内容，存在大量需要手工录入的项目，减轻操作工、维修工的工作量。4.4卷包操作工交接班MES系统卷包操作工交接班功能模块在车间现场终端上李佳聪等：语音识别技术在卷烟厂MES系统的应用研究与实践操作，每次交接班时，需要大量文字输入，交接内容繁复，包括故障报修信息、维修换件信息、交班信息等，涉及大量的文字，会耗费很多时间。通过语音转文字进行替代录入，减轻卷包操作工文字录入的工作量。4.5其它场景应用在设备综合检查场景下，为了制定设备综合检查计划，需要大量需要手工录入的检查内容，通过语音转文字组件进行功能嵌入，将需要文字录入的检查内容等录入项目使用语音转文字进行替代录入，减轻设备检查人员文字录入的工作量；在MES感官质量评吸录入场景下，由于感官质量评吸需要每个评委通过PAD录入打分信息，工作量重大，通过语音识别录入，提高录入效率。5应用效果通过在语音平台跳板服务器上部署嵌入式语音识别组件，提供与语音平台的实时转写服务，同时在MES应用服务器部署内网服务与外网组件进行连通，有效保障了集团和工厂内网的网络安全。同时，组件对操作系统运行效率小，不产生额外的业务数据，确保在任何情况下用户数据完整不受损失。在MES系统应用场景应用中，语音转写延迟低、识别准确率高。在MES系统中通过连接嵌入式语音识别组件的Web-Socket，引入语音公共资源库，基于语音识别系统的自学习机制，在MES系统电脑端、现场终端开发断料汇总、设备抢修、卷包制丝交接班、设备综合检查等需要大量录入文字的功能，通过语音转文字的方式进行语音录入，在实际语音录入应用中，通用语音识别准确率达到9 8%，转写延迟小于1秒，业务人员在正常语速录入中，每分钟可语音录入识别16 0 字以上，有效解决岗位业务人员的文字录入的工作量，提高了工作效率。同时，工厂调度指挥中心通过智能语音控制，实现语音与MES系统功能菜单的交互，当需要打开某一系统菜单时，通过语音输入，即可打开系统功能菜单，减轻了用户对菜单路径的记忆和点击操作，提升办公效率。语音识别组件具备语音文件存储功能，实现语音的可追溯。当对系统录入的信息存在问题时，通过语音管理控制页面调出语音录入保存的语音文件，并进行播放对比，对保存的文字进行校验，有效保障了系统数据的准确，实现了语音转写过程的可追溯。语音识别系统具有较好的实际应用效果，具备较大的推广价值。工厂后续又将其推广运用到工厂动力车间的移动巡检系统：通过在巡检系统中开发语音录入功能，基于WebSoc-ket连接，把语音文件传送到语音识别平台，平台解析完又传送到巡检系统的客户端，从而完成语音录入工作。巡检人员利用语音输入完成信息录入工作，减轻了巡检人员的工作量，提高了工作效率。6结语语音识别技术通过在昭通卷烟厂MES系统的实际运用，取得了良好的效果，一定程度上提高了业务人员的工作效率，减轻了业务人员大量文字录入的工作量，提升MES系统现场操作人员的系统操作体验。同时，工厂把语音识别技术推广运用在动力车间移动巡检系统上，也取得了很好的应用效果，为智能制造工厂的建设积累经验。在系统的使用过程中，我们也发现了一些问题。一方面是系统对噪音的敏感度。当系统操作人员距离麦克风很近且周围噪音不大时，系统的识别效果很好，而操作（下转第149 页）144Changjiang Information&Communications似度之前，对日志单词进行筛选，排除大部分参数单词的干扰，提高了分类的准确性；其次，方法利用前缀树的思想来提取日志模板，通过限制模板树的子节点数量提取模板变量，该策略能够区分日志的参数单词和状态单词，有效防止具有不同状态变量的日志事件错误合并。4.5单词分类依据通过单词类型排除参数单词的前提是不会错误排除过多模板单词，因此我们手动提取了多个数据集中所有的日志事件模板，并获取了这些日志模板的模板单词的单词类型及其分布，结果如图5所示：100%90%80%70%60%50%40%30%20%10%0%从图5中可以明显看出，日志的模板单词构成具有较为明显的倾向，即由字母构成的单词，这与我们的直觉保存一致，日志开发人员为了便于后期维护，在定义日志事件时，会使用自然语言来描述日志事件，但也可以看到，也有部分模板单词使用带数字的组合，但是这些带数字的模板单词占比极少，对日志分类的影响有限。5结语本文提出了一个新的在线日志解析方法，它能够以流式方式实时解析日志。该方法基于不同构成的单词成为日志模板部分的概率不同的特点，对单词进行分类，使用更可能成为模板部分的单词类型参与相似度计算，最后使用前缀树提取日志模板。通过在几个真实日志数据集上与目前最先进的几个解析方法进行对比，实验结果表明，本文方法的准确性有明显的提升，证明了本文方法的有效性。参考文献：1 Q.Fu,J.Lou,Y.Wang and J.Li,Execution Anomaly Detectionin Distributed Systems through nstructured Log Analysis,2009+（上接第144页）人员和麦克风距离较远时或周围环境噜杂时，系统的识别效果就大大下降；另一方面是操作人员的口音问题。对于方言口音较重的操作人员，系统的识别效果会变差。下一步，工厂会针对现场噪音对语音输入的影响，麦克风的位置、距离、角度等对语音输入的影响，人员说话口音等对语音输入的影响，制定相应的解决办法，优化语音识别技术的应用效果。同时，工厂也会持续探索语音识别系统与其它信息系统的融合运用，挖掘在卷烟工厂的潜在价值，为工厂的数字化服务。参考文献：1李凯飞基于机器学习的工业语音指令识别研究及设计149李修远等：WT-Parser：一种有效的在线日志解析方法Ninth IEEE International Conference on Data Mining,2009,pp.149158.2 W.E.Wong,V.Debroy,R.Golden,X.Xu and B.Thurais-ingham,Effective Software Fault Localization Using anRBF Neural Network,in IEEE Transactions on Reliability,vol.61,no.1,pp.149169,March2012.3H.Mi,H.Wang,Y.Zhou,M.R.Lyu and H.Cai,TowardFine-Grained,Unsupervised,Scalable Performance Diag-nosis for Production Cloud Computing Systems,in IEEETransactions on Parallel and Distributed Systems,vol.24,no.6,pp.1245-1255,June 2013.4 Ivan Beschastnikh et al.Inferring models of concurrent数字+字母+符号systems from logs of their behavior with CSight.Software#字母+特号Engineering.pp.468-479.数字+特号#符号数字+特号字母数字HDFSHPC5 IWei Xu et al.Detecting large-scale system problems bymining console logs.Operating systems principles.pp.117-132.6Vaarandi R.A data clustering algorithm for mining patternsfrom event logsC/lp Operations&Management.IEEE,2003.7Execution Anomaly Detection in Distributed Systems throughMacOpenSSHOOpenStack图5单词类型分布Unstructured Log AnalysisC/Ninth IEEE International Con-ference on Data Mining.IEEE Computer Society,2009:149-158.8 LogCluster-A data clustering and pattern mining algorithmfor event logsC/2015 11th International Conference onNetwork and Service Management(CNSM).IEEE,2015.9 Makanju,Adetokunbo&Zincir-Heywood,A.&Milios,Evangelos.(2011).A Lightweight Algorithm for MessageType Extraction in System Application Logs.Knowledge andData Engineering,IEEE Transactions on.24.1-1.10.1109/TKDE.2011.138.10 Du,Min&Li,Feifei.(2016).Spell:Streaming Parsing ofSystem Event Logs.859-864.10.1109/ICDM.2016.0103.11 He,Pinjia&Zhu,Jieming&Zheng,Zibin&Lyu,Michael.(2017).Drain:An Online Log Parsing Approach with FixedDepth Tree.33-40.10.1109/ICWS.2017.13.12 Zhu,Jieming&He,Shilin&Liu,Jinyang&He,Pinjia&Xie,Qi&Zheng,Zibin&Lyu,Michael.(2019).Tools andBenchmarks for Automated Log Parsing.121-130.10.1109/ICSE-SEIP.2019.00021.+D.贵州大学,2 0 2 2.DOI:10.27047/ki.ggudu.2022.002436.2姜树彪.语音增强技术研究及在语音识别中的应用 D福州大学,2 0 14.3陈欢.自动语音识别噪声鲁棒性方法研究 D.南京邮电大学,2014.4王为凯.基于GMM-HMM 的声学模型训练研究 D.华南理工大学,2 0 16.5 马晗,唐柔冰,张义,张巧灵.语音识别研究综述 J.计算机系统应用,2 0 2 2,31(0 1):1-10.DOI:10.15888/ki.csa.008323.6张海波,周民伟,刘晓辉,赵晓庆.智能语音识别技术在医院临床的探索与应用 J.中国卫生信息管理杂志，2 0 17,14(05):660-663.