基于深度学习的机器视觉在工业仪器检测中的应用.pdf

IM主题策划 Theme Plan40 2023年第5期基于深度学习的机器视觉在工业仪器检测中的应用翁磊，刘联峰（中检集团计量（溯源）有限公司，北京 100028）摘要：本研究旨在创建一个复合的系统框架，结合人工智能的识别技术、物联网以及信息化技术，借此实现设备检测的自动化流程。此项工作的初衷是为了进一步提升实验设备操作的效率以及准确性，通过降低人工操作带来的误差，确保实验数据的可靠性和准确性。该方案自动提取和识别实验设备的数字信息，包括设备表盘读数和设备样品序列号，并一体化控制设备参数，有效减少了人为错误和时间成本。本文介绍了技术实践过程，探讨了其性能评估结果，并展望了未来的应用前景。关键词：机器视觉；人工智能；物联网；设备自动识别；计量数字化1引言实验室作为科学研究、第三方检测的重要场所，扮演着记录和分析数据的关键角色。实验室环境通常需要细致的记录保存，以确保科学实验的可靠性和结果的再现性。传统的记录保存方法在很大程度上依赖于手工输入和手写文件，这带来了人为错误和文书差异的风险。这些风险包括：人为误差：操作人员可能会在记录数据时犯错，如写错数字、跳过某些数据或错过关键细节。这可能导致数据记录不准确或不完整。数据量大：有些实验可能涉及到大量的数据，例如在辐射量实验中，每个样本可能会产生十多个的数据点。在人工处理数据量时，容易出现遗漏或混淆数据的情况。时间压力：在实验室中，有时可能存在时间限制，需要在规定的时间内完成实验并记录数据。这种情况下，可能会感到紧迫或赶时间，容易出现匆忙或粗心的错误。机器视觉是一门涉及人工智能、神经生物学、心理物理学、计算机科学、图像处理和模式识别等诸多领城的交叉学科1。机器视觉（Computer Vision）主要关注计算机对于人类视觉系统所需解释能力的模型化与实现。这些技术已经被广泛地应用于医学、自动化制造、安全控制和智能家居等不同领域。在安全防护上，机器视觉技术已经成为一种关键的安全保护手段。利用视觉监控系统在人员通道、重要地带及交通路口等实施实时观察，能够有效地防止和应对盗窃、抢劫及火灾等意外发生。在智能制造领域，机器视觉技术同样发挥着关键作用。通过使用视觉检查技术在自动化生产线上进行快速的零件检查和分类，生产效率和产品质量能得到显著提升。投稿网站：Theme Plan 主题策划IM 2023年第5期 41医学影像方面也是机器视觉技术的重要应用领域。经由对影像数据的处置和剖析，可以助力医生迅速找到病变位置，并提高疾病检测的准确性和正确率。在实验室检测领域，目前机器视觉应用较少，且主要集中在自动化程度较高、检测设备较为精密的高端实验室中，但在大部分的已有检测实验室中以及新导入的检测设备中，各检测设备或系统整合性不强，存在较多人工读取设备数据或手工抄录多个设备系统中数据，然后再整合进统一的数据采集系统并进行检测报告的生成，检测工作效率较低、准确性稍有欠缺。本应用项目的主要目的是展示将深度学习视觉技术集成到实验室记录保存中的多种优势。具体而言，我们的目标是利用深度学习计算机视觉算法帮助准确捕捉和准确解析检测结果，同时减少与传统记录保存实践相关的时间和精力。2检测方法概述在智能制造领域，机器视觉检测技术表现出时效性好、准确性高、适用面广的特性，广泛应用于目标检测工作中2。在工业相机采集高分辨率图片数据基础上，实现多目标物体识别、位置检测，并关联目标物体的位置信息。机器视觉目标检测算法由目标特征提取器、目标分类与目标位置区域搜索方法构成。1）模板匹配方法。模板匹配是一种高级的计算机视觉技术，可识别图像上与预定义模板匹配的部分。它是在整个图像上移动模板并计算模板与图像上被覆盖窗口之间的相似度的过程。此方法过程较为复杂，需要构建多个模板，同时若采集到的目标变形、旋转等情况。会造成检测目标字符难以被识别，准确率较低。2）基于机器学习的字符识别。机器学习是将采集到的图片经过矫正处理、定位分割，最后将分割后的单个字符使用 LSSVM 算法识别目标字符3。机器学习的方案比模板匹配方案有更好的识别率和准确性。3）基于深度学习的字符识别。随着计算机视觉技术的发展，基于深度学习的目标检测方法逐渐成为主流。目前常用的目标检测深度学习算法有 YOLO 系列和 R-CNN系列算法。YOLO 算法在大目标、轻量化的场景中具有较好的检测效果，同时具有较快的检测速度。R-CNN 网络在检测的精度方面具有较好的效果4。本文主要针对深度学习的方法用于字符识别开展应用研究。3基于深度学习的工业仪器检测应用针对机器视觉在工业仪器设备检测中场景梳理，可以确定其 AI 模型的相关属性及识别的复杂程度。实验室工业仪器设备检测中除了检测设备数显仪表读数外，还有设备型号、设备编号、设备样品编号及设备厂家图标等信息，都需要机器视觉进行拍摄后并识别出结果。同时实验过程一般还需要记录溯源实验的温度、湿度数据，以及对实验设备的自动化操作控制记录等。需要对不同的实验室检测设备进行不同的实际模型分类及逻辑控制。通过对实际案例中检测需求的梳理分类发现，形状、尺寸、一次检测数量及待检测设备摆放角度等对机器视觉的识别都有一定识别精准性影响；因此，需要针对某个品牌型号和类型的待检测设备进行单独的建模训练。3.1传统计量设备计量读数采集过程以对 射线辐射计量设备的计量读数智能视觉 OCR识别为例，通过传统计量过程计量度数采集方法与基于深度学习的机器视觉 OCR 识别方法进行比对分析，对实现过程进行表述。当前实验过程主要是通过人工操作放射源设备，根据检定规程按要求发射伽马射线，同时待被检测设备读数稳定后，通过视频监控人工读取数据，并进行记录。实验过程需按要求反复执行多次，并记录数据。计量实验室-计量设备计量数据采集作业现有模式架构图如图 1所示。3.2基于深度学习的机器视觉检测需求分析设计为提升实验室自动化水平、提高检测效率，自动原始记录的主要需求：自动识别被检仪器，采集被检设备的的品牌、型号、设备样品编号的信息；自动根据检测要求，联动操作放射源设备，如：工作台、滤片位置等；对接现有监控视频，采集视频；根据检测要求，自动读取和记录仪器仪表数据、记录温度湿度；记录数据可以对接导出其他三方系统，如 Excel、实验室管理系统 Lims 等。经过改造利用人工智能识别技术、物联网及信息 化 技 术，实 现 设 备 的 数 字 OCR（Optical Character Recognition，光学字符识别）人工智能识别，从而降低人工查看记录设备数据的工作量，提升实验工作效率和准确性。通过该方案，将实验设备的数字信息（如设备表盘读数、设备样品序列号等）自动提取和识别，并一IM主题策划 Theme Plan42 2023年第5期体化控制实验设备参数，减少人为错误和时间成本。结合目前人工智能识别技术应用及方案目标，实现方案架构如图 2 所示。图 1计量实验室-计量设备计量数据采集作业现有模式架构图图 2计量实验室-计量设备计量数据采集作业-人工智能化采集模式架构图3.3基于人工智能的目标区域识别检测目标检测是指在图像或视频中自动地检测出感兴趣的目标区域，并识别出这个目标的类别。在人工智能的应用领域中，目标检测具有广泛的应用价值。基于深度学习的目标检测算法使用的是卷积神经网络（Convolutional Neural Networks，CNN）学习特征的方式，这种特征学习方式能自动发现检测及分类目标所需要的特征，同时通过卷积神经网络将原始输入信息转化成更抽象、更高维的特征，这种高维特征具有强大的特征表达能力和泛化性，所以其在复杂场景下的性能表现较好，可满足工业界的大部分应用需求。本项目中对目标区域的识别检测包括收集和整理设备数据集、训练模型和部署模型三个步骤。数据准备主要是收集、标注、划分数据集；训练模型即使用训练数据对模型进行训练，使用测试数据对模型进行测试，评估模型性能，对模型进行优化，提高检测精度和速度；部署模型即编写模型调用 api，便于其他系统集成使用。基于人工智能算法的图像目标区域识别工作流程如图 3所示。3.4基于深度学习的文本信息 OCR 识别检测OCR 识别的工作原理通常是通过将图像或扫描文档送入 OCR 算法，然后分析图像中的像素以识别不同的字符。这些字符可以是数字、字母和符号等。一旦字符被识别出来，它们就可以被转换为计算机可读的文本格式，比如 Word 文档或文本文件。为了保证识别的准确度，会对图像进行一系列的处投稿网站：Theme Plan 主题策划IM 2023年第5期 43理。首先将目标检测算法得到的结果进行处理，得到设备屏幕，进一步处理获取有效数据区域。在对图像进行差值处理，提高图片内文字的区分度，最后通过数字 OCR识别算法，得到数字文本进行记录。电子显示屏文本信息的定位与 OCR 识别如图 4 所示。图 4电子显示屏文本信息的定位与 OCR 识别3.5一体化控制一体化控制是对实验室检测设备和实验室管理软件的集成，使得智能检测与现有控制软硬件形成一体化的流程，进一步实现自动化控制。一体化控制作业流程图如图 5 所示。图 5一体化控制作业流程图4实验结果与分析在此场景下应用了基于深度学习的机器视觉算法后，对实验操作流程准确性和效率有显著的提升，对于单设备计量的检测数据采集，平均每设备检测数据采集时间由原来的 20min 减少到 10min，采集效率提升 100%。对于单次多设备检测，平均每设备检测数据采集时间由原来的8min 减少到 2min，采集效率提升 300%，同时，数据的可访问性大大提高。实验室检测自动识别模型如图 6 所示。图 6实验室检测自动识别模型图 3基于人工智能算法的图像目标区域识别工作流程IM主题策划 Theme Plan44 2023年第5期1）提高准确性。计算机视觉算法有可能显著减少记录和减少实验室结果时的人为错误。通过自动化检测和处理，可以有效消除手动数据输入产生的错误，确保数据完整性，降低误解风险。2）提高效率。通过计算机视觉技术实现数据采集和文档记录的自动化，使实验室人员能够将时间和专业知识分配给更关键的任务。人工数据输入和转录容易出错且耗时，可以用计算机视觉工具取代或增强，从而减少记录保存所需的总时间。3）提高数据可访问性。计算机视觉技术允许创建易于搜索和访问的数据库，借助于一体化控制技术，与实验室现有管理软硬件集成。这使研究人员能够高效地检索和分析数据，加快研究人员科学研究和数据报告的产出效率。5未来发展展望5.1人工智能和机器学习人工智能（AI）和机器学习（ML）算法在计算机视觉技术中的集成为推进实验室记录保存带来了巨大的希望。这些技术有可能提高检测的准确性，优化数据管理，并促进实时分析。人工智能和机器学习技术使实验室自动化系统能够自动调整实验参数以达到最优结果。通过不断学习和调整，可以提供更高的实验成功率和效率，提高效率。融合了人工智能和机器学习技术的实验室自动化系统可以根据其内部学习模型和规则进行自主决策，以解决实验中的问题。它能够识别并解决常见的错误和挑战，提供实验室工作人员更具创造性和战略性的思考空间。5.2与物联网和 5G 技术融合物联网可以通过连接仪器、设备和传感器，实现设备的智能化和自动化。传感器可以收集实验数据和环境信息，将其传输到云端，从而实现实时监测、远程操作和数据分析。这可以大大提高实验室的运行效率和数据质量，并减少人为错误。5G 技术的高速传输和低延迟特性可以提供更稳定和可靠的通信。这意味着实验室可以实时传输大量数据，并迅速响应远程操作。此外，5G 技术还支持更多设备的连接，为实验室的扩展和升级提供便利。这种融合还可以实现实验室的远程访问和协作。实验室人员可以通过互联网连接到实验室设备，实时监控和操作实验过程。这样，在一些室外场景也可以实现自动化检测，可以帮助实验室实现更高效、更智能的运作。6结论本研究成功地融合了基于深度学习的人工智能识别技术、物联网技术和信息化技术，实现了工业仪器实验设备自动识别。融合创新技术不仅提高了工业仪器和实验设备的操作速度，更加精确地实现了对数据的把握和控制，从而极大提高了实验的效率和准确性。同时，解决了数据溯源、错误纠正和实验重复性等复杂问题，实现了科学实验的信息化和智能化。这一融合创新在科研、工业生产和医疗保健等领域具有潜在的广泛应用前景，在数据驱动背景下，将为提高数据管理和实验操作水平做出重要贡献，进一步优化和提高各领域的运作效率和准确性。随着本领域研究的不断深入和技术的不断进步，有望更好地满足社会和科学的需求。期待通过基于深度学习机器视觉和信息技术的不断发展，为工业智检贡献力量。参考文献1 章炜机器视觉技术发展及其工业应用 J红外，2006(2)：11-17 2 尹仕斌，任永杰，刘涛，等机器视觉技术在现代汽车制造中的应用综述 J光学学报，2018，38(8)：11-223 林剑萍，廖一鹏基于 OpenCV 和 LSSVM 的数字仪表读数自动识别 J微型机与应用，2017，36(2)：37-404 汤鹏，刘毅，魏宏光，等基于 Mask-RCNN 海上升压站数字式仪表读数的自动识别算法 J红外与激光工程，2021，50(S2)：163-170收稿日期：2023-09-20