2023工业视觉技术与应用白皮书.pdf

工业视觉技术与应用 白皮书 (2023)中移智库中移智库 中国移动通信中国移动通信有限公司有限公司研究院研究院 工业视觉技术与应用白皮书 前 言 本白皮书旨在对中国移动及合作伙伴在工业视觉产业发展的现状、关键技术、典型案例等方面进行分析，同时提出工业视觉产业推广的倡议。希望通过该白皮书为未来工业视觉产业的技术、产品以及解决方案的发展与实施提供参考和指引。本白皮书的版权归属于中国移动，未经授权，任何机构或个人不得复制或拷贝本建议之部分或全部内容。工业视觉技术与应用白皮书 目 录 1.工业视觉发展概述.1 1.1 工业视觉发展意义.1 1.2 国内外政策导向.1 1.3 工业视觉发展趋势.3 2.工业视觉关键技术.7 2.1 采集技术.7 2.2 处理技术.9 2.2.1 工业视觉智能边缘平台.9 2.2.2 机器视觉算法.13 2.2.3 算力设施.15 2.3 应用技术.18 3.典型应用场景案例分析.20 3.1 工业质检.21 3.1.1 案例背景与需求.21 3.1.2 实施案例.21 3.1.3 实施效果.23 3.2 无人机设备巡检.24 3.2.1 案例背景与需求.24 3.2.2 实施案例.25 3.2.3 实施效果.26 3.3 尺寸测量.26 3.3.1 案例背景与需求.26 3.3.2 实施案例.27 3.3.3 实施效果.28 3.4 产线监控.28 3.4.1 案例背景与需求.28 3.4.2 实施案例.29 3.4.3 实施效果.30 4.总结与展望.31 4.1 挑战.31 4.2 展望.32 5.缩略语列表.33 6.参考文献.34 工业视觉技术与应用白皮书 1 1.1.工业视觉工业视觉发展发展概述概述 1.11.1 工业工业视觉视觉发展意义发展意义 全球正在经历由人工智能、物联网、大数据、生命科学为代表的创新技术融合而成的第四次工业革命。工业互联网、智能制造等概念不断向工业技术、生产工艺、经营管理、营销服务等环节渗透，推动制造业加速向数字化、网络化、智能化发展。现代工业的发展旨在构建一个以工厂智能化生产为导向，以数据自动流转为本质的全新工业生态体系。数据作为贯彻现代化工业产品全生命周期的核心，在整个工业生态中不断地产生和流动，其低延时、高可靠、广覆盖的特性，对工业生产过程中的数据处理技术和计算技术提出了更高挑战。机器视觉作为现代工业中把人、数据和机器连接起来的重要一环，是工业转型的重要技术，为制造业带来生产周期、质量和效率的同步改善。随着信息技术、现场总线技术、深度学习技术的发展，视觉数据在工业数据中的比重不断增加，视觉技术的发展在工业数据的挖掘和有用信息的获取方面有着关键作用。近年来，我国工业机器视觉行业研发投入占比稳步提高，工业视觉的应用边界在不断开拓，产业价值不断提高，市场规模逐年扩大。基于工业视觉的自动化检测设备已成功应用于玻璃纤维、复合材料、食品医药、金属加工等行业，已成为现代加工制造业不可或缺的部分，极大地提高了制造企业生产品质和效率。1 1.2.2 国内外政策导向国内外政策导向 现代工业智能制造是各个国家的重要战略发展方向，工业视觉作为智能制造的关键技术之一，全球范围内的主要工业强国都发布了相关的中长期发展规划。工业 4.0 最早由德国学术界和产业界共同推动形成，2013 年纳入德国高技术战略 2020的十大未来项目，被认为是德国巩固全球制造业龙头地位和抢占第四次工业革命国际竞争先机的国家战略。作为老牌工业强国，德国在重点发工业视觉技术与应用白皮书 2 展智能生产与智能工厂的过程中，强调以制造业为本体，依靠机器视觉实现工业自动化彻底变革，旨在将德国打造成为全球市场中智能制造技术的主要供应商。美国政府通过大力支持“先进制造伙伴关系”（AMP）计划发展创新基础设施，建立国家智能制造创新网络。法国政府先后推出“新工业法国”和“新工业法国”，布局数字制造、智能制造，带动商业模式变革。日本政府提出日本制造业白皮书 把“互联工业”作为未来产业。英国政府提出“英国制造 2050”推动未来的产品和生产网络与信息通信技术融合。我国在迈向以信息通信技术科技深度应用为主要特征的科技革命新阶段，积极促进制造业与互联网的融合，从强调技术、研发、基础能力逐步扩展到重视具体实际应用场景方面出台了一系列激励政策。2015 年，中国制造强国战略第一个十年行动纲领“中国制造 2025”，首次提出支撑工业视觉等新一代智能感知技术的发展。十三五规划时期，国家在重点领域核心技术突破、基础能力建设方面发挥方向性指导作用，出台的新一代人工智能发展规划指出积极研究无人车间智能技术，研究复杂环境下基于机器视觉的定位、导航、识别等机器人及机械手臂自主控制技术，抢抓人工智能发展的重大战略机遇，构筑我国人工智能发展的先发优势。2020 年的 工业互联网创新发展行动规划（2021-2023 年）提出加强工业互联网基础支撑技术攻关，支持工业 5G 芯片模组、工业视觉传感器及行业机理模型等基础软硬件的研发突破。最新的十四五规划提出要重视具体实际应用场景、重视产业链协同等方向引导。2021 年 12 月发布的“十四五”机器人产业发展规划与十四五智能制造发展规划 指出要重点支持企业应用新一代信息技术改造的智能化工厂、数字化车间，加快高清成像、工业视觉技术研发与应用，鼓励工业软件企业打造更多产品。工业视觉技术与应用白皮书 3 图 1.1 国内部分工业视觉相关政策解读 依托政策的支持，近年来业界对工业视觉积极展开了理论和实践探索，相关概念已经普及并且进入应用推广新阶段。现在工业视觉已经涵盖了工业领域的众多行业，为工厂的智能化发展奠定基础。1 1.3.3 工业工业视觉视觉发展发展趋势趋势 机器视觉作为人工智能技术发展的重要分支，是通过传感器接收和处理真实物体的图像，以获得所需信息或控制机器人运动的技术。工业场景对机器视觉技术的需求持续推动着工业机器视觉技术的发展，随着工业自动化技术向着智能化方向演进，工业视觉被越来越多地应用于包括流水线产品视觉质量检测、基于视觉引导的机械臂作业以及智能工厂建设在内的各种工业生产场景中。如图 1.2，调研机构 Markets and Markets 的数据显示，2010-2020 年全球机器视觉市场规模呈现不断上升的趋势，2020 年全球机器视觉市场规模已有 107 亿美元，近 5 年复合增速达 14.48%，在 2020-2025 年预测期内的复合年增长率为 6.1%，市场需求巨大。工业视觉技术与应用白皮书 4 图 1.2 全球机器视觉行业市场规模 数据来源：Markets and Markets 我国工业视觉行业自上世纪八九十年代始萌芽，加入世贸组织后加速发展，2010 年前后随我国产业结构升级进入高速发展期，随国产化应用需求逐步提升、自研比例逐步提升，目前我国工业视觉行业已经步入超越期。如图 1.3 所示，我国在 2016-2021 年间工业视觉规模从 47 亿元增长至 178 亿元，年复合增长率约30%。预计在“中国制造 2025”等政策的驱动下，我国工业视觉市场规模将继续保持高增长态势，到 2026 年，市场规模将有望突破 500 亿元，期间年复合增长率约为 25%。图 1.3 中国工业视觉市场规模及增速 资料来源：甲子光年智库 机器视觉系统在未来工业领域将展现出巨大的应用前景，主要依托以下几方工业视觉技术与应用白皮书 5 面优势：1）非接触式测量：机器视觉基于光学成像技术，观测者与被观测者无需接触，做到无损测量，系统稳定性高。2）光谱响应范围广：机器视觉使用的传感器可覆盖红外、紫外等波段，有效扩展人眼视觉范围。3）长时间稳定工作：机器视觉可以对物体实现长时间稳定测量、分析、识别，克服因人眼疲劳对观测者工作时长的限制。4）可重复性强：机器视觉系统根据预设观测标准进行评判，被观测物体不受观测者的主观因素影响，具有强可重复性。工业视觉产业链上游包括以光源设备、相机及镜头设备、视觉控制器为主的核心元器件厂商和视觉处理分析软件研发厂商，二者共同为中游的系统集成商与设备制造商提供底层支持，产业链下游集成服务商将智能视觉设备与生产工艺相结合，并通过分销渠道触达行业用户。上游：涉及的软硬件定制化程度高，底层算法库需长时间市场积累。外资企业，如基恩士、康耐视等国际厂商凭借着先发优势实现对市场的垄断，国内由于自动化进程的时间较短，目前主要实现中低端领域的国产化。中游：系统集成商面向设备制造商或者最终用户提供硬件集成、软件服务等解决方案。目前国内系统集成行业门槛较低，市场竞争较为激烈，行业盈利空间相对有限。设备制造商不仅需要集成系统，还要将光源、镜头、相机、图像采集卡、视觉分析软件等与软件系统结合，针对特定下游应用场景进行开发，制造完整的机器视觉系统或装备。下游：涉及应用场景落地和产品交付的关键环节，深度集成、融合的解决方案提供方通过掌握各种设备在不同生产环境中的应用技术，提供适用于不同行业的完整解决方案。当前，工业视觉产业链的集成商负责将工业环境、生产环节的数据需求转化为产品、解决方案需求，整合上游软硬件和配套服务，是服务工业客户的重要界面，是产品落地的主要承担方。工业视觉技术与应用白皮书 6 图 1.4 中国工业视觉企业图谱 工业视觉技术与应用白皮书 7 2.2.工业视觉关键技术工业视觉关键技术 2.12.1 采集技术采集技术 相机作为工业领域主要的图像采集设备，是将光信号转换成电信号，并通过规定接口发送至接收端以提供清晰、准确的高清图像的一体式设备，是工业机器视觉中的关键组件之一。根据标准不同，传统工业相机主要分类方式如下：1）根据芯片类型分为 CMOS 和 CCD 两种相机，对比如表 2.1 所示。由于集成电路技术的限制，早期 CMOS 相机噪声大、灵敏度差、分辨率低，在成像效果上明显差于 CCD，故其后的几十年内主流图像传感器技术以 CCD 为发展方向。近年来，随着集成电路技术的迅猛发展、工艺水平不断提高，CMOS 相机的诸多缺点已得到大幅改进，而其集成度高、价格低廉等固有优点使得 CMOS 相机成为主流。参数 CMOS CCD 信噪比 低 高 敏感度 高 更高 体积 小 大 功耗 低 高 曝光一致性 低 高 全局快门实现性 难 易 系统复杂度 低 高 成本 低 高 表 2.1 CMOS 与 CCD 相机对比 2）根据像素排列方式可分为线阵相机和面阵相机。面阵相机使用像素矩阵进行光学采集，并将采集的信息转换为完整的二维图像信息，目前大多数场景的图像采集以面阵相机为主。线阵相机将像素矩阵的长度增加，宽度缩减至几个像素，使像素矩阵呈现“线状”，通过扫描和运动完成图像信息的采集，并在软件端将拍摄的图像进行拼接。其适用于曲面物体、狭长物体的表面图像采集，可实现如传送带、滚筒之类产品的表面瑕疵检测。TDI(Time Delayed and Integration)线阵相机是一种具有一工业视觉技术与应用白皮书 8 种面阵结构、线阵输出的新型光电传感器相机，相较普通的线阵相机具有多重级数延时积分的功能，可以对同一目标多次曝光以增加对光能的收集，具备更高的灵敏度、响应度、和动态范围等优点，在低光照度环镜下也能输出一定强度信噪比的信号。3）根据色彩类型可分为单色（黑白）相机和彩色相机。单色相机可收集更加完整的图像信息，图像质量优于彩色相机。彩色相机在色彩呈现过程中，因算法无法精准还原色彩信息会出现伪彩色、摩尔纹等图像缺陷，而低通滤镜在抑制上述缺陷时会损失图像的锐度和立体感。在彩色相机图像质量技术提升方面，富士公司“X-TRANS CMOS”采用不规则阵列以去除低通滤镜，适马“Foveon X3”技术采用单像素三层感光元件记录信息。4）根据分辨率大小可以分为普通分辨率相机和高分辨率相机。高分辨率相机要求相机输出图像分辨率在 1280*720（720p）以上，最新的超高清相机则要求分辨率高于 3840*2160（4k），是继标清、高清后的新一代图像采集技术，具有清晰度高、色彩还原性好、性能稳定等特点。为了提高产品的检测精度，工业领域低数据量图像采集正向高数据量图像采集转变，超高清相机的使用范围也在逐步扩张。超高清相机目前以面阵 CMOS相机为主，可适用于手机面板和 PCB 板等具有固定视野面积的产品检测。此外，工业相机还可以根据扫描方式分为隔行扫描相机和逐行扫描相机，根据输出信号速度分为普通速度相机和高速相机，根据响应频率范围分为可见光（普通）相机、红外相机、紫外相机和 X 射线相机等。随着 3D 成像技术的日趋成熟，3D 相机在工业领域的应用越发广泛。3D 相机能够精准获取物体三维信息，包含更加精细且全面的图像信息，受到环境光线等噪声的影响较小，使应用系统鲁棒性更好。目前，3D 成像技术主要应用于室内工业场景的产品质检、物体测量、机械臂的引导等任务。2022 年 2 月，梅卡曼德推出新一代 Mech-Eye Laser 工业级激光 3D 相机，其在性能、精度以及扫描速度上都有了很大提升。该产品可应用于大范围工件上料、引导定位等典型场景，可满工业视觉技术与应用白皮书 9 足工业生产环境对于视野、精度、扫描速度等方面的需求。SIGAI 发布的全球首款室外全场景、高精度(毫米级)、高分辨率、低成本双目立体 3D 相机 Tensor 1 Pro 适用场景更广泛，可实现物体测量、机械臂引导、工业质检、工业测量等功能。未来十年，3D 机器视觉在工业制造领域占据的分量将越来越重，视觉感知交互能力将成为智能终端的核心底层能力，随着工业 3D 视觉技术的崛起和柔性制造的客观需求，工业视觉将是基于 3D 机器视觉的控制与 AI 认知系统结合。2.2.2 2 处理技术处理技术 工业视觉处理技术是工业视觉领域转型升级的动力，是企业数字化转型、智能化升级的关键因素，主要涉及算力硬件、机器学习算法及智能边缘平台。随着工业互联网数据量的持续增加以及数据处理需求的多样化，基于云端的大数据处理面临着实时性、安全性、低带宽、低成本等多方面的挑战，推动了边缘计算及平台的快速发展。智能边缘计算平台可通过云端协同平台对边缘算法、应用、数据、系统、设备、终端进行集中管理，帮助企业用户提升运营水平，增强生产系统弹性，获得更高的成本效益。由于边缘设备的算力、存储和网络通信等硬件条件相对受限，在边缘端直接进行机器学习算法的部署与推理较为困难，因此在边缘计算的场景下针对通用机器学习算法的优化研究同样具有重要的意义。2.2.2 2.1.1 工业视觉工业视觉智能边缘智能边缘平台平台 边缘计算是现代工业计算领域的重要进步。边缘计算产业联盟（ECC）将边缘计算定义为：在靠近物或数据源头网络的边缘侧，融合网络、计算、存储、应用核心能力的分布式开放平台，就近提供边缘智能服务，满足行业数字化在敏捷链接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。随着各类传感器、超高清摄像头、智能机器人在工业制造中被大量使用，工业数据资源总量呈现爆炸性增长，数据作为工业发展的重要引擎，其安全性和实时性尤为重要。工业视觉智能边缘平台融合工厂内部本地网络设备、算力设备、存储设备，与云端协同进行大数据存储、算法训练，无需通过企业核心网即可直接处理工业视觉技术与应用白皮书 10 本地边缘数据，可以很好地满足现代工业智能制造所需的低延时、高带宽、大连接、高隐私等特性。工业视觉智能边缘平台既可以充分利用云计算技术来实现工业视觉能力的共享，提供统一监控与运维能力，同时可以借助边缘计算技术，在靠近产线的边缘处对视频进行实时分析，实现与业务的联动与闭环。目前的工业视觉智能边缘平台主要分为开源框架与商业产品。其中 Linux 基金会为边缘计算发展发起的开源项目LFEdge，包括Akraino Edge Stack 和 Edge X Foundry 等项目，具有较大的市场影响。ONF 基金会、华为、阿里巴巴、百度等分别宣布将 CORD、KubeEdge、OpenYurt、OpenEdge 等边缘计算平台开源，这些平台依赖各自的领域优势也都有较为完善的应用生态发展。EdgeX Foundry K3S KubeEdge StarlingX OpenEdge 云边协同 不支持 不支持 支持 支持 支持 原生支持 K8S 不支持 支持 支持 不支持 不支持 边缘组件资源占用 中 小 最小 较大 较大 部署复杂度 复杂 简单 简单 复杂 复杂 去中心化 否 否 是 否 否 支持 MQTT 支持 支持 支持 支持 支持 容器化编排 不支持 支持 支持 支持 不支持 表 2.2 主流边缘计算平台及性能对比 2.2.1.1 星辰视界视频云边智能平台 中国移动星辰视界视频边缘智能平台（如图 2.1 所示）基于云原生技术构建，可以运行在多种边缘设备上，将视频机器学习的多种智能应用以轻量化的方式从云端部署到边缘，满足多种场景下视频边缘智能化服务需求。面向工业视觉可以提供完整的视频边缘智能解决方案，采用“中心+边缘”的分级架构，将云端视频、视频质检等的能力以及第三方平台的视觉能力下沉至边缘侧和端侧，满足数据不出园区、低成本、灵活部署、边端轻量化能力定制等应用需求。工业视觉技术与应用白皮书 11 图 2.1 星辰视界视频边缘智能平台全景视图 针对工业视觉行业在不同场景下对资源、监管、运维等多方面的不同诉求，如图 2.2，星辰视界边缘智能平台面向工业场景提供三种部署模式：1）全托管模式：视频边缘智能管理平台和边缘节点分别部署在移动云和移动边缘云，用户无需管理任何实体服务器资源。2）云入驻模式：视频边缘智能平台部署在移动云，而边缘节点由用户自己管理，其可以是位于 IDC 中的服务器资源，也可以是用户购买的第三方云平台中的服务器资源，只要这些服务器可以和管理平台网络连通即可。3）全入驻模式：智能视频边缘管理平台和边缘节点都部署在用户自己的基础设施中。图 2.2 星辰视界视频边缘智能平台入驻模式 星辰视界视频边缘智能平台可以灵活加载丰富的边缘智能算法，通过云边结合，降低云端计算成本，缩短响应时间，减少从终端设备到云端的数据流量，降低带宽成本。同时作为基于边缘计算的工业视觉平台，具有安全性高、运维成本工业视觉技术与应用白皮书 12 低、兼容性强等优点。2.2.1.2 研华工业云平台 研华 WISE-IoTSuite 工业互联网平台（图 2.3）将工业互联网平台能力下沉到边缘端，以融合网络、计算、存储和应用核心能力的分布式开放架构，为工业现场就近提供基于云原生的边缘计算智能服务，满足行业数字化在敏捷联接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键诉求。图 2.3 研华 WISE-IoTSuite 架构图 WISE-IoTSuite 平台端侧可对接各种终端设备和各类系统的数据，包括如数控机床、SMT 贴片机、晶圆清洗机在内的各类工业设备，高清摄像头等视频设备，以及上位机、ERP 系统、MES 系统等各类系统数据。终端设备之上的边缘网关，可以用于数据的接入、设备管理、设备反向控制等，也可以搭配可视化工具。此外，边缘网关即可实现监控可视化和告警通知功能，以满足小场域的需求。如果边缘网关较多，数据量大，可在边缘网关与中心平台之间加一层边缘计算平台，南向进行数据采集、反向控制以及网关的管理，北向与云平台对接实现云边协同。边缘计算平台除了提供数据接入、设备管理、系统远程运维、设备预兆诊断、可视化等基本功能外，还可以结合机器学习提供智能分析能力，支持第三方算法对接和算法可持续更替。对于终端的设备或网关，平台提供远程运维能力，可远工业视觉技术与应用白皮书 13 程管理边缘网关和终端设备。边缘计算平台也支持离线自治，在边缘侧与云端网络不稳定或弱网断网情况下实现业务本地自治，待网络通信恢复后，再将数据同步到云端。边缘计算平台之上是实现企业集中管理的 IoTSuite 工业互联网平台，可提供包括设备物联、数据存储、大数据分析、人工智能、视频管理、协同管理、以及资源管理等功能，与其下的边缘计算平台实现资源、服务、应用的协同。2.2.2 2.2.2 机器视觉机器视觉算法算法 工业视觉技术路线方向正由传统的简单工业视觉算法向基于深度学习的机器视觉转变。传统的工业视觉算法基于手动选取的特征，往往泛化能力较弱，受环境噪声影响较大，在面对随机性较强，特征提取复杂的工业产品检测场景下，难以满足任务在精度和通用性方面的需求。工业场景下基于深度学习的算法任务主要包括对工业设备、作业人员和制造环境中的特定物体与人的识别分类，检测定位与目标分割。通用视觉算法大多基于深度神经网络来实现，具有复杂的网络结构和庞大的计算量和数据量，但工业场景下受限于边缘设备的算力、存储和网络通信等硬件条件，在边缘端直接进行视觉算法的部署与推理较为困难。因此，对于工业视觉算法优化研究具有重要的意义。视觉算法在边缘端进行部署和推理主要存在两大问题，即原始模型复杂度较高，难以直接部署到资源受限的边缘设备上；模型在边缘设备上进行推理的耗时较长难以满足实际任务的需求。针对这些问题，现有的工业视觉优化算法主要包括模型压缩和推理加速两大类。模型压缩算法通过对原始模型的冗余参数和复杂计算进行压缩和替换，从而减少存储占用、通信带宽和计算复杂度，赋能机器学习算法在边缘端的应用与部署。根据具体的压缩机理，模型压缩算法可以分为量化、剪枝、知识蒸馏和网络结构搜索五类。1）在深度神经网络中，模型中的参数通常以 32 位浮点数的形式进行存储和工业视觉技术与应用白皮书 14 计算，量化通过减少表示每个参数的表示位数来压缩原始网络。根据具体的量化位数，可以将量化分为 8-bit、4-bit，甚至是二值化。2）剪枝是通过裁剪原始网络中的一些不重要的参数来减少 DNN（Deep Neural Networks）模型的存储和计算成本，根据剪枝的粒度，可以分为权重剪枝、卷积核剪枝以及层剪枝等，不同的粒度代表了不同的压缩水平。3）知识蒸馏是指通过构建一个轻量化的小模型来替代原始的复杂大模型，基于性能更好的大模型的监督信息来训练这个目标模型，以达到更好的性能和精度。基于知识蒸馏的方法可以使模型的深度变浅，并且能够显著降低计算成本。4）网络自动搜索算法基于某种搜索优化算法，在特定的搜索空间中找到满足要求的最优模型结构和参数，搜索出来的模型通常比原始模型具有更好的性能，同时，由于搜索空间的限制，目标模型的通常可直接在边缘端进行部署和应用。以上这些模型压缩算法通过对原始的模型进行压缩和改变来适配边缘设备，这为边缘计算场景下工业视觉机器学习算法的应用提供了支撑。推理加速算法通常指在特定设备平台上，对运行时的性能进行优化，以提升AI 模型的计算效率，降低推理延迟。根据优化方法的层次，可以分为算子优化、图优化和推理框架支持等。1）算子优化主要指对神经网络中的特定计算单元的计算逻辑进行优化，如用 FFT 卷积和 Winograd 卷积运算来代替原有的卷积操作，优化后的卷积具备更少的乘加运算量，降低了原始模型的计算复杂度。2）图优化是多个算子之间的计算逻辑的优化，通过将原始计算图中的胶水算子进行消除或者融合多个常规计算来优化计算图的执行逻辑，显著提高了模型的计算效率。3）在对模型进行边缘端部署时通常离不开推理框架的支持，同一模型在不同设备，不同推理框架下的推理性能也不尽相同。不同推理框架通常对工业视觉技术与应用白皮书 15 某些硬件平台设置了软硬件协同优化，极大提高了模型的实际推理速度。因此，模型部署时推理框架选取的合适与否影响着最后的推理性能。在边缘计算的背景下，机器视觉模型优化算法对工业视觉技术的应用中发挥着重要的作用，高效的优化算法保障了视觉应用在边缘设备上的部署及其推理性能，推动了工业视觉应用的落地与实施。2.2.2 2.3.3 算力设施算力设施 算力作为工业视觉处理技术的基础。随着工业制造技术不断精进，工业视觉在边缘端的智能逐渐增强，未来越来越多的智能场景将诞生于边缘端。为了有效降低延迟，并在必要时能够立即响应。目前，边缘端需要采集的数据量越来越大，边缘网络实现计算处理能够减轻数据回传的网络带宽压力、提升处理效率。因此，工业视觉的推理和计算正越来越靠近边缘端，以便实现更高精度、更快速的图像检测等。目前工业视觉的算力硬件主要存在两条发展路径。其一，端侧设备的能力逐渐增强，以更小巧的形态覆盖算力要求中等、环境多变灵活的场景。其二，云端设备功耗逐渐降低，以中小型服务器的形态覆盖对延迟、流量、算力都有要求的场景。未来随着场景细分，工业视觉将融合更多边缘计算单元来应对不同场景的特殊需求，针对更多细分行业的定制化的高性能、低功耗算力设施将成为趋势。2.2.3.1 ARM 算力平台 随着数据中心计算需求呈现指数级增长，其电力消耗也呈现持续增加的趋势，特别是在针对工业视觉领域的边缘和云端服务器。这类服务器的电力消耗已经超过了全球电力消耗的 2%。不断凸显的能耗问题要求寻求低功耗但高效的计算方案，同时，云业务对计算核心数的需求也在剧增，因此提升单节点支持的核心数成为解决方案中的一个重要议题。针对这一情况，采用基于 Arm 架构的 Neoverse 方案呈现出许多优势。这些工业视觉技术与应用白皮书 16 方案在保持相同功能性能的前提下，占用更小的芯片面积、功耗更低、集成度更高。此外，这些硬件 CPU 核心也表现出更好的并发性能。具体而言，基于 Arm 架构的服务器在性能上比传统架构的服务器高出 30%以上，同时单位性能总拥有成本（TCO）还可以降低 20%以上。图 2.4 周易人工智能平台 安谋科技（Arm China）在面向工业视觉领域的边缘设备方面，依托于 Arm架构的研发成果，推出了一套综合性的人工智能平台，其中包括了全新的硬件处理器人工智能处理单元（“周易”NPU），以及完整的软件工具链。这个通用人工智能平台能够满足中低算力需求，同时支持通用和定制的工业视觉算法。它同时兼容 Arm CPU、Mali GPU 以及第三方硬件，构成了工业视觉领域边缘设备的底层硬件基础，旨在提高人工智能应用开发的效率，满足工业视觉领域边缘设备在算力需求和主流算法适配方面的要求。基于 Arm 架构的解决方案（包括 Arm Neoverse+周易的 CPU+NPU 组合），在工业视觉领域的边缘设备和云端服务器应用方面提供了高性能、低功耗和强大的人工智能计算能力。2.2.3.2 Intel 算力平台 英特尔面向智能工业相机提供的基于 Elkhart Lake 平台全新开发的物联网增强型处理器产品线：英特尔凌动 x6000E 系列、奔腾和赛扬 N 和 J 系列处理器，以更高水平的 CPU 和显卡性能为基础，满足基础机器视觉负载需求，实现低功耗、低成本以及高集约性设计的算力硬件，同时集成了物联网功能、实时性能、可管理性、安全性和功能安全性，可以帮助合作伙伴设计出高敏捷性的一体工业视觉技术与应用白皮书 17 化视觉检测系统。图 2.5 第六代智能英特尔 凌动 处理器 面向机器视觉控制器英特尔基于 Tiger Lake 平台开发的第十一代智能英特尔 酷睿处理器，为基础版、进阶版、高级版的视觉控制器系统提供了不同算力级别的硬件支撑，可以广泛满足用户的不同算力需求。其采用的第三代 10 纳米工艺技术的低功耗平台专为物联网市场提供性能和响应能力的平衡，可支持低延迟和时间敏感型应用程序，可在单个平台上运行包括 AI 和深度学习应用程序在内的多个工作负载。图 2.6 第十一代智能英特尔 酷睿 处理器 结合国内市场的实际情况，英特尔和国内厂商一起针对机器视觉应用定义了基于工业边缘计算节点参考设计的视觉控制器。此参考设计提供高速 IO，POE 网口用于相机供电，无需外置电源线，多个 USB3.0 接口，支持多路相机接入，外工业视觉技术与应用白皮书 18 置光源，串口，IO 模块，PCIE/M.2 扩展口支持 AI 加速卡和 5G 模块。可支持主流多相机应用如定位，检测，识别等。2.2.3 3 应用技术应用技术 在工业智能制造领域，机器视觉在实现其功能时不仅限于单纯的视觉检测，更倾向于与运动控制进行深度融合，以实现类似人类手眼协调的操作方式。其中，机器视觉与机械臂的协同应用是一种典型范式。在这种情境下，机器视觉承担定位和识别的任务，协助机械臂在生产过程中进行物体的抓取、放置以及其他相关的延伸动作。机械臂通过其内置的感应装置，如摄像头、电磁感应设备以及声音感应设备，获取周围环境的信息，并将这些信息传递至中央控制系统。中央控制系统将获得的信息进行数学建模，并将模型反馈至下一层控制。通过预设的程序和算法，控制系统对信息进行识别和处理，最终发出相应的指令，驱动机械臂执行相应的动作。机械臂在持续的循环中获取、处理信息，并根据反馈不断调整自身动作，以实现更高精度的操作。通过机器视觉辅助的运动控制，生产过程可以更加灵活地应对不断变化的需求，不再局限于简单的固定点对点移动，从而能够满足日益复杂的生产工艺要求。图 2.7 研华工业机械臂产品 以智能激光加工设备为例，运用工业视觉控制解决方案，实现了一个完整的智能操作流程。该流程包括信息化派单、机器手的视觉定位和抓取上料控制、传送带的物料传递、加工件视觉定位的补正、入料瑕疵的检测、激光加工、成品的工业视觉技术与应用白皮书 19 品质检测、机器手进行品质分检和下料控制，以及生产数据的上云等一系列步骤。工业视觉与运动控制的融合为生产线自动化升级注入新的动力，其应用领域也逐渐扩展至非接触检测和测量场景，旨在提升加工精度、发现产品缺陷、实现自动分析与决策等，从而成为先进制造中不可或缺的重要组成部分。目前，机器视觉技术在工业自动化领域的应用跨足光学、电子、机械和工业软件等多个学科领域，技术挑战依然较为显著，特定领域的市场准入壁垒也相对较高。然而，机器视觉与运动控制技术的结合具备促进工厂产线自动化程度、优化产品品质管控以及调整人力成本结构等方面的潜力，有望提升企业的综合竞争力。工业视觉技术与应用白皮书 20 3.3.典型应用场景案例分析典型应用场景案例分析 工业现场中，工业视觉技术具备广泛的应用前景和市场需求。随着人工智能、大数据技术以及云计算技术的不断发展，传统的基于人工判断的视觉场景正在向智能识别方向迈进。目前，工业视觉技术的应用主要囊括了产品缺陷检测、设备故障诊断、外观尺寸测量以及工厂安防监控等四个关键领域。1）产品缺陷检测：表面缺陷检测主要着眼于物体表面局部存在的物理或化学性质不均匀区域。常见的情况包括金属或塑料制品表面出现的划痕、斑点、孔洞等；纸制品表面的色差、脏污点、破损、压痕和凸起等；以及非金属制品如玻璃等表面存在的杂质、破损、污点和平整度问题。采用基于工业视觉的缺陷智能检测与识别技术，可以有效解决人工检测过程中耗时耗力的挑战。2）设备故障诊断：传统的设备或机械故障检测依靠人工经验，这种方法容易出现漏检、误检等问题，其效率相对较低。机械工业技术在此背景下，通过为各个工厂的设备配备传感器，对设备的运行状态进行实时监测，并借助视觉技术构建设备故障的模型。这一方法使得在故障发生之前，可以提前预测可能的故障。通过在故障出现前对可能存在问题的部件进行更换，有助于确保设备在运行时不会受到干扰，从而显著改善故障检测效果，增强故障预测和防范的能力。3）外观尺寸测量：尺寸测量是机器视觉技术中最为典型的应用之一，尤其在工业自动化制造领域具有广泛应用。在这一场景中，机器视觉技术被用于对工件的多种尺寸参数进行测量，包括长度、角度、弧度以及面积等。基于工业视觉检测技术的尺寸测量方法具备成本低、高精度、高效率以及操作便捷等诸多优点。其非接触性、实时性、灵活性和准确性能，有效地克服了传统检测方法存在的问题。4）工厂安防监控：工业安防应用针对人员和车辆通行、综合安防管理以及工厂安全巡视等场景，通过采集图片、视频等信息，借助机器视觉技术工业视觉技术与应用白皮书 21 进行处理和应用，以实现对安全状况的预判与预警，从而达到安全防护的目标。3.13.1 工业质检工业质检 3.1.1 3.1.1 案例背景与需求案例背景与需求 作为中国人工智能市场中制造业应用落地较为成熟的场景之一，工业质检正随着制造业向自动化和智能化升级的趋势逐渐展现出爆发性的增长。传统的人工检测方法效率低下，难以确保产品质量，在缺陷判别方面存在着个体之间的差异。此外，由于检查员可能出现视力疲劳等因素，很多微小瑕疵难以高效地被识别。随着人口红利的消退，用工难问题逐渐凸显，目前每天有超过 350 万人从事产品线上的人工检测，然而由于工资水平偏低，工作单调乏味，愿意从事人工质检的工人数量逐渐减少。近年来，随着人工智能技术的迅速发展以及图像处理技术的持续进步，已经可以部分地替代质检工作。自 2010 年起，以刺激内需为主要目标的宏观经济政策，为汽车行业的稳定增长提供了基础和保障。然而，目前汽车轮毂外观检测仍然依赖人工检测。在一条产线上，每台轮毂的检测速度约为 20 秒，检查人员使用荧光灯仔细检查轮毂轮辐、轮缘、中心孔和轮辋等部位。检查过程中需要频繁搬动旋转轮毂，工作强度大，人眼容易疲劳，从而可能漏检某些缺陷，导致质量问题的发生。3.1.2 3.1.2 实施案例实施案例 利用工业视觉质检平台整合现有质检产线，采用机器视觉识别技术取代传统人工质检，从而降低硬件故障风险，提升质检效率，增进工作质量和自动化水平。星辰视界轮毂表面瑕疵检测系统致力于为客户提供完整的轮毂视觉检测解决方案，包括视觉检测总成、电气控制总成、输送辊床总成和视觉质检平台。目前，该系统已经实现了对轮毂 A、B、C、D 区域表面的多种混合缺陷，如针孔、起泡、毛刺、刮伤、碰伤、漆污点、色差、流挂、气门孔位偏置等进行检测与识别。工业视觉技术与应用白皮书 22 区域 定义描述 各区域对应的颜色 A区域 车轮正面 B区域 车轮窗口；螺栓孔斜面、气门嘴孔斜面及装饰孔斜面 C区域 车轮内外轮辋和轮辐背面；螺栓孔和气门嘴孔表面 D区域 中心孔、安装面和螺栓孔锥面（或球面）表 3.1 轮毂表面区域定义 正面 背面 螺栓孔/装饰孔 气门嘴孔 表 3.2 轮毂各区域划分示意图 工作流程：如图 3.1，轮毂先由产线流入型号识别工位，通过检测轮毂的高度、直径等特征进行轮毂型号识别，然后把型号信息发送给后面两个工位。A、C、D 区域检测工位获取轮毂型号后，依据预设程序将相机移动到待检位置，检测轮毂正面、内外轮辋及轮毂安装面瑕疵，完成后流入下工位。B 区域检测工位中机械臂将摄像头移动到相应检测点位检测轮毂 B 区域瑕疵，检测完成后根据检测结果对不良品进行分流。图 3.1 轮毂表面混合瑕疵检测产线 系统具体功能如下：1）实时显示：在生产过程中显示当前检测时间、OK 或 NG 等轮毂检测状态，工业视觉技术与应用白皮书 23 轮毂缺陷以高亮颜色实时显示。2）大屏展示：能够对产线产品质检情况进行统计分析，以可视化大屏的方式展示产品质检情况，包括但不限于检测产品数量，合格产品数量，不合格产品数量，以及质检合格率。3）信息统计：借助柱状图或者曲线图显示不同统计周期、不同订单号的生产信息，如下线数量、成品数量、废品数量、废品率等，以便客户进行产品质量分析。图 3.2 星辰视界轮毂表面瑕疵检测系统 3.1.3 3.1.3 实施效果实施效果 通过星辰视界轮毂表面瑕疵质检平台对现有产线进行改造，代替人工质检。改造后实现全自动检测，每个班次仅需配备一个复检人员，维护工作由车间技术员接手。这样使原来一条生产线 18 人的检验员缩减为 3 人，直接经济效益为 5000元/人月*（18-3）*12 月=900000 元/年，将原来 0.5%的漏检率降为 0.0005%，质量事故发生率降为原来人工检测的千分之一。改造完成后，企业产品质量水平跃升到目前国内同行业最高水平，生产成本下降，极大地提高了企业竞争力，稳固了企业市场占有率，成为企业开拓新市场的有力保障。通过应用“星辰视界”轮毂表面瑕疵质检系统对现有产线进行改造，实现对人工质检的替代。改造后，生产线能够实现全自动检测，每个工作班次只需配置工业视觉技术与应用白皮书 24 一个复检员，而维护工作则由车间技术员负责。这样的变革使得之前需要 12 名检验员的生产线缩减到了仅需 3 人，从而直接带来了经济效益。以每位质