人工智能行业：AI视觉赋能智造白皮书.pdf

AIAI 视觉赋能智造白皮书视觉赋能智造白皮书工业互联网产业联盟（工业互联网产业联盟（AIIAII）20232023 年年 1111 月月pOwOtNmOrRsQsMnQnOmQrQ7NcM8OsQrRtRsRkPoPoMkPmNwO7NoPoOxNnPnMwMmMtR编写说明编写说明当前，全球新一轮科技和产业革命蓬勃兴起，对制造业的生产方式、商业模式和产品形态带来深刻影响，以智能制造为核心的制造革命尤为突出。一方面带动众多新技术、新产品、新装备快速发展，催生出一大批新应用新模式，驱动新兴产业快速成长，另一方面，智能制造帮助传统产业实现生产制造与市场多样化需求之间的动态匹配，减少消耗、提高品质大幅提高劳动生产率。依托智能制造推动传统产业转型升级，重塑制造业竞争新优势，已成全球普遍共识。以人工智能为代表的新一代使能技术创新和应用正进入空前密集活跃期，通过工业知识和数据科学的紧密结合，大幅提升对问题的洞察与预判能力，为设计、生产、管理、服务等环节的优化提供智能化决策支撑，不断拓展智能制造发展空间。可以说，AI+智能制造已经成为制造业乃至产业升级的主战场。白皮书以“视觉赋能，智引未来”为主线，分析了 AI 赋能智能制造的核心作用、典型模式与场景，以视觉类应用为切入点，系统梳理工业视觉的发展历程、核心技术路径与应用场景，分析产业实施的问题痛点，以深度学习技术路径中的实际案例指明 AI 视觉方案架构与落地可行的具体模式，并提出未来工业视觉及 AI 智造深入推广的建议，以期能与业内同仁共享成果，并对产业实践贡献微薄力量。牵头编写单位牵头编写单位：中国信息通信研究院、华为技术有限公司、工业互联网产业联盟参与编写单位参与编写单位：百度在线网络技术（北京）有限公司、中国科学院自动化研究所、羚羊工业互联网股份有限公司、深圳市信润富联数字科技有限公司、河北工业大学、中国电信研究院、树根互联股份有限公司、凌云光技术股份有限公司、美云智数科技有限公司、谷斗科技（上海）有限公司、卡奥斯物联科技股份有限公司、中移（上海）信息通信科技有限公司、IBM（国际商业机器（中国）有限公司）、腾讯科技（深圳）有限公司、新华三技术有限公司、中工互联（北京）科技集团有限公司目目录录一、AI 赋能“智”造落地.1（一）新产业革命与数字化浪潮交汇，焕发智能制造新活力.1（二）AI 是智能制造的关键支撑.2（三）AI+智能制造的主要模式与场景.3二、工业视觉为智能制造打开“新世界”.8（一）工业视觉发展历程.8（二）工业视觉应用场景.13（三）典型行业应用案例.18三、AI 视觉解决方案与实施.27（一）以深度学习为核心路径的 AI 视觉解决方案部署实施需求.27（二）AI 视觉方案技术架构.30（三）AI 视觉方案部署.37（四）AI 视觉赋能产业转型升级典型案例.39四、挑战与建议.44（一）问题与挑战44（二）推进建议.451一、AI 赋能“智”造落地（一）（一）新产业革命与数字化浪潮交汇，焕发智能制造新产业革命与数字化浪潮交汇，焕发智能制造新活力新活力人工智能技术开始买入新阶段。世界科技发展处于快速进步之中，信息通信、先进制造、新材料和新能源等技术的创新加速和交叉融合爆发了新力量，人工智能是引领未来的新兴战略性技术，是驱动新一轮科技革命和产业变革的重要力量。自 1956 年诞生以来，相关理论和技术持续演进，直到近十年，得益于深度学习等算法的突破、算力的提升及数据积累，人工智能得以实现从实验室向产业实践的转变。尤其，通用人工智能是引领新一轮科技革命和产业变革的战略性技术，正以大模型为先导加速向经济社会全面渗透融合，与我国新型工业化进程历史性交汇，孕育制造业转型升级的新手段、经济高质量发展的新引擎、抢占全球竞争制高点的新机遇。智能制造加速融合创新，共性赋能技术体系逐步形成。智能制造赋能技术体系包括 OT 技术、ICT 技术和融合类技术。OT 技术聚焦智能升级，通过数字传感器技术与数字控制等传统技术在 ICT 赋能下逐渐迈向智能化；工业互联网平台等 ICT 技术正成为智能工厂建设的重要基础设施，部分工厂也已经开始探索构建 5G 网络等基建的落地应用；融合类技术重点围绕故障诊断、视觉识别等应用进行创新突破，聚焦典型制造场景的数据挖掘是当前智能制造示范工厂建设关注的重点技术领域。其中大数据分析、视觉识别等人工智能技术已经成为智能制造赋能技术体系中探索最活跃、最核心的领域。2据中国信通院对近年智能制造示范工厂案例统计表明，AI 技术应用占比近 15%，成为赋能技术体系中最关键的技术族之一。（二）（二）AIAI 是智能制造的关键支撑是智能制造的关键支撑AI 与制造业加速融合，引发多方面变革。一是变革技术产品研发方式。人工智能有效利用产品研发过程中的历史数据，迅速开发出性能强悍的产品，还通过对各类物理、化学特性与生产指标的对应关系进行建模，优化加工流程与参数，实现工艺创新。二是提升企业生产全环节质量与效率。人工智能基于“数据+知识”跨越传统工艺机理依赖实现创新优化，通过智能分析确保生产核心要素处于最优状态，打通企业上下游数据，实现全流程的资源协同与系统性提升。三是加速变革企业资源组织模式。通过各类制造要素的全面数字化和联网化，实现产能、设计、技术、金融、物流及配套服务等资源的网络化集聚和基于 AI 的动态优化配置。四是构建新型服务与商业模式。通过对设备或产品运行数据开展智能分析，向用户提供增值服务，同时创造大量新需求和新盈利模式，带动产业智能化升级。此外，大模型成为深度学习、知识图谱、NLP 等技术融合底座，整合工业多模态数据，全面提升感知与决策能力。“AI+智能制造”推动产业创新升级。装备领域通过叠加人工智能技术，实现加工误差补偿、自动化编程等应用创新，并利用 AI 预测生产过程状态，自动调整装备参数，提高生产制造装备实施运行优化能力，实现产品形态变革与价值创新；自动化与工业控制系统聚焦边缘侧开展数据复杂分析，实现融合 AI 技术的工业边缘平台，能够提供对设备性能、运行时间的实时分析及异常操作排查等功能，不断拓展边缘系统/平台智能化能力，实现过程监测优化与运维分析；3平台与工业软件基于 AI 技术不断深化创成式设计、生产管控、流程智能自动化等细分领域的智能化水平，并逐步提升解决小数据、实时性等痛点问题的能力。未来随着大模型的逐步融入，与新型控制、网络、边缘计算等技术融合创新，有望推动制造业支撑产业体系逐步走向灵活开放、智能协同的新模式。（三）（三）AI+智能制造的主要模式与场景智能制造的主要模式与场景AI 概念诞生至今已有 60 余年历史，从最初的专家系统到当前主流的深度学习、大模型等技术，AI 智造的应用场景种类不断增多、覆盖范围不断扩大、智能化特征不断增强。目前，AI 已经在制造业研发、生产、管理、服务等全环节全领域均形成了典型应用场景，总体来看主要形成感知识别、建模优化和推理决策三类应用模式以及九大核心场景，近百个细分场景的应用体系。图 1-1：AI+智能制造主要应用模式与场景41.感知识别应用：当前推进热点与焦点感知识别应用以 AI 视觉算法技术、语音识别等为核心，尤其AI 视觉是当前应用成熟度最高、范围最广的模式，主要聚焦生产管理环节形成典型应用。一是以产品质量为核心的生产结果检测。主要面向在制品质量管理环节，包括表面缺陷检测、组装防错检查、零件错漏检测等细分场景。二是以生产作业为核心的生产过程监测。主要面向车间内部产线环节，包括零件抓取/分拣、生产组装、视觉焊接/装配、表计数据读取、产线运行情况检测等细分场景。三是以安全为核心的资源状态监测。主要面向人员、车间环境、厂区和设备等对象，实现安全生产与管理，包括员工安全帽识别、园区越界/闯入识别、车间明火/烟雾等安全情况识别、设备运行情况监测等细分场景。图 1-2：AI+智能制造视觉核心应用场景视觉应用能够成为工业领域的应用热点与焦点主要有几方面原因：一是视觉类应用的成效较为直观显著，投入产出率和投资回报周期相对清晰，具有较高的“性价比”；二是视觉类应用实施相对独立，由于原始视觉数据大，不便直接接入工厂管理系统，必须在5视觉采集端完成实时处理，只有表征最终结果的少量特征信息才有必要接入工厂管理系统；三是图像相关技术及行业通用性强，有专用的模型（如 CNN）。四是工业图像、视频等数据获得性相对较强，具备 AI 赋能的基础条件。据中国信通院统计，在所有工业 AI 应用场景中，视觉类应用规模占比近半，成为当前应用最为广泛成熟的模式。2.建模优化应用：场景最多，覆盖最广建模优化应用的技术核心是以数据驱动的建模优化，已覆盖工业全环节实现典型应用。一是智能驱动的研发创新通过 AI 数据分析，全面变革传统依赖人工经验和重复试验的研发模式，加速创新周期、减少创新成本，甚至能够在此基础上建立超越传统认知边界的创新能力。二是生产管理重点环节的分析优化。通过全面感知和智能分析，进一步对现有工艺、物料、质量、能耗、安全等进行智能优化，是当前 AI+智能制造领域集中度最高的场景。三是设备产品的控制与运维。面向各类现场装备和产品，基于 AI 提升实现装备产品的智能分析、预测与优化功能，提供智能化运维服务。四是基于数据驱动的服务与商业模式变革。通过大数据分析，能够向用户提供个性化多元化增值服务模式，甚至实现现有商业模式的变革创新，全面拓展价值空间。6图 1-3：AI+智能制造数据建模分析核心应用场景此类应用模式占据了大半 AI+智能制造的场景，且几乎覆盖了工业全环节全领域。随着工业数据规模不断增长，为数据建模寻优类应用提供了很好的基础条件；此外，深度学习、迁移学习等各类算法技术持续创新，数据挖掘分析能力也在不断提升，数据寻优类模式将发挥更大赋能作用。3.推理决策应用：起步最早，潜力最大推理决策应用以知识工程为核心技术，知识累积门槛和场景价值化成为应用推进的关键条件，已从形成两类典型推进路径。一是基于规则的诊断推理。通过“规则一切可以规则化的经验”，把领域专家、工人的行业经验或者已有决策流程固化下来，是人工智能7在工业应用最早的技术，通常解决设备、生产等车间内部简单的控制决策类问题。二是基于知识图谱的决策与检索。通过全面梳理汇总与任务相关的工业知识、常识、各类对象关系等，形成工业级知识图谱，目前已在工业设计、故障诊断与溯源领域、供应链管理等复杂管理决策类场景有部分应用。图 1-4：AI+智能制造经验知识决策核心应用场景虽然当前经验知识推理决策类应用匮乏，尤其工业知识图谱的构建成本高、应用场景尚不清晰，目前此类模式应用占比不足 10%。但随着工业机理知识的累积沉淀与认知推理相关理论的突破，知识图谱等技术与深度学习技术不断走向融合，未来必将成为工业真正实现智能化的有力工具。人工智能赋能智能制造的潜力和空间巨大，视觉领域 AI+智能制造增速较快，已处于爆发拐点。据埃森哲统计，到 2035 年，人工智能技术的应用将使制造业总增长值(GVA)增长近 4 万亿美元，年度增长率达到 4.4%。此外，智能制造企业对 AI 表现出较高的认可度和关注度，根据 Capgemini 对 806 家企业的调研结果显示，全球超860%的智能制造企业认为 AI、5G 等新技术将成为数字化转型的关键支撑因素，66%的企业意识到机器学习、高级数据分析等 AI 技术能够起到关键作用；IDC 和微软对亚太地区主要制造业进行调查后发现，76%的制造业企业领导者认为 AI 将在未来三年内帮助企业提升竞争力。工业视觉作为 AI+智能制造的热点和焦点，其覆盖领域广泛，主要集中在 3C 电子、锂电池、纺织轻工业、汽车、半导体等行业，需求增速不断上涨；同时，工业视觉产业持续创新发展，预计近五年复合增速为 25%，国产化替代率均值已达 50%。基于此，白皮书将聚焦制造业的感知识别应用中的 AI 视觉做重点分析。二、工业视觉为智能制造打开“新视界”（一）（一）工业视觉发展历程工业视觉发展历程1.概述工业视觉（或机器视觉）是利用具有空间位置分辨能力的“光信号”进行的非接触测量与判断，并产生控制动作的系统。工业视觉概念始于 20 世纪 50 年代，是人工智能正在快速发展的一个分支，涉及计算机科学、机械、图像处理、模式识别等诸多领域的综合技术，被誉为“工业之眼”。根据美国制造工程师协会（SME）机器视觉分会以及美国机器人工业协会（RIA）自动化视觉分会的定义，工业视觉是通过光学的装置和非接触的传感器，自动地接收和处理一个真实物体的图像，以获得所需信息或用于控制机器人运动的装置。一个典型的工业视觉应用系统通常包括图像捕捉、光源系统、图像9数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块。工业视觉具有极大的发展潜力。在智能制造的浪潮下，生产线对工业设备提出了新要求，“智能工厂”已经成为一个愈加流行的术语。智能工厂对生产自动化、工作效率、安全生产、产品质量等均提出了更高的要求，而工业视觉作为智能工厂的“眼睛”，不仅能够模仿人类视觉能力，还能对所“见”物体展开精准测量与定位等高级操作，实现对质检、安防等工业核心环节的检测能力综合提升，最大限度降低人工成本，已广泛应用于产品质量检测、生产安全防护、零部件分拣、人机协作等关键工业场景，为智能工厂打开“新视域”。据中国信通院对 2021 年智能制造试点示范工厂典型应用场景统计表明，生产作业与质量管控成为占比最高的两个应用场景，占比超 35%。其中，在近 50 个细分应用领域中，基于工业视觉的智能在线检测位居榜首，占比近 8%。同时，工业视觉的市场规模也逐步扩大，据中国机器视觉产业联盟统计预测，到 2026 年我国市场规模将突破 543 亿，正逐步成为世界工业视觉发展最活跃的地区之一。2.技术路径：由数字视觉到 AI 视觉随着工业数据规模提升、人工智能算法突破，工业视觉技术不断向更复杂的工业场景实现应用创新。同时，以深度学习为核心的前沿算法技术加速与机器视觉融合，推动工业视觉由数字视觉向 AI视觉不断演进，当前共形成四个相对清晰的技术路径。一是基于传统模式识别的数字图像处理技术路径。该技术路径主要依赖数学理论与人工经验，通常包含图像特征提取和模板匹配10等环节。图像特征提取通过基于颜色、纹理、形状等特征的识别得到图像的“特征信息”表示或描述，特征提取的精度对后续特征点匹配精度、模板匹配精度等方面均有影响；模板匹配是对某一特定对象物体的图案或轮廓位于图像的位置进行判断,通过与参考模板进行对比进而识别对象物体。基于模式识别的机器视觉技术可以完成 95%以上的产品表面缺陷检测和量测任务，算法简单可快速应用。但该方法同时具有一定的局限性，无法实现自动提取特征，且只适用于轮廓清晰、缺陷单一的产品，并不适用于背景复杂的产品。该技术适用于工业大批量生产的场景，这些场景中背景相对固定且简单，需要快速完成检测任务。二是基于传统机器学习的路径。机器学习能从一些样本数据中得出不能通过原理分析总结出的规律。通常采用支持向量机、决策树、浅层神经网络等分类能力较强的算法，常应用于印刷品、食品等缺陷检测场景。基于传统机器学习的方法首先需要人工分析图像特征，再通过图像算法对特性进行提取，最后通过机器学习中的分类器基于图像的数字化特征对其进行标签分类。在该过程中，只需少量典型类别的图像与各个类别间的临界图像即可完成分类任务，但人工特征分析仍在该过程中占主导地位。该技术路径在只有“好品”与“缺陷品”的二分类任务中表现良好，对于多类型缺陷的判断并不能发挥其性能。此外，该路径是基于人工分析所得到的显性特征进行缺陷类型判断的，需要专家知识作为支撑，且所考察的特征不够抽象深入，因此自适应性和泛化11性较弱。但其鲁棒性较好、部署速度较快，适合于较为简单场景下的检测任务。三是基于深度学习的路径（AI 视觉）。深度学习是机器学习的重要技术分支，可以形成更抽象的高级属性类别或特征，通过采集大量图片后进行标注，再把图片放入网络训练并调节参数和网络结构，再次训练后得到最好的分析结果。基于深度学习的检测方法因具有检测效率高、学习能力强、自动化程度高等特点,广泛应用于生产过程中人员安全、多种产品缺陷检测等场景，因其能够很好的解决复杂特征刻画问题，使手工特征的研究大大减少。典型的深度学习网络有：卷积神经网络，可以从输入的数据中学习到抽象的本质的特征信息，对高维数据有较强学习能力，但计算复杂度随网络层数增加而急剧增加；深度置信网络，有较强的扩展性，适合对图像进行多分类、识别处理，但较为依赖专家经验；全卷积网络，可以接收任意尺寸的图像且可对其进行像素级分割，在此基础上获得高层语义先验知识矩阵，但对图像的细节信息不敏感且收敛较慢；Transformer 结构，在训练效率、图像分类、分割等任务中取得优异效果，正在成为学习序列数据(包括文本、图像和时间序列数据)的通用框架。深度学习方法适用于复杂缺陷检测、更智能的图像识别场景，但除了需要结合专家知识选择更适合的算法模型与调整网络参数外，还需要大量训练数据才能更好地发挥其优势。四是前沿机器学习技术路径。基于图像处理、机器学习算法往往能够解决相对简单或具有较大数据量的视觉问题，而面对数据样本不足甚至缺乏、未知缺陷等各类复杂情况时，应用小样本学习、12零样本学习、元学习、SAM 分割等新型机器学习技术能够在一定程度上解决稀疏样本条件下对零星缺陷、故障等识别问题。除了上述在指定任务空间内的样本稀缺问题解决方法外，许多学者将跨任务的迁移学习应用到机器视觉的深度学习训练中，进一步提升了检测系统的性能，使得面对同时缺乏数据和机理的情况时，也能较好地解决其冷启动问题。3.发展趋势一是强化小目标检测精度。在工业生产现场，基于视觉感知进行缺陷检测、人员识别、安全帽检测等应用场景，常面临因距离远、背景大、遮挡多等因素导致的微小目标挑战。通过在深度学习基础上叠加数据增强、多尺度学习等技术策略，能够提升工业视觉模型对小目标检测的精度。未来，工业复杂环境将对小目标检测精度提出更高的要求，不断驱动解决小目标问题的技术创新。二是提升对未知长尾目标的识别能力。基于工业视觉技术进行识别、检测、引导和测量等应用时，随着产线迁移、产品工艺升级等变化，往往会产生与预期检测目标不符的对象，如新缺陷识别、未知物件抓取等。通过零样本学习、无监督/半监督学习等方法，能够实现对未知目标的检测。当前，生成式 AI 以文生图，以图生图的Diffusion 扩散模型，ControlNet 技术使得零样本学习、小样本学习问题变得容易，通过大量生成用户自定义的仿真图片，在项目开发的前期，可以快速评估项目最终能达到的效果，减少试错成本，提高整体投入产出比。针对工业制造少存图、高良率、新缺陷漏检等生成无穷多缺陷数据，可以快速（降低 60%）部署实施。13三是技术融合提升检测准确率。随着深度学习赋能工业视觉应用的程度与范围逐步拓展，与跨领域技术的融合脚步也在不断加快。针对行业与工业场景差异化，通过叠加传统图像处理算法、传统机器学习算法等技术组合，能够提升目标检测的准确度。例如在 PCB缺陷检测场景，通过“CNN+图像处理”的技术组合模式能够去除噪声干扰突出特征信息，检测准确率高达 95%。此外，随着 ChatGPT的爆火，人工智能大模型成为技术热点，能以标准化模型手段应对分散的工业场景，提高模型泛化性和模型精度，当前在工业视觉领域开展了初步探索。（二）（二）工业视觉应用场景工业视觉应用场景通过对应用场景的复杂度高低和可获得有效样本量的大小进行分类，得到工业视觉技术的应用场景分布图，如图 2-1。图中，纵轴是场景复杂性，与具体任务的复杂性和其中涉及的工业机理复杂性直接相关；横轴是样本量，与企业实际生产过程中能获得的场景有效样本数量相关。据此，将以产品质量为核心的生产结果检测、以生产作业为核心的生产过程监测和以安全为核心的资源状态监测三大典型应用模式的主要细分场景进行映射，得到工业视觉技术与应用的总体视图：14图 2-1：工业视觉应用场景1.图像处理技术路径与场景常用于简单背景下的有无判断场景，该场景下的检测对象较为明确，可匹配的特征明显，对数据量没有特殊要求，适合发挥该技术效率高、准确率高的优势。以质量为核心的生产结果检测模式主要包含计数/遗漏检测、快速质量检测、有无检测等场景。计数/遗漏检测主要适用于背景固定的场景，如在某工作台上对完成的零件计数；快速质量检测主要是用于产物结果明确且缺陷明显的场景，如快速判断边缘光滑的产物是否有不规则毛刺；有无检测主要是用于明显缺漏的检测，如是否有零件少焊接的情况。以安全为核心的资源状态监测模式主要包含泄露检测等场景。泄露检测主要用于有明显光谱特征(物质成分)、形态特征变化、或者环境特征(温度、光照通透度)变化的场景，如有色的毒性气体外泄监测等，或是监测安置有害物质的容器外观是否产生明显破损。15以作业为核心的生产过程监测模式主要包含视觉定位、尺寸测量等场景。视觉定位主要用于检测对象相比于背景较为明显的场景，如机床基板上零件位置的确定，或是工件的投放点定位；尺寸测量主要用于背景相对单一的场景，如基座上的零件长度测量。2.传统机器学习技术路径及场景常用于情况较明确的二分类场景，该场景下检测对象的特征较为显性，对象可能处于的状态较为明确，对数据量要求不高，适合发挥该技术成本低、节约人力的优势。以质量为核心的生产结果检测模式主要包含外观质量检测、组装防错检查等场景。外观质量检测主要适用于多特征联合判定的场景，如从容器形变、内容物颜色偏差等多角度共同判定装罐质量水平；组装防错检查主要是用于较为复杂的产品局部零件组装质量检测。以安全为核心的资源状态监测模式主要包含泄露检测等场景。泄露检测主要用于借助其他设备的关联反映来判断的场景，如无色无味但有腐蚀性的气体泄漏，可采用气体的光谱特征或通过周边环境的变化来联合判断。以作业为核心的生产过程监测模式主要包含监控仪表读取、视觉定位等场景。监控仪表读取主要用于预警判断，如单一仪表示数过高或有该趋势，或者多仪表有较小同向偏差，能提前预警；视觉定位主要用于较为复杂的背景，如 PCB 板上的焊接点定位。163.深度学习技术路径及场景常用于多检测对象的复杂判断场景，该场景的复杂性较高，可参考的数据量较大，检测对象的特征高度抽象且较为隐性，对象质量标准界限较模糊，以人工判断为主的场景，适合发挥该技术适应性高、识别力强的优势。以质量为核心的生产结果检测模式主要包含复杂缺陷检测和 3D缺陷检测场景。复杂缺陷检测主要用于组成零件多、缺陷复杂的场景，如高度集成的电子器件缺陷检测，或者样式复杂的纺织品花纹缺陷检测。3D 视觉检测主要借助 3D 成像系统，利用三维信息更加稳定地完成检测。以安全为核心的资源状态监测模式主要包含车间安全监测、人员行为安全监测、设备巡检、厂房安全监控等场景。车间安全监测主要用于车间环境危险监测，如零星火灾、绝缘层脱落导致的电线裸露等；人员行为安全监测用于判断人员的行为是否符合安全规范、人员所在区域是否符合级别规定等；设备巡检用于判断设备运作状态是否正常，也可用于预测设备寿命和故障预测。厂房安全监控用于判断是否有非授权人员在厂房内实施破坏窃取等行为，也可用于对厂房整体的作业环境安全进行监控判断。以作业为核心的生产过程监测模式主要包含零件姿态识别、物品智能分拣、焊缝跟踪、AGV 视觉导航等场景。零件姿态识别主要用于组装、加工、抓取前的零件姿态确定，以计算出更好的路径或抓取点；物品智能分拣主要用于传送带上的多种物品快速分拣，在重量、电磁属性类似但颜色或外观有差异的物品上尤为适用；生产进度跟踪主要用于复杂工艺中的加工进度检测，或者较长工艺生产17线上的总进度确认；AGV 视觉导航主要用于配合激光、导轨类 AGV的终点操作辅助，或是纯视觉导航的高机动性 AGV 场景。4.前沿机器学习技术路径与场景常用于少见缺陷、故障检测场景，该场景下检测对象的特征不明确，缺陷或故障次数相较于总体样本而言非常少，适合发挥该技术样本需求量少的优势。以质量为核心的生产结果检测模式主要包含新型缺陷检测、小样本缺陷检测等场景。新型缺陷检测主要用于新兴产业中前沿产品的外观缺陷检测，可借助传统产品或局部相关产品的经验进行预测；小样本缺陷检测主要用于不同生产商或不同批次的同类产品外观缺陷检测，虽然缺陷本身较为常见，但具体至生产商或批次后样本量较小，导致缺陷特征及其关联关系不明显，从而影响检测效果。以安全为核心的资源状态监测模式主要包含零星故障监测等场景。零星故障监测主要用于新建厂房、车间的故障监测，或是安全系数较高场所的极少数故障监测，或是未知故障监测。以作业为核心的生产过程监测模式主要包含柔性工艺处理等场景。柔性工艺处理指的是面向用户个性化需求的柔性组合产线，大部分的组合都是未曾出现或较少实施过的，需要将前沿机器学习应用到机器视觉中，根据所采集动态图像实时调整处理。不同技术路径都有差异化的适用场景与优势。随着人工智能技术的不断发展以及工业视觉应用领域的广泛化，对检测问题多样化、检测准确度和泛化能力都提出了更高的要求。深度学习技术能够对数据提取更加深层次的属性类别与特征，已经成为了工业视觉研究领域的重点与市场需求的热点。18（三三）典型行业应用案例典型行业应用案例1.消费电子图 2-2：AI 视觉赋能消费电子行业应用消费电子制造产业是我国的支柱性产业，是推动我国产业结构转型和优化升级的核心基础产业。以智能手机为代表的消费类电子产品具有生命周期短、更新换代快的特点，导致产线设备更新频繁，对其上游的机器视觉行业产生巨大需求。同时，消费电子元器件尺寸较小，产品不断精密化，对生产作业精度、产品质量管控能力等方面的要求逐步提升，利用工业视觉技术进行检测可以实现降本增效的作用。但当前消费电子制造企业长期面临着产品质量提升困难、市场响应不够敏捷等痛点，亟需机器视觉技术深入赋能消费电子行业应用。同时，消费电子产品不断走向高端化、精细化，将持续激发机器视觉技术实现创新突破。随着新一代信息技术和消费电子元器件制造行业深度融合，正推动该行业发生着深刻的变革，为行业打破当前发展困局提供了有效路径和可行方法。聚焦 AI 视觉领域，一方面，工业视觉赋能电子19产品质量检验。面向 PCBA、封装、面板等主要电子元器件，围绕原材料复检、制程质量管控、外观等生产关键环节，实现 PCB 印刷电路检测、板元件位置和 LOGO 印刷缺陷检测等应用，有效提升检测精度和检测效率，提高产品良品率和直通率，大幅度降低人力成本。另一方面，工业视觉辅助制程过程精准作业。面向 PCB 制造、SMT贴片和 SMD 贴装等过程，应用工业视觉进行精确元件识别与定位放置、设备引导与校准等，实现 SMT 原件识别与放置、SMD 贴装定位和 LCD 玻璃定位等应用，提高作业效率与操作精度，进而提高生产效率和降低废品率。电子组装质量检测宝德计算机系统股份有限公司在进行电子产品组装过程中，常面临操作不规范、隐患多，工序过程防呆困难，人工质检效率低，用工成本高，质量检验数据未数字化管控等问题。通过采用华为 AI 质检解决方案，通过对质检工位回传图像进行 AI 分析，并将这些数据在深度学习框架中予以训练，从而获得通用化特征参数与模型，实现敏捷、高性能的通用化缺陷检测能力。该解决方案能够完成器件安装、标签、划痕等多种质检工作，覆盖 PCB 主板放置、安装等多道工序，实现产品组装和包装制程质量检测的智能化与可追溯，检验准确率提高至 99%+，全面提升产品质量的同时也提高了生产效率。202.家电图 2-3：AI 视觉赋能家电行业应用我国是家电制造大国和出口大国，家电业生产规模居世界首位，自主创新能力已进入全球前列。随着国内消费市场升级，用户对家电产品质量要求越来越高。在家电生产制造过程中，各零部件的生产、组装、出厂等核心生产流程环环相扣，一旦其中某环节出现失误，将极大程度影响产品整个制造过程。同时，在大型家电原件组装过程中，由于工件种类多、尺寸各异、检测环境不一等因素，对产品检测精度要求极高。此外，家电产品生产工艺参数和技术要求等因素间的不协同常导致产品缺陷具有类别多样、形态各异、背景复杂等特点，进一步加剧了检测难度。因此，质量问题已成为影响家电企业竞争力的主要问题之一，家电企业亟需利用 AI 工业视觉技术提高产品质量管控能力。随着 AI 工业视觉在产品质量检测的可靠性、鲁棒性和精度不断提升，为家电生产制造过程优化提供了有效手段，将 AI 工业视觉应用与家电产品质量检验是当前人工智能和家电行业融合应用的主要路径之一。一方面，将工业视觉应用于家电组装质量检测和产品外21观缺陷检测。面向主流家电产品组装过程，对主要零部件的错装和漏装等装配缺陷进行在线监测，能够高效实现装配防错，提高装配质量；同时面向产品外观磕碰、划伤、破损等缺陷，印刷品印刷质量缺陷，LOGO 印刷缺陷等表面缺陷实现高效监测。另一方面，将工业视觉应用于定位、焊接、插装、紧固和抓取等生产过程，具体应用包括印刷品在线打印贴敷、门体高精度智能装配、零部件插装和智能防差错、智能打螺丝紧锢、智能高频焊接及焊点检漏、3D 抓取等环节，能够极大提升作业效率，同时提升生产线柔性化程度，满足个性化定制生产的需要。家电产品实现从质检到“智检”由于家电产品生产流程繁杂，在产品质量检测过程中常面临漏检、虚检、溯源难等痛点。海尔中德滚筒互联工厂充分将5G 技术与工业视觉技术互相配合，能够对产品进行 360全方位检测，实现对存在缺陷的产品进行及时处理。同时，还将AI、AR 技术等进行结合，通过人机交互的方式实现在线指导、AI 智能判断等多种应用，不仅可以对产品进行多方面的质量检测，还能够将检测数据实时集成在云端，实现对产品质量问题的归因溯源。海尔顺德波轮洗衣机工厂打造的 AI 质检系统提升了产品安装过程的品质管理能力，对于滚筒吊杆、防撞棉、桶底螺钉等检测目标实现了 AI 视觉算法检测，准确率在 99%以上。223.新能源图 2-4：AI 视觉赋能新能源行业应用在“碳达峰”、“碳中和”的大背景下，传统能源行业转型升级，以锂电池、光伏太阳能产品为代表的新能源行业快速发展，不仅产能急速扩张，多产线良率的要求也越来越高。传统依赖人工对生产状态及新能源产品进行检测的准确度有待提升，劳动效率低，用人成本高。同时，新能源产品下游应用事关安全。当前，锂电池产业对缺陷率追求从 ppm（百万分之一）级别向 ppb（十亿分之一）提升，这对机器视觉的硬件设备与软件模型均提出了极高的要求。因此，工业视觉在新能源领域的应用赋能将持续升温，从现有应用环节不断向更多领域拓展。工业视觉在光伏产业领域对提高组件生产过程中的质量控制至关重要。电致发光（EL）和外观（VI）检测是光伏组件电气性能和结构安全性能比较重要的检测形式，利用红外相机和可见光相机分别对组件的内部和外部缺陷进行检测。目前 99%靠人工肉眼检测图像，效果差、效率低，完全无法应对光伏工业 4.0 数字化和自动化的要求。传统机器视觉算法无法完成组件检测，而基于深度学习的AI 检测恰逢其时，可实现机器换人和不断优化。23光伏太阳能产品自动化检测为加速光伏行业奔向工业 4.0，实现行业传统设备的颠覆性升级，上海某工业 AI 公司聚焦光伏组件质检场景，基于昇腾AI 检测系统，为企业在智能化过程中引入 AI 技术与生产制造软件、自动化生产设备结合的方案，针对电致发光（EL，Electroluminescent）和可见光外观两大场景，可自动检测几十种缺陷，包括死片、混档、拼接、破片、炸点、隐裂、虚焊、断栅、划痕、异物、焊接不良、间距不良等。在江苏省苏州市和无锡市光伏组件工厂的应用实践中，该方案帮助光伏制造企业实现了电池串 AI 全自动检测和层前、终检的 AI 辅助检测，实现误报率低于 3%，并将质检人员的工作强度降低了 80%以上。在提升制造品质的前提下，产线的生产节拍还提升了10%。4.4.半导体图 2-5：AI 视觉赋能半导体行业应用24中国作为制造业大国，对半导体产品的需求非常大。当前，国产的计算机、手机、汽车等产品品牌不断崛起，国货日益强大，这类电子产品、科技产品对半导体的需求非常旺盛，我国半导体产业具有广阔的发展空间。然而，由于半导体器件制造具有高集成度、高精细度、高技术密度等特点，方寸大小的芯片上密布着上千万条电路，因此半导体器件制造对于检测精度的要求极高，在这种背景下，人工检测能发挥的力量极其有限，整个产业链几乎完全要依赖机器视觉。从产业技术需求来看，半导体行业的诸如锡膏印刷机、贴片机、AOI 检测这类的设备都需要使用高性能机器视觉组件。从产业发展需求来看，工业大规模集成电路日益普及，行业内对产量的要求和质量的苛求更是日益剧增。因而，在不过多增加甚至减少成本的前提下，工业视觉技术扮演起了不可或缺的角色。算法+数据正向半导体器件制造的高价值场景加速渗透，采用AI+模型来解决半导体器件制造中的难点已成为工业智能的应用方向。围绕半导体器件生产的前道、中道和后道工序，面向外观缺陷检测、关键参数测量、制造缺陷检测等内容，积极探索应用 AI 视觉检测提高检测效率和质量，提升芯片良率。一方面，应用于前、中道制造过程中晶圆处理与针测环节的表面缺陷检测，如晶圆表面冗余物、晶体缺陷和机械损伤等缺陷检测；另一方面，应用于后道领域芯片封测环节的缺陷检测与质量控制，如空洞、虚焊、夹渣等芯片内部封装缺陷，以及脏污、露铜、字符缺损等成品外观缺陷。色选机外观缺陷检测针对美亚光电公司在色选外观缺陷人工检测过程中面临的工作量大、问题多样、鉴别经验要求高、检测记录难以回25溯等业务挑战，羚羊工业互联网以深度学习算法为主、传统机器视觉为辅的混合型方案，融合检测与定位、分类与识别算法，打造了一体化的 AI 机器视觉色选机外观检测方案，对划痕、磨损，磕碰、掉漆等缺陷进行全流程自动化检测识别和归档追溯，算法精度达 99%以上，准确高效地实现了全产品的外观快速检测和分类，质检效率提升 80%，基于数据推动关键质量改进的综合效率提升 30%。5.汽车图 2-6：AI 视觉赋能汽车行业应用汽车行业是支撑国家经济发展的支柱行业，中国汽车行业的总产值约占全国 GDP 总量的 10%，是当之无愧的工业之王，尤其是汽车工业的“产业链牵引效应”直接带动着能源、钢铁、装备、自动化、人工智能等上下游行业的发展。汽车行业是工业视觉应用的主力行业，整车厂的喷漆，涂胶，焊接，总装等工艺过程中涉及到大量的自动化引导和质量控制环节，一旦其26中某环节出现失误，将极大程度影响产品整个制造过程。同时，组装过程中，由于零部件种类多、尺寸各异、检测环境不一等因素，对产品检测精度要求极高。技术需求复杂，车型组件多变，对工业视觉工程的导入也带来诸多挑战。因此，亟需 AI 工业视觉技术提高质量以及效率。AI 工业视觉技术与汽车行业融合已成当前主要路径之一。一方面，一方面，将 AI 工业视觉应用于汽车行业组装质量检测和产品外观缺陷检测。在汽车组装过程中，对零部件进行质量检测，零部件外观的的磕碰、损坏、污渍、印刷体模糊等进行检测，对于错装和漏装的装配进行检测以及细微零件组装进行检测。另另一方面，一方面，AI 工业视觉技术应用于汽车行业生产过程和柔性化生产方式。对制造过程中的焊接、涂胶、冲孔等工艺过程进行把控，最后对车身总成、出厂的整车质量进行把关。具体应用包括车门装配验证、零部件插装和智能防差错、智能高频焊以及焊点简陋、车门装配验证等环节，能够极高的提高生产效率，同时提升生产柔性化程度。汽车零部件工厂外观缺陷应用德国知名轴承制造商每天数百万计的轴承部件，全部通过人工逐一进行外观质量检测，导致质检工人长期工作易疲劳，视力易损伤。且精准度不够。通过引入 IBM MVI 相关产品，结合数十万缺陷样本集（含衍生缺陷），进行多次迭代训练，结合产品内置图像处理算法，成功的解决了所有人工目检带来的弊端，提高了检测效率、增强了检测质量、降27低了企业投入成本。通过 3 年来的 24 小时连续生产的验证，准确高效的提升了外观检测效率和生产效率，重大缺陷漏检率额为 0，所有缺陷漏检率额小于 0.05%；误检率99%；其图形界面操作支持小样本训练，仅 2 小时就能够完成模型的迭代更新；在成熟场景下仅需 5 人天即可完成 10 工位部署。对