数智融合创新命题成果.pdf

5G+AI工业质检创新产品专项成果分享2023年12月中国移动研究院2目录一成果介绍二成果推介三案例推广3命题背景不同行业中工业AI质检解决方案定制化程度高，当前能力层面面临产品能力单一、标准化程度不足，无法覆盖多行业质检场景，市场层面面临推广难度高，解决方案中产线改造与算法可行性深度关联，一线人员无法独立售前推广等难点，需要一支技术与市场跨线条、跨组织的融合创新团队进行联合攻关 实现市场规模拓展：已累计落地纺织、光伏、汽车、装备制造等重点领域项目两百余个 实现产品能力突破：5G大上行满足图像传输需求、移动云提供AI算力资源，人工智能平台 实现产业生态牵引：联合多家产业生态打造有竞争力的产品服务体系，有力保障产品落地交付市场拓展初见规模 产品功能单一：只有光伏、汽配检测能力相对成熟，与业内厂商比算法能力单一 算法迭代速度慢：缺乏可快速生成生产模型并交付使用的工具链，新场景开发周期过长，算法适配慢 对生态依赖程度高：近三年省公司落地项目90%以上靠生态交付，我方收益低产品标准化程度不足定制化程度高检测更换、产线改造对质检系统影响大售前要求高与行业背景关联度强，解决方案需要技术支撑技术要求高模型快速迭代，需与多类型硬件集成适配人员投入要求高多触点拓展、前期需POC，本地化集成交付工业视觉质检产品的“四高”成效不足需要一支技术与市场跨线条、跨组织的融合创新团队4主要成果攻关成果体系架构成果1：云边端一体的工业视觉质检产品1.面向工业视觉质检通用需求，融合研究院、上研院已有能力，打造了基于云边端架构的一体化工业视觉质检产品2.产品包含标注、训练、云边协同、模型部署、智能检测、数据分析等端到端能力成果2：行业算法模型，产品工程化落地1.面向新能源光伏、汽车、五金、纺织、锂电等细分领域，打造了工业视觉质检模型2.面向汽配、五金、纺织等细分行业，在浙江实现行业应用落地基于研究院在星辰视界云边协同平台和人工智能训练平台的能力优势，联合上研院OnePower工业视觉质检产品打造了云边端一体的中移工业视觉质检产品；面向汽车、五金、光伏、锂电、纺织等行业打造了端到端的 5G+AI 质检解决方案，联合创新研究院、金华移动、北京公司完成应用落地浙江创新院边缘算力一体机端侧推理应用软件中移工业视觉质检产品云/边侧端侧端侧软件API调用OnePower统一能力（用户中心等）工业质检管理平台分发能力行业AI训练平台及模型管理平台云边侧软件应用下发端侧（生态合作）工业相机工业光源高清摄像头上位机生产设备5G网络OnePower工业互联网平台上研九天业务所算力一体机（工厂级）端侧算力硬件算力一体机（现场级）端侧推理能力（通用模型库、一键部署）配置能力训练一体机行业推理算法（光伏）行业推理算法（包装）端侧算力硬件行业推理算法（冶金废钢定级）行业推理算法（五金保温杯检测）行业推理算法（汽车零部件及组装）行业推理算法（汽车轮毂瑕疵检测）行业推理算法（锂电池检测）行业推理算法（纺织花边检测）江苏创新院5基于星辰视界视频云边智能能力、视觉AI能力、智能分析盒子、产线改造升级实现云边端一体化工业视觉检测。结合 5G 专网，融合工业视觉，以“管理（中心）节点+生产（端）节点”多级协同体系架构为基础，对接客户实际需求，满足各类工业视觉检测应用场景成果构建情况（云边端一体化平台）运营看板可视化数据展板共享算法/能力中心工业质检平台云存储中心全网中心(云)统一软件栈（端）厂区（边）视图计算盒、一体机、计算网关（支持x86/GPU/ARM/AI芯片）采集计算集成设备视觉能力、数据、任务、消息边缘节点软件栈端侧工业质检模型转换端边消息基站算力设备产线视频图像接入工业相机3D深感相机设备控制系统电机控制机械臂控制边缘平台端侧节点管理节点接入节点监控节点升级日志采集任务管理任务下发批量管理运行记录告警查询能力编排能力分发远程运维能力管理云边端消息消息下发消息上报端侧节点业务管理运营管理生产管理企业管理数据管理运营看板过站管控智能调度排产资源监控资源调度MES系统工业质检能力仓汽配轮毂质检发动机质检整车质检五金保温杯质检齿轮质检工具箱质检用户及数据管理隐私计算数据管理用户管理金华工厂视觉能力下发、数据上报5G专网+CPE、工业无线网、工业以太网武汉工厂天津工厂海外工厂MEC(UPF)边缘云存储WAN6成果构建情况（质检算法）行业场景缺陷算法能力光伏组件EL检测虚焊、失效、断栅、黑团、黑片、隐裂等20+缺陷漏检率0.4%过杀率0.4%组件外观检测脏污、异物、片间距异常、串间距异常等10+缺陷检测准确率90%汽配轮毂表面缺陷检测点状、线状、面状、边缘等4大类缺陷瑕疵检出率95%，NG品检出率100%五金装配检测铆钉、焊脚2类装配检测适配10+种不同版式，检测准确率99%保温杯表面缺陷检测针对镜面和磨砂材质，检测凹陷、突起、划痕等6类缺陷瑕疵检出率95%，NG品检出率100%锂电池锂电池外观缺陷检测软划痕、硬划痕、电解液、凹点、凸点等13类致命缺陷6面外观缺陷检测，均检漏检率0.1%，过检率99.9%纺织针织带缺陷检测油污、毛边等6类缺陷检出率95%冶金废钢定级废钢重型废钢、中型废钢、小型废钢、轻薄料废钢4类料型整车定级准确率93%钢板表面OCR宽幅钢板表面OCR检测准确率99.9%矿山皮带检测皮带跑偏、皮带断裂、异物3类缺陷检测准确率97%烟草烟草包装检测OCR、包装破损、封口检测检测准确率95%雪茄计数雪茄识别与计数检测准确率99%通用行业安全监测人、车、环境等20+视频类安全监测算法检测准确率90%.7成果构建情况（标准化产品）面对五类客户场景打造面向光伏、纺织、汽配、包装、冶金等行业的五大系列产品族旧产线改造，客户无IT团队，已有图像采集系统与算力新增产线，入驻式部署场景一场景三场景五软终端系列标准系列专家系列-入驻式智能检测设备系列智能验布机光伏汽配纺织场景二旧产线改造，客户无IT团队，无图像采集系统与算力包装云云云云旧产线改造，客户有IT团队，AI应用平台入驻式部署旧产线改造，客户有IT团队，AI应用平台云端部署场景四五金云S-s1专家系列-云化S-t1S-a1S-p1S-m1C-s1C-t1C-a1C-p1C-m1P1-s1P1-t1P1-a1P1-p1P1-m1P2-s1P2-t1P2-a1P2-p1P2-m18目录一成果介绍二成果推介三案例推广9汽车产业是建设制造强国的重要支撑，从企业到国家都在积极推动供给侧改革，鼓励车企自主研发向数字化转型。轮毂作为汽车的主要部件之一，全球约70%的汽车轮毂产自中国，国内轮毂市场潜力巨大五金生产企业开始注重产品的高品质、高技术含量，转型升级将成为未来行业发展的必然趋势。保温杯制造作为典型的人口密集型产业，正不断推进保温杯生产线自动化升级与改造汽车轮毂近几年国家相继出台关于搞活汽车流通扩大汽车消费的若干措施，全面释放汽车市场潜力，更好满足汽车消费需求伴随着汽车销量的增长，全球轮毂市场规模稳步提升，预计到2024年将再次突破1000亿全国范围内轮毂生产龙头企业有：中信戴卡（中国大陆第一家铝车轮制造企业）万丰奥威（规模实现了行业全球领跑，年产3500万件）今飞（汽车轮毂第三、摩托车轮毂行业第二、电动车轮毂行业第一）正兴车轮（轮毂十大品牌，国内大型车轮制造生产基地）市场预测：全国铝轮毂生产企业有300多家，总共约750个点位，以每个点位150万的设备改造费用，市场总额达11.25亿元全球轮毂市场规模测算（亿元）五金保温杯保温杯市场规模整体呈增长走势，2017-2021年期间全国保温杯市场规模由110亿元增长至172.2亿元，期间保温杯市场规模增量达到62.2亿元。预计2022年全国保温杯市场规模有望达到198.83亿元保温杯行业龙头企业有：富光（全国销量第一）膳魔师（百年历史的全球知名高真空系列产品品牌）哈尔斯（国内最具影响力的制造商）匡迪（国内大型保温杯生产基地之一）市场预测：全国有保温杯生产企业8000余家，以每家1个点位测算，至少8000个点位汽车与五金行业现状10汽车轮毂行业是汽摩配行业的重要组成部分，汽车轮毂多采用铝合金材质，生产过程中会出现各种产品缺陷，需要对涂装后轮毂进行瑕疵检测人工轮毂质检困局：人口红利消失，用工难、用工贵。人工在缺陷判别上存在主观差异、检查员视力疲劳等因素，产品的微小瑕疵并不能被高效识别，产品交付到客户侧后仍有5%的漏检轮毂视觉质检难点：汽车轮毂型号较多，尺寸多，缺陷类型复杂多样，涉及二十余种类型瑕疵。目前业界还没有成熟的算法符合上述所有情况，但是各轮毂厂商对于质检的需求相似，项目具有较强的可复制与可推广性缺陷类型气孔、缩松点状缺陷（同色点状缺陷（异色）纤维（毛线）振刀黑皮毛刺台阶粉包流挂杂质橘皮凹坑划伤、擦伤（漆前）划伤、擦伤（漆后）打磨痕迹喷涂不到位白斑铝屑打伤锈蚀色差涂装后汽车轮毂外表面瑕疵类型对涂装后汽车轮毂进行瑕疵检测，对点状、线状、面状、边缘等4类21种瑕疵进行检测质检需求涂装后汽车轮毂，每天约7-8种型号，每月约20-30种，分全涂装/精车亮面，深色（黑色、灰色）为主，表面反光较为强烈产品范围检测节拍：人工检测每个轮毂需42秒，产线有3名质检工人并行检测，平均每个轮毂检测时间不超过14秒生产情况气孔、缩松（点状）漆点（点状）毛刺（边缘类）划伤（线状）白斑（面状）汽车轮毂行业质检需求11轮毂瑕疵检测算法成果及性能轮毂质检算法研究结合传统机器视觉、目标检测、无监督学习等方法，实现高效率、高精度、快速迭代的质检算法方案单个轮毂系统处理时间95%，NG产品检出率100%，超出人工水平，满足客户生产节拍和检测精度需求针对视觉特征明显的缺陷类型，结合光照设计与传统机器视觉检测算法，基于形态学分割、边缘检测等特征增强与提取手段，实现无需样本训练、低硬件需求、动态可调的质检算法，实现方案快速上线与迭代优化机器视觉质检算法深度学习质检算法面向不定产品类型、非统一光照视角下的不同产线质检需求，针对极小区域、肉眼难辨等缺陷类型，建立轮毂瑕疵与金属表面瑕疵数据集，训练深度目标检测及无监督异常检测网络，并针对边端侧硬件优化加速，满足方案实时性、复用性要求0.430.530.740.870.9500.20.40.60.81RecallPrecision检测指标多类型混合缺陷检测模型检测节拍14 s/个瑕疵检出率95%误检率10%检测精度1mm2轮毂瑕疵数据集金属表面瑕疵数据集数据集：在实际产线采集轮毂面图像数据1.3万余张，19种轮毂型号，覆盖21种瑕疵12轮毂质检产线设备改造方案优势基于智能工业平台算法适用于轮毂所有表面多缺陷外观检测全检柔性基于 6 轴机械臂的柔性设计可兼容不同样式的轮毂产品检测配合组合光源高效解决多曲面产品检测的行业难题智能高效两套视觉工位同步高速飞拍，充分满足企业14s检测的生产节拍瑕疵检出率 95%AI全检人力成本削减75%处理速度 14秒/个，每日每产线处理6,000+现有产线（OK通道）现有产线（NG/返修通道）现有产线（检测通道）现有产线（NG/返修通道）视觉检测设备型号识别及取封堵设备13经济效益通过工业视觉质检平台改造现有产线，利用视觉识别技术代替人工质检，降低漏检率，提高质检效率预计单条产线直接经济效益分析以单条产线为例：改造前：人工质检，3个班次，每班4个人共12人负责一条生产线（0.6万个轮毂/天）的产品质检，因检验员视觉疲劳与注意力下降等主观原因导致漏检现象，造成产品客户抽检不合格改造后：全自动检测，每个班次仅配备1个复检人员，实现生产成本下降。以每名质检工人8万元/年人工成本计算，直接经济效益为9*8=72万元/年，且不合格品检出率明显提高全国范围内：以全国现有的750条轮毂产线计算，预计每年可降本72*750=5.4亿元经济效益分析维度改造前改造后节省成本人员配置12人3人9人/年，8万/人年成本96万24万72万/年14五金保温杯表面瑕疵质检作为保温杯包装环节前的最后一步，质检的效率与可靠性直接影响了企业的生产效率与企业形象。当前产商主要依靠人工肉眼观察完成产品质检，工人劳动强度大，而且长期接触油漆对身体造成较大影响针对镜面和磨砂喷漆材质，检测喷漆后的漆面颗粒物、凹陷突起、划痕、流液、磕碰、漆面不平整质检需求瓶体为镜面或磨砂。直径5-14cm，杯高不超过38cm，杯口喷漆斜面倒角 90 度产品范围自动化喷涂产线，次品率0.6%；人工喷涂产线，次品率5%。每条产线需2-3名质检员，每名工人检测节拍5-6秒，平均每个保温杯检测节拍为2秒生产情况包装（丝印、刻字、装箱等）烤漆、喷漆表面抛光加工成型等产品样例瑕疵样例质检五金保温杯质检需求15保温杯质检算法算法包含对保温杯瓶身和瓶底两项检测，每项检测均采用传统机器视觉+深度学习结合的方法进行缺陷检测产线侧采集和标注1467个缺陷样本和2480个无缺陷样本，分割筛选出4972个训练样本数据，在测试集上，算法瑕疵检出率95%图像比对：通过对前后两张图像对齐，比对差异，得到缺陷位置和尺寸色域：通过对前后两张图像对齐，比对差异，得到缺陷位置和尺寸边缘离散度分析：通过对前后两张图像对齐，比对差异，得到缺陷位置和尺寸漆面不平整漆面平整通过深度学习算法对图片中的缺陷进行修复，将修复后的图片和有缺陷的图片对比该种方法需要大量杯子图像数据，但适应性更广，可以检测少见缺陷进一步提高良率准确性传统机器学习深度学习16保温杯质检产线设备形态保温杯稳定装置保温杯行进方向显示设备机加框架瑕疵检出率 95%AI全检人力成本削减67%处理速度 2秒/个，每日每产线处理40,000+方案优势基于智能工业平台算法适用于保温杯侧面、底面多缺陷外观检测全检柔性柔性设计可兼容不同大小、不同样式的保温杯产品检测配合组合光源高效解决多曲面产品检测的行业难题智能高效高速相机+轻量化算法，充分满足企业2s检测的生产节拍17经济效益通过工业视觉质检平台改造现有产线，利用视觉识别技术代替人工质检，降低漏检率，提高质检效率预计单条产线直接经济效益分析以单条产线为例：改造前：人工质检，3个班次，每班3个人共9人负责一条生产线（4万个保温杯/天）的产品质检，因检验员视觉疲劳与注意力下降等主观原因导致漏检现象，造成产品客户抽检不合格改造后：全自动检测，每个班次仅配备1个复检人员，实现生产成本下降。以每名质检工人8万元/年人工成本计算，直接经济效益为 6*8=48万元/年，且不合格品检出率、质检效率更加稳定全国范围内：全国现有8000余家保温杯生产企业，以每家1个点位测算，预计每年至少可降本 48*8000=38.4亿元经济效益分析维度改造前改造后节省成本人员配置9人3人6人/年，8万/人年成本72万24万48万/年18目录一成果介绍二成果推介三案例推广19应用案例汽配轮毂表面：今飞轮毂是轮毂行业龙头企业，目前产品在国内的排名分别为汽车轮毂第三、摩托车轮毂行业第二。研究院业务所针对客户需求设计软硬件一体化解决方案，完成光、机、电、算法与检测软件的集成，打造业内首个轮毂表面缺陷全检应用，实现4大类21种缺陷自动识别改造前改造后场景痛点改造效果改造实施人工质检，3个班次，每班4个人共12人负责一条生产线的产品质检（6000+轮毂/天），因检验员视觉疲劳与注意力下降等主观原因导致漏检现象实现全自动检测，每个班次仅配备1个复检人员，相较于人工检减少9人，以每名质检工人8万元/年人工成本计算，每条产线直接经济效益72万元/年，瑕疵检出率大于95%，NG品检出率100%，检测速度小于14s20应用案例五金保温杯外观：浙江匡迪是国内大型保温杯生产企业，年产保温杯达3000万只以上。业务所在客户产线上完成了保温杯漆面质检设备的搭建与调试，实现多种保温杯型号漆面颗粒物、凹陷、突起等6种瑕疵的精准识别改造前改造后场景痛点改造效果改造实施3个班次，每班3个人共9人负责一条生产线（4万个保温杯/天）的产品质检，保温杯喷漆后瑕疵检测依赖人工，存在油漆危害健康，检出率不稳定等问题全自动检测，每个班次仅配备1个复检人员，相较于人工检减少6人，以每名质检工人8万元/年人工成本计算，每条产线直接经济效益48万元/年，瑕疵检出率大于95%，NG品检出率100%，检测时间小于2s21应用案例光伏组件质检：光伏组件制造长期通过人工目检进行EL检测和外观检测，稳定性差、质量无法追溯、工艺问题无法预警，近年AI质检已逐步替代人工。海泰新能源是上研自研算法打造的标杆示范项目，实现了光伏组件EL检测规模落地改造前改造后场景痛点改造效果改造实施人工质检，2个班次，每班2个人共4人负责一条组件生产线的产品质检，人工单张处理时间在15s-22s，漏检率约在7%-10%全自动检测，每个班次仅配备1个复检人员，实现生产成本下降。每年每条产线预计节约成本10万元，AI单张处理时间减少到3s-5s，漏检率小于0.4%，过检率小于4%22应用案例针织带检测：该产业主要分布在义乌、兰溪、东阳及浦江。天使客户澳亚织造股份有限公司，主要从事针织织带、提花织带等产品的开发、制造和销售，是中国最大的松紧带制造商之一，依托于澳亚生产数据，实现了纺织行业“0-1”突破。改造前改造后场景痛点改造效果改造实施当前澳亚纺织产年1亿米，全量质检每年需要质检员15-20人左右靠工人肉眼进行抽检。通过对采集图像进行灰度处理，内置的算力芯片支持50毫秒内即可完成单张单位尺寸的瑕疵质检工作。每年可减少质检人工成本90万元。漏检率小于4%，过检率小于5%。谢谢！谢谢！