基于线阵相机的扁管表面划痕在线检测实验平台设计_周乔君.pdf

实 验 技 术 与 管 理 第 40 卷 第 8 期 2023 年 8 月 Experimental Technology and Management Vol.40 No.8 Aug.2023 收稿日期:2023-03-29 修改日期:2023-04-22 基金项目:教育部产学合作协同育人项目（221004992093933）；20212022 年度浙江省产学合作协同育人项目（浙发改社会2022318号）；国家级大学生创新创业训练计划资助项目（202210356047）作者简介:周乔君（1989），男，浙江江山，硕士，讲师，主要研究方向为自动化检测，。通信作者:曹松晓（1984），男，浙江磐安，博士，讲师，主要研究方向为机器视觉，。引文格式:周乔君，项伟楷，李新良，等.基于线阵相机的扁管表面划痕在线检测实验平台设计J.实验技术与管理,2023,40(8):163-169.Cite this article:ZHOU Q J,XIANG W K,LI X L,et al.Design of online detection experimental platform for flat tube surface scratches based on linear array cameraJ.Experimental Technology and Management,2023,40(8):163-169.(in Chinese)ISSN 1002-4956 CN11-2034/T DOI:10.16791/ki.sjg.2023.08.024 基于线阵相机的扁管表面划痕 在线检测实验平台设计 周乔君1，项伟楷1，李新良1，陈 耀1，曹松晓2（1.中国计量大学 工程训练中心，浙江 杭州 310018；2.中国计量大学 计量测试工程学院，浙江 杭州 310018；）摘 要：大尺寸运动目标细小缺陷检测是计算机视觉检测领域的难点。该文设计了一种基于线阵相机的扁管表面划痕在线检测实验平台，使用三次 Bezier 曲线拟合的划痕检测算法对运动状态下的扁管进行检测。实验结果表明：该方法可以在复杂、不确定的背景噪声下检测划痕，满足工业现场的自动化检测需求。此外，实验平台集成了运动控制、图像处理等技术，可以作为一个综合性的计算机视觉实验平台，帮助学生深入学习视觉检测原理，提高创新实践能力。关键词：线阵相机；扁管；划痕检测；三次 Bezier 曲线 中图分类号：TP391.4 文献标识码：A 文章编号：1002-4956(2023)08-0163-07 Design of online detection experimental platform for flat tube surface scratches based on linear array camera ZHOU Qiaojun1,XIANG Weikai1,LI Xinliang1,CHEN Yao1,CAO Songxiao2(1.Engineering Training Centre,China Jiliang University,Hangzhou 310018,China;2.College of Metrology and Testing Engineering,China Jiliang University,Hangzhou 310018,China;)Abstract:Detection of fine defects on large-sized moving targets is a difficult area in the field of computer vision inspection.This paper designs an experimental platform for online detection of scratches on the surface of flat tubes based on a line array camera,and uses a scratch detection algorithm with cubic Bezier curve fitting to detect flat tubes in motion.The experimental results show that the method can detect scratches under complex and uncertain background noise and meet the demand of automated inspection in industrial sites.In addition,the experimental platform integrates motion control,image processing and other technologies,which can be used as a comprehensive computer vision experimental platform to help students learn the principles of vision detection in depth and improve their innovative practical skills.Key words:linear array camera;flat tube;scratch defect detection;cubic Bezier curve 微通道铝扁管是平行流换热器中的核心部件，也被称为平行流铝扁管（下文简称“扁管”）。该管材由精炼铝棒经过热挤压成型，再通过表面喷锌防腐处理而制成，形状为薄壁多孔扁形管。由于扁管体积小、效率高、结构紧凑、质量轻等特点，已被广泛应用于汽车、家用和商用空调系统1。扁管作为承载新型环保制冷剂的管道零部件，其生产技术含量高、难度较大，生产过程中容易出现各种表面缺陷，如凹坑、孔洞和划痕等。在实际的使用过程中，扁管表面的微小缺陷可能导致制冷剂泄漏，164 实 验 技 术 与 管 理 从而使整个换热器报废2。目前，国内扁管生产企业普遍采用人工检测方式检测表面缺陷，但效率和准确率较低。此外，在发现扁管缺陷时，容易出现批量报废产品的情况，造成巨大的经济损失，因此生产企业迫切需要在线表面缺陷检测的解决方案。传统的视觉检测方式可以检测出凹坑和孔洞等缺陷，但划痕检测仍然存在问题。为了检测扁管表面缺陷，学者和工程师开发了各种先进技术。文献3基于激光超声理论，使用有限元方法模拟了激光激发的超声波在铝板中的生成和传播现象，从而进行缺陷分析，但该方法主要用于有涂层的铝板的检测，存在局限性。文献45使用脉冲涡流（PEC）技术检测复杂结构和金属材料表面缺陷。文献6使用磁通泄漏技术检测裂纹状缺陷。这些方法在实际生产中实现难度较大、成本较高。文献7提出了非 下 采 样 剪 切 波 变 换 和 内 核 局 部 保 持 投 影 算 法（NSST-KLPP），用于识别铝带的表面缺陷，该算法使用了 230 个划痕缺陷样本，识别率达 95.65%。文献8开发了一个表面划痕自动检测系统，主要用于检测大曲率管材表面的划痕，该系统在算法内引入了一个二维方向的滤波器，以增强背景和划痕之间的对比度，并使用了改进的自适应阈值方法自动检测过滤后图像的划痕边缘。微通道铝扁管划痕检测面临 3 个困难：划痕深度差异大，深浅不一；在生产过程中，扁管表面常常有油渍残留，成像情况复杂多变，图像存在大量背景杂波；扁管尺寸较大且生产过程中传送速度较快，划痕长度可能与整个扁管的长度相同（扁管划痕长度最长可达 800 mm，最短有 200 mm）。以上情况使深度学习的方法表现不如其他应用案例，原因是其依赖统一的数据库进行训练。国内已经有高校使用机器人和机器视觉技术开发了相应的实验平台，例如基于机器视觉的机器人抓取实验系统9、智能垃圾分类实验平台10、基于深度学习的计算机视觉创新实验平台11、基于机器视觉的蚕茧分选综合实验系统12等。然而，大多数实验平台注重对物品识别和定位的教学和研究，缺乏针对大尺寸运动物体的微小缺陷检测实验平台。针对以上问题，本实验平台以企业实际需求为导向，研发了基于线阵相机的扁管表面划痕在线检测系统。扁管外形尺寸的长宽比约为 580，无法使用普通靶面（长宽比约为 1）的面阵相机一次性拍摄完整，且长度方向检测精度较低。此外，单根扁管分开多次拍摄会导致连续两帧图像出现部分特征重复或丢失，移动拍摄产生的图像拖影也会干扰后续的处理。线阵相机具有分辨率高、扫描速度快、能够实现动态图像捕捉的特点，完全符合扁管的生产特性13。因此，本实验平台使用线阵相机采集图像，并提出一种基于蒙特卡罗采样的三次 Bezier 曲线拟合算法用于划痕检测，该算法可以显著提高对噪声的鲁棒性和划痕位置检测的准确性。同时，本实验平台还包含了运动控制、光学成像、图像处理和缺陷检测等技术，体现了视觉检测过程中光、机、电一体化的流程，这些技术能帮助学生更好地理解缺陷检测算法。1 实验平台总体设计 根据扁管实际的检测需求，将实验平台分为传送控制、图像采集和缺陷检测 3 个模块，如图 1 所示。传送控制模块以 PLC 为主控部件，用于控制伺服电机和传动机构，以及进出料检测传感器信号的接收和处理等，从而实现整个实验平台的逻辑动作控制。图像采集模块由线阵相机、光学镜头和线型光源等硬件组成，用于高质量地采集扁管表面图像。缺陷检测模块以高性能工控机作为载体，构建图像处理软件和算法，实时拼接、处理和检测扁管表面图像，并输出结果。这 3 个模块协同工作，实现对扁管表面特征的自动采集和缺陷检测等功能。扁管表面缺陷在线检测实验平台的整体结构如图 2所示。首先，被测扁管从前道工序进入上料传送带，扁管随传送带继续向前并触发进料检测开关；其次，架设在传送带间隙处的图像采集单元开始采集运行中扁管的上下表面图像；然后，线阵相机将实时图像传输到计算机处理，在扁管触发出料检测开关之前，缺陷检测模块会将处理结果整合传递给 PLC；最后，PLC可根据图像检测结果控制位于下料传送带后的剔料机构，并将不合格的扁管剔除，同时合格品继续流入下道工序。线阵相机要获得高质量的图像，必须保证系统运动结构的稳定性，实验平台在 3 个传送带均以相同速度运行的前提下，使用单帧触发模式进行图像采集。微通道扁管的来料速度0V和来料间隔0T由上道工序决定。为避免来料扁管相互碰撞导致的后续采集信号触发异常等情况，传送带速度1V应大于扁管的来料速度。来料扁管会与上料传送带产生相对滑动，假设上料传送带两轮间距aL够长，确保扁管与传送带达到相对静止状态，那么扁管与上料传送带之间产生的相对位移为L与传送带速度成正比，与扁管和传送带之间的动摩擦系数成反比。此外，传送带带轮直径应尽可能小，扁管和传送带之间的动摩擦系数应尽可能能大。图像采集模块对扁管图像采集的成像区间位于上料传送带和过渡传送带之间。当扁管被传输到该 周乔君，等：基于线阵相机的扁管表面划痕在线检测实验平台设计 165 图 1 扁管表面缺陷在线检测实验平台系统框图 图 2 扁管表面缺陷在线检测实验平台整体结构 区域时，扁管尚未接触到过渡传送带，可能出现倾斜、跳动或碰撞等情况，影响扁管成像质量，因此对该状态下的扁管进行了受力分析14，如图 3 所示。假设扁管质量分布均匀，以上料传送带带轮正上方处作为支点，可得扁管保持平衡的条件为 221122()22LXXFlGFlGLL-=（1）式中，1F为动力；1l为动力臂；L 为扁管长；X为扁管首部距支点的距离；G为扁管总重力；2F为阻力；2l为阻力臂。图 3 成像区域扁管力矩分析 166 实 验 技 术 与 管 理 若b/2LDXL+，会导致扁管受力不均，容易倾斜下落，并与过渡传送带产生碰撞或跳动，其中bL为成像区域间隔，D为传送带带轮直径。因此，在满足图像采集模块光源、相机等部件安装和成像需求的前提下，bL和D越小，扁管在传送带上越稳定。结合上述理论分析，已知现有扁管最长长度maxL为 800 mm，最短长度minL为 200 mm，最宽宽度maxd为 50 mm，生产节拍按照 120 根/分计算，来料间隔0T为 0.5 s。扁管的单根切断时间2T为 0.1 s，则扁管的传送时间为1T为 0.4 s。通过相应的约束条件计算，可得出系统的实际设计值，如表 1 所示。表 1 扁管表面划痕在线检测实验平台关键参数设计表 系统关键参数 约束条件 实际设计值 1V/(ms1)10max1VVLT=2 cW/mm cmaxWd 60 越大越好 0.4 D/mm 越小越好 50 inL/mm 2in1max2LVgL+1 500 aL/mm ainL L 1 800 bL/mm bmin2LLD-50 注：cW为传送带宽度，inL为进料检测开关放置位置。2 划痕缺陷检测流程和算法 2.1 划痕缺陷检测流程 由于扁管的生产技术特点，扁管通常又窄又长，划痕多数呈纵向且存在一个较小的偏转角度。为了有效检测划痕，需要使用适当的图像预处理方法。在本研究中，输入的图像被均匀地分割成 10 个部分，依次为第 110 段，如图 4 所示。在每一段应用划痕检测算法，并将 10 个结果融合在一起，输出最终结果。图 4 扁管图像的分割 针对输入图像的每个部分，首先使用 OTSU 阈值进行处理；其次应用形态学滤波技术包括侵蚀和扩张等操作，减少背景杂波15；然后使用基于蒙特卡罗采样的三次 Bezier 曲线拟合方法检测划痕。图 5 展示了所提出的方法在处理输入图像第 5 段时的划痕检测流程。图 5 划痕检测流程 2.2 划痕缺陷检测算法 2.2.1 Bezier 曲线拟合 假 设 垂 直 投 影 曲 线 图 可 由 一 组 点CP m（1mM）表示，M为直方图曲线上点的总数，那么对于任意一个点CPm，可构建一个由（21J+）个点组成的子点集：CP(1,)mjmMJjJ+-（2）该子点集以CPm为中心，在CPm前后各有J个点，周乔君，等：基于线阵相机的扁管表面划痕在线检测实验平台设计 167 如图 6 所示。假设本文能构建一条平滑曲线拟合所有子点，且能够精确地计算出拟合曲线的曲率，那么每个子点集的所有曲率均可以构建一条新的曲率曲线，从而可以用来估计局部最大值（划痕的位置）。在这种情况下，寻求一种稳定有效的曲线拟合方法拟合子轮廓点集CPmj+是关键。因此，本文提出了一种基于Bezier 曲线和蒙特卡罗采样的曲线拟合方法，该方法具有较高的拟合精度和计算效率。图 6 以CPm为中心的子数据点集 Bezier 曲线是通过一组离散的“控制点”和相关公式定义一条平滑、连续的曲线，是一种用于计算机图形和相关领域的参数化曲线16。n次的 Bezier 曲线可表示为 ,0()(),0,1nii niP tPBtt=（3）,!()(1)(1)!()!i in iin ii nnnBtC tttti ni-=-=-（4）式中，iP为控制点；n为阶次；t为 Bezier 曲线插值变量；,()i nBt为经典伯恩斯坦基函数。考虑到准确性和效率，本文使用了三次 Bezier 曲线，如图 7 所示。在三次 Bezier 曲线中，1P和2P为控制点；0P为起始点；3P为终点17。图 7 三次 Bezier 曲线表示图 前面提到的问题是寻找每个子点集CPmj+的最优曲线，即寻找定义相应的 Bezier 曲线所需的 4 个最优控制点。在所有可能的空间中穷举搜索是一种较好的方法，但非常耗时且效率低下，因此本文采用基于蒙特卡罗采样的三次 Bezier 曲线拟合方法，快速寻找最优控制点。2.2.2 蒙特卡罗采样法 针对已知的一组子数据点集，通过查找不同的控制点，可以获得不同的 Bezier 曲线来表现这些点，但其中只有一条曲线能最好地拟合所有的子数据点集，因此需要找到对应最优 Bezier 曲线的控制点。对于此类确定性问题的求解，存在求解条件不满足的情况，可以采用蒙特卡罗采样方法解决18。首先建立三次Bezier 曲线拟合问题的概率模型：()(,)x Smin f xE U x=（5）式中：(,)U x为变量 x 和的函数，nSR为给定的集合，表示一个给定的子数据点集CPmj+；()为随机变量，表示候选的子轮廓(,)mQt；为随机生成控制点的组合向量，用于定义子轮廓。公式（5）中的数学期望是在随机变量的分布下进行计算的，使用一个基于三次 Bezier 曲线和所给数据点集之间的相似度的函数(,)U x进行求解，(,)U x可表示为 2120(,)|(,)CP|JmmjjU xQt+=-（6）上述计算的目的是通过蒙特卡罗抽样，使用最小平方和法找到与给定子点集最匹配的 Bezier 曲线19。图 8 为控制点分布图，可以更直观地解释上述方程式的含义。起始控制点0P和结束控制点3P应位于以给定点为中心的较小区域内（CPm J-和CPm J+），控制点1P和P2出现在由CPmj+定义的整个样本空间的任何位置。图 8 控制点分布图 2.2.3 三次 Bezier 曲率与局部最大值 使用上述蒙特卡罗采样方法可获得一条由控制点168 实 验 技 术 与 管 理 best,0,1,2,3iPi=确定的最佳拟合曲线，相应 Bezier曲线中任何一点的曲率 K(t)为20 3()()()|()|P tP tK tP t=（7）式中，()P t为 Bezier 曲线的一阶导数，()P t为二阶导数。每个给定的子点集均以点CPm为中心，包括CPm之前的J个轮廓点和CPm之后的J个轮廓点，即(0.5)K t=就是需要计算的曲率。计算直方图曲线中的每一个点的曲率，并生成一条曲率曲线，在曲率曲线上寻找局部最大值，如图 9 所示。通过比较阈值mK（设定mK=0.2），可以快速找到局部最大值，曲率等于mK的位置上，分别标记1mH和2mH。图 9 三次 Bezier 曲线拟合的结果 3 实验结果与分析 根据前面对系统各个功能模块的分析和设计，搭建了如图 10 所示的实验平台样机。该样机使用的线性相机是 DALSA-LA-GM-02K08A，分辨率 2 0481，像素 7.08 m，最大行速率 52 K。划痕检测算法则是使用 OpenCV 库在 C+中实现，并在配备了 i7-6700 CPU、8G DDR 内存的工控机上运行。图 10 扁管表面划痕缺陷在线检测实验平台样机 在实验中使用了两种不同类型的扁管（A 型和 B型）测试实验平台的性能，如图 11 所示。A 和 B 型扁管的长度分别为 800 和 200 mm，宽度分别为 5 和10 mm，高度分别为 2 和 1 mm，传送带运行速度为2 m/s，扁管上料间隔约为 500 ms。每种类型的测试样品各有 200 个，其中 100 个样 图 11 两种类型扁管实物图 品无缺陷，另外 100 个样品有划痕缺陷，所有带有缺陷的样品都由制造厂的质量检查员进行手工标注的。实验结果如表 2 所示，在测试中，使用 A 型和 B 型的样本，FN 分别为 1%和 0.5%；而 FP 为 3.5%和 2.5%，这表示仍有一些划痕缺陷是实验平台无法有效检测的。在重新检查这些样品后，发现即使是有经验的工人也需要从各个角度进行非常仔细地检查，才可以确认这些样品的划痕缺陷。总的来说，FN 和 FP 的结果 周乔君，等：基于线阵相机的扁管表面划痕在线检测实验平台设计 169 与有经验人工检测处于同一水平，而实验平台的检测效率更高。另外，A 型和 B 型的检测耗时都小于来料间隔时间，表明实验平台可以实现对不同尺寸扁管的实时在线检测。表 2 实验结果 A型扁管 B型扁管 测试指标 合格品 不合格品 合格品 不合格品扁管数量 100 100 100 100 OKN 93 2 95 1 NGN 7 98 5 99 处理平均耗时/ms 459.32 478.24 87.65 98.31 FN/%1.0 0.5 FP/%3.5 2.5 注：OKN为合格的扁管数量；NGN为不合格的扁管数量；FN表示扁管有划痕缺陷，但检测结果是合格产品的概率；FP表示扁管没有划痕缺陷，但检测结果为不合格产品的概率。4 结语 本研究针对扁管产品特性设计了一种扁管表面划痕在线检测实验平台，提出了基于线阵相机的三次Bezier 曲线拟合的划痕检测算法，实现了在复杂和不确定的背景噪声下在线划痕缺陷检测。该实验平台结合了机器视觉、嵌入式和运动控制等技术，为学生创新实践能力的培养提供了有力保障，并能有效地完成机械设计、计算机、自动化等专业的基础性教学实训任务。参考文献(References)1 CHODANKAR V A V L,ASWATHA,SEETHARAMU K N.Improved effectiveness of a cryogenic counter-current parallel flow-Three fluid heat exchanger with three thermal communication due to Joule Thomson pressure dropJ.International Journal of Thermal Sciences,2022,172:107267.2 YU C L,WANG Y Q,ZHANG H Q,et al.Numerical investigation on turbulent thermal performance of parallel flow heat exchanger with a novel polyhedral longitudinal vortex generator in shell sideJ.International Journal of Thermal Sciences,2021,166:106962.3 徐志祥，王铮恭，王雨，等.激光激发超声波检测带涂层铝板的表面缺陷J.机械工程与自动化，2019(5):162163,166.4 HORAN P,UNDERHILL P R,KRAUSE T W.Pulsed eddy current detection of cracks in F/A-18 inner wing spar without wing skin removal using modified principal component analysis J.NDT&E International,2013,55:2127.5 ARJUN V,SASI B,RAO B P C,et al.Optimisation of pulsed eddy current probe for detection of sub-surface defects in stainless steel platesJ.Sensors and Actuators A:Physical,2015,226:6975.6 TEHRANCHI M M,RANJBARAN M,EFTEKHARI H.Double core giant magneto-impedance sensors for the inspection of magnetic flux leakage from metal surface cracks J.Sensors and Actuators A:Physical,2011,170(1):5561.7 LIU X,XU K,ZHOU P,et al.Surface defect identification of aluminium strips with non-subsampled shearlet transformJ.Optics and Lasers in Engineering,2020,127:105986.8 HUANG D,LI K,GUI Y T,et al.Thermal pattern reconstruction of surface condition on freeform-surface using eddy current pulsed thermographyJ.Sensors and Actuators A:Physical,2016,251:248257.9 罗晶，陈金海，彭志轩，等.基于机器视觉的机器人抓取实验系统J.实验技术与管理，2022,39(4):4550.10 张月文，李松恒，张炜，等.基于机器视觉的可回收垃圾智能分拣系统设计J.实验室研究与探索，2022,41(7):98103,107.11 肖成勇，李擎，张德政，等.基于深度学习的计算机视觉创新实验平台设计与实现J.实验室研究与探索，2022,41(4):9498,142.12 邵铁锋，唐建祥，廖艺真.基于机器视觉的蚕茧分选综合实验系统J.实验技术与管理，2020,37(9):119121,126.13 全国有色金属标准化技术委员会（SAC/TC 243）.铝及铝合金多孔微通道扁管型材：GB/T 33230-2016 S.北京：中国标准出版社，2016.14 张丽丽.杠杆模型在力矩平衡问题解决中的应用J.物理通报，2019（增刊1）:1720,24.15 HE Y,SONG K G,MENG Q G,et al.An end-to-end steel surface defect detection approach via fusing multiple hierarchical featuresJ.IEEE Transactions on Instrumentation and Measurement,2020,69(4):14931504.16 İNCESU M.LS(3)-equivalence conditions of control points and application to spatial Bezier curves and surfacesJ.AIMS MATHEMATICS,2020,5(2):12161246.17 师楠，徐明忠，朱显辉，等.多晶硅I-V曲线的Bezier控制点拟合规律J.中国电机工程学报，2022,42(6):22002208.18 朱陆陆.蒙特卡洛方法及应用D.武汉：华中师范大学,2014.19 龚时华，周迪一，王子悦，等.基于蒙特卡罗方法的LED芯片定位系统误差分析J.压电与声光，2019,41(3):416420.20 孟彬，韩燕苓.基于MATLAB的空间曲线曲率的数值计算J.齐鲁工业大学学报，2021,35(2):7480.（编辑：孙浩）