复合材料热结构孔隙缺陷表征与分形维数评价.pdf

2023年10月 强 度 与 环 境 Oct.2023 第 50 卷第 5 期 STRUCTURE&ENVIRONMENT ENGINEERING Vol.50 No.5 收稿日期：2023-07-25；修回日期：2023-09-15 基金项目：国家自然科学基金(12172055)作者简介：张杨(1997-)，男，研究生；(100081)北京理工大学宇航大楼 310 室.通讯作者：卢江仁(1980-)，男，副教授；（710025)陕西省西安市灞桥区同心路 2 号.复合材料热结构孔隙缺陷表征与分形维数评价 张杨1 刘裕如1 赵桐1 万志帅1 席立1 肖登宝1 邢悦2 卢江仁3 王晓晖4（1 北京理工大学，北京 100081；2 国防科技创新研究院 北京 100071；3 火箭军工程大学，西安 710025；4 北京强度环境研究所，北京 100076）摘要：受制备工艺约束，复合材料热结构内部的基体会存在不可忽视的细观孔隙缺陷。本文基于航天材料及工艺研究所制备的热结构 CT 图像开发了一种能够识别基体细观缺陷的机器学习模型，通过将注意力机制模块与深度学习框架进行结合，利用注意力机制模块能够关注特定预期分割目标区域的特点，实现对热结构 CT图像进行图像分割，试验证实本方法能够识别局部细观孔隙等缺陷，提升图像分割的精度。为了定量分析缺陷的几何形貌，本文提出采用分形维数对其进行表征，最后重点研究热结构制造缺陷的形貌定量分布规律。关键词：细观缺陷；CT 图像；图像识别；缺陷表征；分形维数 中图分类号：V414.8 文献标识码：A 文章编号：1006-3919(2023)05-0037-06 DOI：10.19447/ki.11-1773/v.2023.05.005 Characterization and Evaluation Method of Micro Manufacturing Defects in Thermal Structure Based on Fractal Dimension ZHANG Yang1 LIU Yuru1 ZHAO Tong1 WAN Zhishuai1 XI Li1 XIAO Dengbao1 XING Yue2 LU Jiangren3 WANG Xiaohui4(1 Beijing Institute of Technology,Beijing 100081,China;2 National Innovation Institute of Defense Technology,Beijing 100071,China;3 Rocket Force University of Engineering,Xian 710025,China;4 Beijing Institute of Structure and Environment Engineering,Beijing 100076,China)Abstract：Due to the constraints of the preparation process,there may be significant micro manufacturing defects in the fiber bundles,substrates,etc.within the thermal structure that cannot be ignored.This article develops a machine learning model based on thermal structure CT images that can recognize micro defects in the matrix.By combining the attention mechanism module with a deep learning framework,the attention mechanism module can focus on the characteristics of specific expected segmentation target areas to achieve image segmentation of thermal structure CT images.The experiment verifies that this method can recognize local micro pores and other defects,indicating the accuracy of image segmentation.In order to quantitatively analyze the geometric morphology of defects,this paper proposes to use fractal dimension to characterize them,and finally focuses on the quantitative distribution law of the morphology of thermal structure manufacturing defects.Key words：microscopic defects;CT images;image recognition;defect characterization;fractal dimension0 引言 近几十年，国内外诸多学者针对复合材料热结构力学性能，特别是在预报复合材料的服役强度领域开展了许多工作。在这些研究中，针对复合材料破坏过程不明晰的缺陷，较多的局部细观力学模型被提出，如损伤力学、应力传递和界面力学等。由38 强 度 与 环 境 2023 年 于连续碳纤维复合材料力学性能主要受纤维、基体、界面等组分的力学特性、细观结构、载荷形式、材料内部存在的孔隙缺陷等因素的影响，其破坏过程同时会存在纤维断裂、基体开裂、界面脱粘等多种不同失效模式，这些复杂的失效机理给复合材料的强度评估带来了很大困难1-2。这其中孔隙缺陷会对复合材料力学性能产生较为显著的影响，如会影响受载时的损伤萌生、演化以及微裂纹的扩展，进而影响到复合材料宏观力学性能。在评估复合材料力学性能时，如果未考虑孔隙缺陷会过高的估计复合材料力学性能，从而对结构件的安全服役产生极为不利的影响。因此开展复合材料孔隙缺陷研究，能够为复合材料结构的极限承载力预报提供重要的参考3-4。Kardos 应用经典成核理论对复合材料成型过程中的某些孔隙缺陷形成机理进行了解释4，孙磊等6、冯炎建7等利用红外热成像、X 射线照相和工业 CT 等对 C/SiC 试样进行无损检测，从原位微观的角度分析了预制体、沉积基体以及残留孔隙的结构特征。杨志贤8等采用 random 函数随机分布基体内部孔隙，张兆杭9等采用三维随机碰撞算法建立了含较大随机孔隙的 C/C-SiC 复合材料的有限元模型。张怀10等在微观尺度微观模型的基体中引入孔隙单元研究了孔隙缺陷对编织复合材料多尺度力学性能的影响规律。王佳伟11等综述了孔隙对纤维增强陶瓷基复合材料的影响。以上这些研究都是对制造缺陷形貌进行表征以及等效处理，其大多依赖统计数据，缺乏对几何特征最直接的表征指标。现有采用椭球体或多面体的等效方法忽略了缺陷的轮廓特征，无法反映真实的空间特征，这些也导致缺陷对复合材料力学性能影响的机理研究不全面。使用深度学习的方式对图片进行目标区域的识别并进行自动划分拥有较高的效率。在图像分割领域 2015 年 Ronneberger12等提出了基于编码器解码器的 Unet 图像分割网络，充分利用了底层信息和高层信息，图像分割效果得到了巨大提升。Unet 网络表现优越的原因是因为医学图像组成往往比较简单，为单通道图像的分割，网络简洁的特征提取方法可以更好的读取图像中的语义信息。Shen13等针对皮肤血管提出了多尺度的三分支的图像分割框架，该框架可以使用有标记的数据和未标记的数据共同提升网络的分割性能。该类方法为快速识别图像中目标区域提供了新的思路。因此，针对当前研究工作对缺陷孔洞的几何形貌多是定性分析，缺乏定量研究等问题，本文开展热结构内部制造缺陷形貌定量分析，对复合材料的制备工艺与服役性能研究提供数据指导。1 热结构制造缺陷细观尺度表征与识别 复合材料结构内部缺陷识别方法较多，基于CT 图像的缺陷识别与分割方法已经得到广泛应用，该技术可以分为两步：1)运用 Avizo 等商业软件对工业 CT 图片进行图像分割，核心算法如阈值分割、边缘检测、区域生长等，通过将需要提取的可能缺陷区域从背景图像中分割出来，并选取边界闭合的区域作为可能是缺陷的候选区域；2)对候选区域进行识别，利用缺陷自身形状、灰度及 Hu不变矩的内在特征，通过操作人员自身经验设置分割参数，将细观缺陷识别出来，操作者个人经验决定了缺陷识别的准确率。对于热结构复合材料而言，受限于设备扫描的精确度、分辨率等参数，获得的 CT 图像灰度值分布并不均匀，在对 CT 断层图像进行分析、重建时极其依赖于扫描获得图像的清晰度。CT 的分辨率通常较低同时图片中含有大量噪声。采用传统阈值分割的方法进行图像分割以及三维重建时不仅分割效果差，而且需要大量的人工操作对阈值分割时产生的空洞、毛边以及粘连进行手动调整，费时费力。本文以航天材料及工艺研究所提供的 C/Si 复合材料热结进行研究，图 1 是基体材料的孔隙缺陷分布 CT 图像。近年来在图像分割领域，基于机器学习的分割方法具有明显优势，得到快速发展，比如国内外常用的 U-net 深度学习模型，本文针对复合材料内部缺陷特征，发展了一种新的 CT 图像机器学习分割模型。1.1 基于深度学习的 CT 图像分割模型 在数字图像处理领域中，使用深度学习方法并利用卷积核在图像中移动提取特征的特性可以学习图片中的隐藏信息，通过设计合理的深度学习框架可以输出经过分割的图片，从而达到对目标和背景进行区分的目的。这种分割方法与传统的图像阈值分割技术相比节省了大量人力，尤其在医学与工业 CT 等专业领域，对这些图片进行图像分割往往第 50 卷第 5 期 张杨等 复合材料热结构孔隙缺陷表征与分形维数评价 39 需要由专业的医师或工程师来进行区分，无法广泛的应用于实际生活中；但通过与深度学习方法进行结合就可以保存网络学习的模型参数，若需对大量图片进行分割只需要重新调用相关参数就可以实现快速准确的图像识别。图 1 典型热结构 CT 图像及其基体材料的孔隙缺陷分布 Fig.1 The CT images and distribution of pore defects of thermal structure 卷积神经网络本质则是利用卷积核局部感知的特点，学习微小局部特征，建立输入与输出的映射，通过总结样本，最终使得网络能够根据输入预测输出，主要包含卷积层、池化层、全连接层三种结构，为了让网络具有非线性的学习能力还要使用激活函数。a)单通道卷积示意图 b)最大池化层示意图 c)全连接层示意图 图 2 深度学习网络 Fig.2 Deep learning network 热结构 CT 图像的通道数一般为单通道，单通道的卷积过程如图 2(a)所示，使用的卷积核大小为3 3，stride 设置为 1，不进行 0 填充。图 2(b)显示了最大池化的方法过程。图 2(c)显示了全连接层的基本结构，在输入层、隐藏层、输出层中的每一个节点也都使用激活函数用来改善网络的非线性拟合能力。对于复合材料，多相组分造成 CT 图像更为复杂。为此，本文将多尺度图像分割框架与注意力机制进行结合用来解决CT图像中小孔以及连通区域的图像分割，使用 PyTorch 进行深度学习框架的搭建，该框架可分为图像分割模块、图像重建模块、判别器以及注意力机制通道。图像分割模块：主要作用是对图像进行基本的特征提取并进行初步分割，网络架构通过使用三个编码器解码器模块来输入三个尺度的图像信息，其中尺度较低的两个输入是通过对原图进行两次下采样分别输入的。针对热结构 CT 图像信息单一的特点，编码器中使用的通道数依次上升，其分别为8、16、36、64，并在每一层中都添加 BN 层来对数据进行归一化处理，BN 层的主要作用即是将每一层卷积层的输入进行归一化处理，这种归一化处理可以避免由于某些数据分布发生改变而导致网络泛化能力降低。在本文中所有的模块均采用LeakyReLU 作为神经网络的激活函数。LeakyReLU函数如式(1)所示 0Re()0 xxLeakyLU xxx （1）为超参数设置为 0.2，使用 LeakyReLU 作为神经网络的激活函数可以防止当输入小于 0 时导致零梯度问题，零梯度会使网络无法正常更新权重从而失去学习能力。注意力机制模块：针对 CT 图像中可能会出现大量小孔以及连通区域，本文主要将 attention-unet中的注意力机制融合进入原始多尺度三分支框架，为计算过程中网络特征图的像素做加权处理，使得网络能够学习到图像中需要被重点观察到的对象，通过对区域赋予较大的权重可以帮助网络快速的定位目标并提高整个模型的表示能力。图像重建模块：在训练的过程中需要将该合成图与原始图片进行比较训练，其目的则是获取更接近原图的合成图，同时该预测原图还代表了图像分割模块的预测能力以及图像重建模块重建能力，两种信息的结合可以更好的帮助网络学习图像中存在的其他不容易被注意到的信息。判别器：包含了四个卷积层以及全连接网络用于判断真假，其输入则为标签图与真实原图，同时还输入了预测图以及合成图，其主要的判断目的则是将标签图与真实原图经过最后一层网络后获得输出为 1，即判断为真，将预测图以及合成图最后一层网络的输出为 0，即判断为假。利用这种方式可以更好的训练图像分割模块与图像重建模块。40 强 度 与 环 境 2023 年 1.2 CT 图像数据集预处理与训练 在CT图像中选择水平面的断层图像作为导出平面并按照坐标信息从 0 开始命名，用以方便后续三维重建。通过切分数据集的方式来增加训练的数据量，切分后的数据量由原来的 188 张图片扩充为752 张图片，选择其中 617 张图片训练集为，验证集为 75 张。所有图片的标注均在专业人士的指导下进行，在 Labelme 中进行划分。为了获取高精度的 CT 图像分割结果，本文使用了类似于原始多尺度三分支图像分割框架的训练方式，整个训练过程包含了两个阶段，分别是分割模块的预训练阶段以及判别器和分割模块交替进行的训练方式。由于我们拥有更多的标记数据，在训练方式上与原始方法的主要区别即在交替训练阶段使用的无标签图像其实是有标签的，因此，这部分图片也可以计算损失函数从而提高网络分割的精度。本文使用以下 5种常用的评价指标对分割后的图像进行评估，分别为 PAC、REC、PRE、Dice、IoU。PAC 代表了模型通过预测后与标签图相比分类正确的像素点占整张图像的比例；REC 为标签图的真值下正确分类所占的比例；PRE 表示输出的分割图中正确分类的比例；Dice 表示分割图与标签之间的交集占所有图像像素的比例；IoU 表示在整体目标区域中正确分类的集合占原图与标签图像并集的比例。1.3 分割精度 模型训练的 Batch size 选择为 4，采用动态学习率调整方法来不断减少学习率。训练结束后对图像分割效果进行评价，对比了使用 DeepLabV3、商用软件阈值分割的结果，如下表 1 所示。根据指标显示本文使用的方法在识别 C/SiC 在不规则缺陷图像方面有较高的精度，相比于 DeepLabV3 平均提升量为 4.12%，相比于商业软件 Aviso 直接使用阈值分割方法的平均提升量为 31.45%。表 1 热结构 CT 图像分割对比 Table 1 Comparison of segmentation accuracy for CT image PAC REC PRE DICE IOU 本文方法 0.993 0.966 0.856 0.891 0.884 DeepLabV3 0.951 0.944 0.821 0.868 0.841 Aviso 0.421 0.426 0.455 0.563 0.554 在热结构 CT 图像的孔状缺陷分割结果显示，本文方法在面对细小微孔颗粒处有较好的识别精度，同时连通缺陷的分割结果则显示了本文的方法在面对两块有细小连通趋势区域的地方可以准确识别出中间的细小空隙，但在其他深度学习模型中却往往会将其识别为连通的区域。与商用软件直接阈值处理结果相比，能够识别到更完整的更容易影响材料性能的缺陷。商用软件的直接阈值分割则通常由于灰度不均匀而产生大量错误识别以及缺陷区域选取的遗漏。因此使用本文的方法与传统阈值分割方法进行对比，精度更高。图 3 细观缺陷分割效果 Fig.3 Image segmentation of microscopic defects 2 热结构内部制造缺陷的细观尺度定量表征 当前国内外主要是对内部孔隙缺陷图像进行统计分析，假定孔隙为圆形或者椭圆形。然而已有许多研究表明孔隙并非简单的圆形，而是存在类似裂缝等长条状的空间分布。为此，本文提出采用分形维数的数学方法来表征孔隙的细观尺度分布。2.1 分形维数计算方法 分形维数能够评价复杂形体占有空间的有效性，它是复杂形体不规则性的量度。数值越大,分形图像的复杂程度就越高。欧几里德几何中直线或曲线是 1 维，平面或球面是 2 维。然而对于分形如海岸线、自相似曲线等的复杂性无法用维数等于 1、2、3 的数值来描述，热结构内部缺陷的细观形貌在不同尺度下也是不相同的。本文选用 Box Counting 方法定义的计盒维数如下 0()log()()limlog(1/)dimiiboxNNDdimS （2）式中，是小立方体一边的长度，N()是用此小立方体覆盖被测形体所得的数目。维数公式意味着通过用边长为 的小立方体覆盖被测形体来确定形体的维数14。2.2 典型细观缺陷的分形维数计算结果 对 CT 分割图像提取单个缺陷，分别计算分形第 50 卷第 5 期 张杨等 复合材料热结构孔隙缺陷表征与分形维数评价 41 维数，共获取 28 种高度切片、308 组不同形貌缺陷的数据。任意选取一张孔隙缺陷的分割图片如下图所示，孔隙缺陷的分形维数为 1.545，并非整数，这表明基于CT切片得到的孔隙缺陷空间形态是介于一维与二维。图 4 热结构孔隙缺陷分形维数计算结果 Fig.4 Fractal dimension of total pore defects in single CT slice 3 热结构制造缺陷分形维数分布规律 根据单个缺陷的分形维数 D 计算结果、统计占比百分数、形貌典型特征，可以将其分为三类：狭长主枝型，D1.6，维数低至 1.3；主枝+分枝型，1.6D1.7，维数中等偏上居多；随机弯曲型，1.7 D1.9，维数上限不超过 1.9。图 5 典型孔隙缺陷形貌与分形维数结果 Fig.5 Typical pore defect morphology and its fractal dimension results 图 6 单张 CT 切片孔隙缺陷形貌与分形维数结果 Fig.6 Each pore defect morphology and its fractal dimensions in single CT slice 图 6 为任选一张 CT 切片的计算结果，可以看到分形维数在 1.5-1.6 之间的缺陷居多，分形维数1.8 以上缺陷很少，说明缺陷形貌以狭长形状为主，圆形或者椭圆形很少。另外基体孔隙缺陷也并非完全是长条状，而是存在部分分枝状。a)沿着样件高度方向 CT 切片分布及孔隙分形维数 b)沿着样件高度方向分布 CT 切片孔隙形貌 图 7 多个 CT 切片的孔隙缺陷形貌与分形维数 Fig.7 Pore defect morphologies and fractal dimensions of CT slices 任意选取 5 种不同高度的 CT 切片（垂直于纤维方向），计算孔隙的分形维度。图 7a)可以分形维数的数值差异明显。图 7b)为这些切片分割得到的孔隙形貌，狭长形状居多。已有研究多是统计孔隙的空间占比，并未考虑细观几何形貌特征，并据此进行复合材料单胞的等效刚度与强度计算。多数结果表明9考虑孔隙缺陷的复合材料刚度下降不明显，而强度与孔隙占比关联明显。本文工作进一步表明孔隙的空间形态并不是传统默认的圆型或椭圆型，其对强度计算结果的影响需要进一步深入研究。表 2 孔隙缺陷分形维数占比分布 Table 2 Percentage distribution of fractal dimension in total pore defects 分形维数 1.3-1.4 1.4-1.5 1.5-1.6 1.6-1.7 1.7-1.8 1.8-1.9 百分比 16.03%15.18%34.69%17.33%11.64%5.13%图 8 和表 2 给出了 208 组 CT 切片中孔隙缺陷的分形维数分布数据。可以看到，沿高度方向计算分形维度，发现 1.5-1.6 之间的狭长形状缺陷较多，占比 34.69%。分形维数大于 1.8 与小于 1.4 的占比42 强 度 与 环 境 2023 年 都很小。图 8 沿着样件高度方向的孔隙缺陷分形维数结果 Fig.8 Fractal dimensions of pore defects along the height direction 由此说明，采用圆形假设等效描述缺陷形貌并不完全符合其真实的空间形态，在研究需要重点分析维数 1.5-1.6 之间的孔隙缺陷影响机理。4 结论 热结构制备过程中引入的各种细观尺度制造缺陷对其服役性能产生不可忽视的影响，准确识别与定量描述这些缺陷的几何形貌对于预报力学性能有重要意义。本文基于深度学习图像分割方法，建立了含有注意力机制的多尺度三分支图像分割框架，成功识别复杂的细观缺陷。将 CT 断层图片按照扫描间隔进行图像重建可以还原实际三维缺陷几何形貌，并通过分形维数参量对 CT 切片图像中几何形貌进行了定量评价，结果表明，分形维数在1.51.6之间的狭长形状缺陷较多，占比34.69%，分形维数大于 1.8 与小于 1.4 的占比都很小，这些缺陷对复合材料强度计算结果的影响需要进一步深入研究。参 考 文 献 1 GARBO S,OGONOWSKI J.Effect of variances and manufacturing tolerances on the design strength and life of mechanically fastened composite jointsR.AFWAL-TR-81-3041,1981(1).2 KARDOS J,DUDUKOVIC M,DAVE R.Void growth and resin transport during the processing of thermosetting matrix compositesJ.Advances in Polymer Science,1986,80:101-123.3 WANG ZG,DONG ZG,RAN YC,et al.On understanding the mechanical properties and damage behavior of Cf/SiC composites by indentation methodJ.Journal of Materials Research and Technology,2023,26:3784-3802.4 刘玉琢,曹立雄,吴建国,等.陶瓷基复合材料结构不确定性传播分析J.强度与环境,2023,50（1）:1-7.LIU Yuzhuo,CAO Lixiong,WU Jianguo,et al.Uncertainty propagation analysis of ceramic matrix composite structureJ.Structure&Environment Engineering,2023,50(1):1-7.5 ALMEIDA S,NETO Z.Effect of void content on the strength of composite laminatesJ.Composite Structures,1994(2):139-148.6 孙磊,张立同,梅辉,等.2D C/SiC 缺陷的无损检测与评价J.复合材料学报,2008,25(5):85-90.SUN Lei,ZHANG Litong,MEI Hui,et al.Nondestructive testing and evaluation of 2D C/SiC with defectsJ.Acta Materiae Compositae Sinica,2008,25(5):85-90.7 冯炎建,冯祖德,李思维,等.C/SiC 复合材料微结构的显微 CT表征分析J.航空材料学报,2011,31(2):49-54.FENG Yanjian,FENG Zude,LI Siwei,et al.MicroCT Characterization on Microstructure of C/SiC CompositesJ.Journal of Aeronautical Materials,2011,31(2):49-54.8 杨志贤,张明,李昂,等.含孔隙缺陷三维五向编织复合材料偏轴拉伸力学性能分析J.北京航空航天大学学报,2022,48(4):569-577.YANG Zhixian,ZHANG Ming,LI Ang,et al.Off-axis tensile mechanical properties of 3D five-directional braided composites with void defectsJ.Journal of Beijing University of Aeronautics and Astronautics,2022,48(4):569-577.9 张兆杭,崔少康,谭志勇,等.C/C-SiC 缎纹编织复合材料孔隙缺陷的建模及其拉伸性能仿真J.复合材料学报,2020,37(8):1969-1980.ZHANG Zhaohang,CUI Shaokang,TAN Zhiyong,et al.Modeling of void defects in C/C-SiC satin weave composites and simulation of their tensile propertiesJ.Acta Materiae Compositae Sinica,2020,37(8):1969-1980.10 张怀,李成,刘乐,等.基于改进三胞模型考虑孔隙缺陷的三维四向编织复合材料多尺度力学性能分析J.复合材料科学与工程,2023(2):14-23.ZHANG Huai,LI Cheng,LIU Le,et al.Multi-scale mechanical properties analysis of three-dimensional four-direction braided composites considering pore defects based on improved three-cell modelJ.Composites Science and Engineering,2023(2):14-23.11 王佳伟,张哲绎,赵丽滨,等.孔隙对纤维增强陶瓷基复合材料的影响研究进展J.河北工业大学学报,2022,51(5):34-42.WANG Jiawei,ZHANG Zheyi,ZHAO Libin,et al.Research progress on effects of pores on fiber reinforced ceramic matrix compositesJ.Journal of Hebei University of Technology,2022,51(5):34-42.12 RONNEBERGER O,FISCHER P,BROX T.U-Net:Convolutional Networks for Biomedical Image SegmentationJ.Springer International Publishing,2015.13 SHEN N,XU T,BIAN Z,et al.SCANet:A unified semi-supervised learning framework for vessel segmentationJ.IEEE Transactions on Medical Imaging,2022,40(3):1-11.14 FALCONER K.Techniques in fractal geometryM.Wiley,1997.