基于深度学习的岩石孔隙分割方法.pdf

2023 年第 5 期计算机与数字工程收稿日期：2022年11月2日，修回日期：2022年12月14日作者简介：陈国军，男，博士，副教授，研究方向：图形图像处理，计算机视觉。姜朕，男，硕士，研究方向：图形图像处理。尹冲，男，硕士，研究方向：图形图像处理。王乐康，女，硕士，研究方向：图形图像处理。1引言岩石孔隙是岩石组分中一个极其重要的部分，储集层岩石的孔隙结构1特征是影响储层的容量（对油气）和油气资源开发的主控因素，它不仅控制了石油的迁移和积聚，对石油采收率也有一定的影响。目前主要采用采集储层岩石铸体薄片2的方法对储层孔隙进行研究，并在显微镜下以肉眼方式对铸体薄片进行观察鉴定。这种以人工方式进行铸体薄片鉴定的方法往往存在实验周期长、效率低、量化难度与个人主观影响大等问题，并且目前可用于研究分析的岩心数量较少，孔隙中的流体较少，信噪比相对较低，实验数据的可靠性不高。随着深度学习的发展，深度学习在图像处理领域具有广泛的应用。深度神经网络3可以拟合大量数据集的特征，且针对图像中的噪声问题能够有效避免。Ali等利用卷积神经网络对图像目标进行定位，通过区域判断使分割性能提高4。Long等提出了一种全卷积网络5（Fully Convolutional Networks，FCN）图像分割算法。该算法放弃全连接层而是采用全卷积层代替，能保证将卷积特征恢复为原始尺寸的二维矩阵，实现图像端到端的输出，更基于深度学习的岩石孔隙分割方法陈国军姜朕尹冲王乐康（中国石油大学（华东）计算机科学与技术学院青岛266580）摘要现有的传统孔隙分割方法不能准确提取岩心图像中细小狭长的孔隙，且容易受到岩石图像噪声的干扰，针对上述问题，提出了一种深度学习网络模型ARC-Unet（Attention and Recurrent-Convolution Unet），用于更加精确的分割岩石孔隙。采用Unet作为基础网络，并在网络上加入注意力机制，用于解决在分割时小面积的孔隙容易被漏分割的情况。将循环卷积模块代替原来的卷积模块，可以拟合更多的岩石特征，提高孔隙分割的准确度。通过在采集并制作的岩石数据集上进行训练并在通过在测试集的分割结果上进行模型评估，改进模型在测试集上的F1达到了88.15%，有着较好的岩石孔隙分割结果。关键词深度学习；岩石孔隙分割；注意力机制；循环卷积中图分类号TP391.41DOI：10.3969/j.issn.1672-9722.2023.05.032Rock Pore Segmentation Method Based on Deep LearningCHEN GuojunJIANG ZhenYIN ChongWANG Lekang（College of Computer Science and Technology，China University of Petroleum（East China），Qingdao266580）AbstractThe existing traditional pore segmentation methods cannot accurately extract the small and long pores in the coreimage，and are easily disturbed by the noise of the rock image.In response to the above problems，a deep learning network modelARC-Unet（Attention and Recurrent-Convolution Unet）is proposed for more precise segmentation of rock pores.Unet is used asthe basic network，and an attention mechanism is added to the network to solve the situation that small areas of pores are easy to beleaked during segmentation.Replacing the original convolution module with the cyclic convolution module can fit more rock featuresand improve the accuracy of pore segmentation.Through training on the collected and produced rock dataset and model evaluationon the segmentation results of the test set，the F1 of the improved model on the test set reaches 88.15%，which has a good rock poresegmentation result.Key Wordsdeep learning，rock pore segmentation，attention mechanism，recurrent convolutionClass NumberTP391.41总第 403期2023 年第 5期计算机与数字工程Computer&Digital EngineeringVol.51No.51157第 51 卷有利于进行分割操作。Hui等提出的Unet6广泛用于医学图像分割7任务，其具有网络构造简单，所需数据样本少，训练速度快等优点。岩石孔隙分割存在的主要问题就是岩石表面的颜色、灰度变化范围较大，尤其是孔隙部分灰度值较低，且图像常带有大量噪声干扰，使得常规方法对孔隙部分的分割提取工作变得困难。岩石所包含的内容相对复杂，岩石中孔隙部分形态不规则，分布也不规律，这为岩石孔隙的分割又增加了一定难度。此外岩石的孔隙大小不一，小面积的孔隙在分割时容易出现丢失的情况。本文针对上述问题对原始数据集进行了优化以及对网络模型进行改进。通过图像增强8方法对岩石图像的孔隙部分进行增强，从而能够对孔隙部分进行更加准确的分割。由于岩石孔隙的分割操作与一些医学细胞图像的分割操作有很多相似之处，且Unet网络在医学细胞图像上已经取得了很好的分割效果，所以本文采用Unet网络模型作为基础模型，并在该模型上加入注意力机制，以增加分割不同尺度孔隙的鲁棒性，从而减少在分割过程中的漏分割9情况，提高孔隙分割的准确率。将传统的编码器-解码器10结构中编码器部分替换为循环卷积模块，训练时拟合大量的孔隙特征，减少编码阶段中由于池化和卷积造成的信息丢失问题，在分割时能够更加准确地进行孔隙部分的分割操作。2基于Unet改进的孔隙分割模型2.1Unet网络模型Unet是一种基于 FCN 改进的一种分割网络。Unet网络相对简单，是一种典型的编码器-解码器网络结构。Unet网络包括两部分，一部分用作特征提取，特征提取的方式不像FCN一样采取对应的点相加而是选择拼接的方式，将不同通道的特征拼接成更厚的特征。另一部分的作用是进行上采样。上采样阶段中添加了很多的特征通道，这种方式使得训练集图像中更多的原始纹理信息可以在高分辨的网络层中进行传播。Unet即使使用较少的图像也能得到非常良好的分割效果。本文中岩石孔隙分割是一个二分类11分割任务，基于Unet的优点以及在二分类分割中良好的表现，本文采取Unet作为基础网络。2.2通道注意力机制通道注意力机制12通过对特征提取能力较好的特征图赋予较大的权重，而对特征提取能力较差的特征图赋予较小的权重的方式来进行信息过滤。这种方式不仅能够使网络更好地利用特征图中所包含的信息，提升分割的准确度，而且能够对特征图达到一定的稀疏效果。所以给每层特征图最合适的权重，能大大提高分割的效果。岩石的孔隙大小不一，小面积的孔隙在分割时容易出现丢失的情况，注意力机制可以有效解决在分割时因目标过小而出现漏分割问题。将注意力机制加入到Unet中，在训练时可以使网络学习到更多细小孔隙的信息，从而提高网络模型对孔隙的分割效果。注意力机制可以用式（1）和式（2）表示。A=N()X（1）FA=AF（2）其中，X作为输入；N()为注意力子网络；A为输入X后注意力子网络的输出；F为输入X的特征矩阵；表示F与A之间的操作，包括点乘、矩阵加法以及多层感知机等操作；FA表示基于注意力机制的特征矩阵。注意力子网络N()的结构不同，注意力机制也不同。可以根据N()的结构特点，将注意力机制分为通道、空间、混合注意力机制三种类型。注意力模块如图1所示。SumReLuconv11SigmoldResamelingMultielyconv11OutputAttention layerConv 11Conv 11Encoder pathDecoder path图1注意力机制模块2.3循环卷积为了在模型训练过程中能学习到更多的图像信息，常用的方法是加深网络深度，但网络增加的深度不好控制，若网络加深过多会导致网络中某些浅层的学习能力下降，从而会一定程度地限制深层网络的学习。岩石中孔隙的分布极其不规则，为了在训练过程获取更多孔隙信息，本文采取用循环卷积（Recurrent Convolution）13模块代替加深网络层陈国军等：基于深度学习的岩石孔隙分割方法11582023 年第 5 期计算机与数字工程数的方式进行模型训练。循环卷积模块如图2所示。t=2输入卷积+Relu输出图2循环卷积模块循环卷积采用参数t来控制卷积重复的次数，其计算过程可以用式（3）和式（4）表示。Rt=0=Operate(x)（3）Rt=else=Operate(Rt=0)（4）在以上公式中，x表示网络的输入；Operate表示网络对输入 x 的操作，本文中采取的为卷积操作，激活函数为Relu（）函数；R表示每一次循环结束后的输出，每一次的输出都作为后一次的输入。本文模型经过多次实验对比，最终确定参数t=2时综合效果最好。2.4损失函数本文针对岩石孔隙分割问题开展，需要将岩石中孔隙部分分割出来，是一个二分类问题。由于数据集来源于同一状态下的岩石切片，所以避免了数据集中某些图片缺失孔隙的问题，数据集数据较为平衡。原始模型中采用的是DiceLoss14损失函数，用本文中数据集进行训练时，一些小面积的孔隙容易出现错误分割的情况，此时Dice会出现较大幅度的波动，从而导致梯度发生剧烈变化，训练不稳定，基于此问题本文将原始模型中采用的 DiceLoss替换为二分类交叉熵损失函数（BCELoss）15，在数据集数据较为平衡的情况下对网络训练有一定的改善作用。经过实验验证二分类交叉熵损失函数更适合本文的数据集且达到的分割效果最好。多分类交叉熵损失函数可用式（5）表示。Loss=-Log(Pc)（5）其中，p=p0pc-1表示的是向量，Pc表示该样本被预测为第c类的概率。本文孔隙分割是二分类分割，只有正例和负例，并且两者的概率之和为1，所以不需要预测成一个向量，只需预测一个概率就可，因此二分类交叉熵损失函数可以定义为式（6）。Loss=-()yLog()y+()1-y Log()1-y（6）其中，y是样本标签，y是模型预测样本为正的概率，样本若为正例，取值为1，否则取值为0。2.5ARC-Unet本文针对岩石孔隙在分割时存在的一些问题，引入注意力机制来解决一些小面积、灰度值低的孔隙容易被漏分割的问题。通过将传统的卷积模块替换为循环卷积模块，以解决网络在训练过程中因学习到的岩石信息少而影响孔隙分割准确率的问题。本文所作的改进都以Unet网络为基础网络模型，最终的网络结构图如图3所示。RecurrentConvolution1输入孔隙图像RecurrentConvolution2RecurrentConvolution3RecurrentConvolution4Attentionupsampling1upsampling2upsampling3upsampling4输出图3孔隙分割网络模型3模型训练3.1数据采集与制作实验数据集为吉林某致密砂岩6种岩心样品共6组约12000 张CT图像，包括2000张普通CT图像 和 10000 张 SR-CT 图 像，像 素 大 小 分 别 为7.6m、0.6m、0.65m、0.325m 等四种。最终本文选择0.6m普通CT图像作为数据集，将其分为训练集（1000张）和测试集（80张）两部分。根据岩石图像孔隙与背景的差异，采用Labelme开源标注工具，对岩石图像孔隙部分进行标注，生成岩石原图像对应的孔隙标签图（label）。在进行训练之前，1159第 51 卷为了获得更好的分割效果，对数据集进行了直方图均衡化16增强处理，使其图像背景与孔隙部分对比度更加明显。数据集制作如图4所示，数据集增强如图5所示。（a）（b）（c）图4数据集制作图4（a）为岩石孔隙数据集原图，图4（b）为采用Labelme标注工具进行人工标记，图4（c）为标签图。（a）（b）图5数据集增强处理图5（a）为原图像，图5（b）进行了直方图均衡化处理。从图像中可以看出经过数据增强处理后岩石孔隙部分对比度明显增强。3.2实验环境与模型训练本文实验均在CentOS Linux release 7.4.1708环境下进行，并使用NVIDIA Tesla P100-PCIE显卡进行加速，基于 Pytorch 深度学习框架，操作系统为Windows10。训练过程中，batchsize大小设置为4，训练轮数epoch为200，学习率设置为0.0001，损失函数采用BCELoss损失函数。3.3评估指标为了更直观地评价本文模型对岩石孔隙的分割结果，本文采用查准率 P（precision）、查全率 R（recall）和综合评价指标F1对岩石孔隙分割结果进行定量分析。其中P、R定义分别如式（7）和式（8）所示。P=TPTP+FP（7）R=TPTP+FN（8）在孔隙分割检测结果中，TP、TN、FP、FN分别表示为真阳数、真阴数、假阳数和假阴数；由于P和R本身就是一种不可调和的矛盾，很难同时提高并做出全面评价，所以采用F1来作为最终的评价指标，其公式定义如式（9）所示。F1=2PRP+R（9）其中，P和R分别表示为查准率和查全率，F1作为查准率P和查全率R的调和均值。4实验结果分析为了验证本文的模型对岩石孔隙的分割效果具有提升作用，故将其他模型与本文中的模型在测试集上进行对比，用到的其他模型为FCN，DeepLabv3，SegNet等。部分分割结果如图6（a）图6（g）所示。根据图6（a）图6（g）所给的结果可以看出，在没有严重的噪声干扰下，并且孔隙面积较大且清晰时，五种模型都能将该部分孔隙分割出来，如图6中第1行和第2行所示。针对图像中小面积的孔隙和与背景部分容易混淆的孔隙，各模型的分割结果有了很大的区别。从图6中第3行中可以看出，图像中有一线型孔隙与背景极为相似，各模型分割结果都产生了漏分割现象，其中 SegNet与 FCN漏分割的情况较为严重，本文模型分割的效果相对较好。针对一些小面积的孔隙，如图6中第4行所示，SegNet与 FCN仍存在一定的漏分割问题。如图 6中第5行所示，DeepLabv3与Unet出现了错误分割的结果，本文模型中虽然也出现了错误分割的结果，但是总体效果来说，优于其它的模型，能够将大部分孔隙准确分割出来。通过本实验定性分析，证明了本文模型在岩石孔隙分割问题中具有分割准确、漏分割和错误分割情况较少出现等优点，分割出的孔隙细节信息也相对较为丰富，在孔隙分割中具有有效性。通过F1综合评估指标在测试集上进一步验证本文模型对岩石孔隙分割的有效性，各种模型在测试集中孔隙分割结果如表1所示。表1不同模型实验结果模型SegNetFCNDeepLabv3UnetARC-UnetP0.74960.77950.81020.79460.8053R0.94620.95120.95880.97940.9833F10.82650.85680.87650.87330.8815由表中可以看出，本文模型在查准率 P、查全率R、以及综合评价指标F1都高于其他模型，高出 SegNet5.5%，FCN2.47%，DeepLabv30.5%，Unet0.82%，证明了本文模型在孔隙分割方面有着较高的准确率，适用于岩石孔隙分割。陈国军等：基于深度学习的岩石孔隙分割方法11602023 年第 5 期计算机与数字工程同时，本文模型中提出的注意力模块与循环卷积模块，针对以上两个改进模块以及所采取的不同损失函数进行了实验并分析，结果如表2所示。其中，Unet+Attention表示原始模型Unet与注意力模块结合，Unet+RCNN表示原始模型Unet与循环卷积模块结合。表2改进模块有效性比较模型UnetUnet+AttentionUnet+RCNNARC-UnetP0.79460.82150.81650.8053R0.97940.94310.95050.9833F10.87330.87740.8760.8815从表2中可以发现，当在原始模型中加入注意力模块或循环卷积模块后，查准率P和F1都有所提升，因此可以证明这两个模块对于孔隙分割都是有效的。当两个模块一起加入后，F1增加且增幅大于只增加单一模块时的情况，从而证明了本文基于Unet做出的改进对于提升孔隙分割的准确率是有提升的。训练时每轮 epoch 所对应的 Loss 值用曲线图进行绘制，如图 7所示。从图 7中可以看出，在第160轮左右网络接近于收敛。每轮 epoch 所对应的平均 F1 值曲线图如图 8所示。从图中可以看出，F1 值最高时可以达到0.9162，平均F1值为0.8815。0.70.60.50.40.30.20.101815222936435057647178859299106113120127134141148155162169176183190197图7Loss曲线10.90.80.70.60.50.40.30.20.101815222936435057647178859299106113120127134141148155162169176183190197图8F1曲线结合图6与表1、表2的各种数据对比来看，本文模型在岩石孔隙分割方面相较于其他模型展现出了较好的结果，提出的改进方案也一定程度上解决了孔隙分割可能出现的问题。所以，本文提出的网络模型ARC-Unet能适用于岩石孔隙分割研究。（a）原图（b）标签（c）SegNet（d）Unet（e）FCN（f）DeepLabv3（g）ARC-Unet图6各模型分割结果1161第 51 卷5结语本文针对岩石图像中孔隙部分分割困难，且目前采用深度学习来研究岩石图像的方法相对较少，提出了一种深度学习网络模型 ARC-Unet来研究岩石孔隙分割。该模型基于Unet改进，引入注意力机制解决在分割时小面积以及与背景及其相似的孔隙容易出现漏分割的情况；同时为了避免单纯地增加网络深度而引发的一些网络问题，引入循环卷积模块来代替原始模型的卷积模块，训练时学习到更多的孔隙信息，以免发生漏分割以及错误分割等问题。实验结果表明，改进的模型相较于原始模型在测试集上取得了较好的岩石孔隙分割效果。但是此模型仍存在一定的不足，需进一步优化模型结构，提高训练计算效率。针对岩石孔隙特点，一些孔隙在分割时仍然会出现漏分割的情况，从而会使分割准确率下降，因此在岩石孔隙分割准确率方面也仍有上升空间，需要更进一步的研究。除上述问题外，本文所采用的数据集均为手工制作，原图像的标签图需要人工手动标记，由于岩石图像中孔隙分布以及孔隙形状大小极其不规则，所以在手工标记时会消耗大量时间，如何针对此类数据集进行有效快速的标注需要进一步改进。参 考 文 献1郝乐伟，王琪，唐俊，等.储层岩石微观孔隙结构研究方法 与 理 论 综 述J.岩 性 油 气 藏，2013，25（05）：123-128.HAO Lewei，WANG Qi，TANG Jun，et al.Summary of research methods and theories on microscopic pore structureof reservoir rocksJ.Lithologic Reservoir，2013，25（05）：123-128.2代贺，滕奇志，伦增珉，等.岩石铸体薄片图像孔隙自动 提 取 方 法J.图 像 与 信 号 处 理，2017，6（1）：17-28.DAI He，TENG Qizhi，LUN Zengmin，et al.Automaticextraction method of pores in thin section of rock castingJ.Image and Signal Processing，2017，6（1）：17-28.3Cirean D C，Giusti A，Gambardella L M，et al.Deep Neural Networks Segment Neuronal Membranes in ElectronMicroscopy ImagesJ.Advances in Neural InformationProcessing Systems，2012，25：2852-2860.4Ali Muhammad Junaid，Raza Basit，Shahid Ahmad Raza，et al.Enhancing breast pectoral muscle segmentation performance by using skip connections in fully convolutionalnetwork J.International Journal of Imaging Systems andTechnology，2020，30（4）：1108-1118.5Long J，Shelhamer E，Darrell T.Fully convolutional networks for semantic segmentationJ.IEEE Transactionson Pattern Analysis and Machine Intelligence，2014，39（4）：640-651.6Hui H，Zhang X，Li F，et al.A Partitioning-Stacking Prediction Fusion Network Based on an Improved AttentionU-Net for Stroke Lesion Segmentation J.IEEE Access，2020（99）：1.7Milletari F，Navab N，Ahmadi SA.V-net：Fully convolutional neural networks for volumetric medical image segmentationC/2016 Fourth International Conference on3D Vision（3DV），2016：565-571.8Merril C R，Goldman D，Keuren M L V.Simplified silverprotein detection and image enhancement methods in polyacrylamide gels J.Electrophoresis，2010，3（1）：17-23.9Ehlers Justis P，Wang Kevin，Vasanji Amit，et al.Automated quantitative characterisation of retinal vascular leakageand microaneurysms in ultra-widefield fluorescein angiographyJ.The British Journal of Ophthalmology，2017，101（6）：696-699.10Wen Liu，Yankui Sun，Qingge Ji.MDAN-UNet：Multi-Scale and Dual Attention Enhanced Nested U-Net Architecture for Segmentation of Optical Coherence Tomography Images J.Algorithms，2020，13（3）：60.11Tzelepi M，Tefas A.Class-specific discriminant regularization in real-time deep CNN models for binary classification problems J.Neural Processing Letters，2020，51（11）：1989-2005.12M.Noori，A.Bahri，K.Mohammadi.Attention-GuidedVersion of 2D UNet for Automatic Brain Tumor Segmentation C/2019 9th International Conference on Computer and Knowledge Engineering（ICCKE），Mashhad，Iran，2019：269-275.13Md Zahangir Alom，Chris Yakopcic，Mst.Shamima Nasrin，et al.Breast Cancer Classification from Histopathological Images with Inception Recurrent Residual Convolutional Neural Network J.Journal of Digital Imaging，2019，32（4）：605-617.14Liu Q，Tang X，Guo D，et al.Multi-class Gradient Harmonized Dice Loss with Application to Knee MR ImageSegmentationC/International Conference on MedicalImage Computing and Computer-Assisted Intervention.Springer，Cham，2019：86-94.15Kai Hu，Zhenzhen Zhang，Xiaorui Niu，et al.Retinal vessel segmentation of color fundus images using multiscaleconvolutional neural network with an improved cross-entropy loss functionJ.Neurocomputing，2018，309：179-191.16岳清清.深度学习在岩石薄片图像检索中的应用研究D.西安：西安石油大学，2019：8-10.YUE Qingqing.Research on the Application of DeepLearning in Rock Slice Image Retrieval D.Xian：XianShiyou University，2019：8-10.陈国军等：基于深度学习的岩石孔隙分割方法1162