基于多模型深度特征集成的水声目标识别方法.pdf

第6卷 第4期2023年8月无人系统技术Unmanned Systems TechnologyVol.6 No.4August 2023基于多模型深度特征集成的水声目标识别方法李俊豪，杨宏晖*，刘钰淇（西北工业大学航海学院，西安710072）摘要：基于深度学习的水声目标识别算法表现出强大的数据分布拟合能力，已经成为研究重点和热点。深度模型的拟合能力与其复杂度正相关，但过于复杂的模型会显著增加计算成本。综合考虑识别性能以及计算成本，提出了基于多模型深度特征集成的水声目标识别方法。首先利用预训练好的深层模型提取深度特征，再利用特征压缩和集成方法将深度特征融合到浅层模型中，通过改变集成的深度特征维度构建多个深度特征集成模型作为子模型，最后多个子模型通过加权投票实现目标识别。实验结果表明，提出方法的平均正确识别率比对比方法提高了0.37%5.46%，同时参数量仅为Xception的1/34。关键词：水声目标识别；机器学习；深度学习；集成学习；基于深度模型的集成学习中图分类号：TB56 文献标识码：A 文章编号：2096-5915（2023）04-069-07DOI：10.19942/j.issn.2096-5915.2023.04.39Deep Underwater Acoustic Target Recognition Based on Multi-model Deep Feature EnsembleLI Junhao，YANG Honghui*，LIU Yuqi（School of Marine Science and Technology，Northwestern Polytechnical University，Xi an 710072，China）Abstract:The underwater acoustic target recognition methods based on deep learning have become the focus of research because of its strong data distribution modeling ability.However the performance of deep models is positively correlated with its complexity,the over-complex model will significantly increase the computational cost.In this paper,considering the recognition performance and calculation cost comprehensively,a kind of underwater acoustic target recognition method based on multi-model deep feature ensemble is proposed.Firstly,deep features are extracted from input signal by pre-trained deep model,then fusing the deep features into shallow model by feature compression and integration method,and a series of sub-models is built by changing the dimension of deep features,finally the underwater acoustic target recognition is realized by sub-models weighted voting.Experimental results show that accuracy of proposed method is 收稿日期：2021-06-16；修回日期：2021-09-26基金项目：水下测控技术重点实验室基金资助（61424070506）作者简介：李俊豪，博士研究生。通讯作者：杨宏晖，博士，副教授。引用格式：李俊豪，杨宏晖，刘钰淇.基于多模型深度特征集成的水声目标识别方法 J.无人系统技术，2023，6（4）：69-75.Li J H，Yang H H，Liu Y Q.Deep Underwater Acoustic Target Recognition Based on Multi-model Deep Feature Ensemble J.Unmanned Systems Technology，2023，6（4）：69-75.第 6 卷无人系统技术0.37%5.46%higher than compared methods and the quantity of parameters is only 1/34 of Xception.Key words:Underwater Acoustic Target Recognition；Machine Learning；Deep Learning；Ensemble Learning；Ensemble Learning Based on Deep Model1 引 言 搭载被动声呐系统的水下无人平台可以安静灵活地执行长时间、大范围的水声目标识别任务。基于机器学习的水声目标识别方法成功的关键在于有效地从水声信号中提取目标属性特征。经典的基于机器学习的特征提取方法1-2过于依赖专家知识，并且由于水声信号的非平稳特性以及海洋环境的复杂性，这类方法的泛化性有待提高。基于深度学习的水声目标识别方法由于其强大的特征学习能力成为了水声目标识别领域的研究重点和热点3-6。研究人员提出了基于深度置信网络的水声目标深度特征提取与识别方法7，验证了基于深度学习的识别方法的有效性。在深度置信网络的基础上，有研究人员在网络学习过程中引入了竞争机制8，增强了深度特征蕴含的目标信息，实验结果验证了增强后的深度特征相比于增强前深度特征以及传统特征的识别性能具有明显优势。研究者们还提出了多种基于卷积神经网络的水声目标识别方法，从时频域9、时域10-11等角度利用卷积神经网络提取深度特征并识别水声目标。研究人员为了提高深度神经网络的识别性能，往往采取更深、更宽、更复杂的网络结构12，这样的网络结构显著增加了计算复杂度，对硬件算力提出了更高的要求。这限制了深度模型在基于水下无人平台的水声目标识别领域的应用。本文提出了基于多模型特征集成的水声目标深度识别方法，通过集成部分深度模型提取的深度特征与浅层模型提取的特征，扩充浅层模型提取特征的丰富程度，实现对浅层模型识别性能增强的同时保持了与浅层模型相当的计算复杂度，相比于深度模型显著降低了计算成本，通过改变集成深度特征的维度构建多个水声目标子网络，最后多个子网络通过加权投票实现水声目标识别。实验中，利用海洋哺乳动物叫声数据集验证了提出的水声目标识别方法的有效性，并在实验中对比了不同集成策略下集成模型的识别性能。2 基于多模型特征集成的识别方法 2.1用于水声目标识别的深度卷积网络水声信号时频图中包含了信号频谱结构以及其随时间的变化信息，其中蕴含了与目标类别属性相关的信息。水声信号时频图中的特征分布具有二维网格结构，而卷积神经网络是一种专门处理具有类似网格结构数据的神经网络13。本文提出的基于多模型特征集成的水声目标识别网络是建立在卷积神经网络基础上的。卷积神经网络前向传播过程中，第l-1层卷积网络层的一组特征图xl-1i，先与若干可训练的卷积核klij相卷积，然后再通过激活函数f()得到该层输出的特征图xlj。通常可以表示为xlj=f(i Mjxl-1iklij+blj)（1）式中，blj是偏置项，Mj是对前一层特征图的选择。通过这样层层提取特征，随着网络深度的加深，越深层的卷积层可以观察到更加细致的图像结构，也具有更大的感受野。这样深度的特征往往也包含更多的类别属性信息。2.2深度卷积网络特征集成方法随着卷积神经网络深度、宽度和复杂度的增加，网络识别性能可以得到进一步的提升，但同时网络整体参数量和计算复杂度也显著增加。本文提出的多模型特征集成的识别方法通过集成深度卷积网络模型提取的特征与浅层卷积网络模型提取的特征，提升浅层模型特征分类性能的同时不引入过多的参数量和计算复杂度。仅用浅层模型的情况下，最终目标类别r是在浅层模型提取的特征f1的基础上得到的，即r=70第 4 期李俊豪等：基于多模型深度特征集成的水声目标识别方法g1(f1)，其中g1是网络学习到的目标类别与特征之间的映射函数。通过引入深度网络提取的特征f2，可以将浅层模型的特征扩充为f3=f1+f2，最终的目 标 类 别 即 从 集 成 后 的 特 征 中 拟 合 得 到r=g2(f3)，其中g2是网络学习到的目标类别与集成后特征之间的映射函数。多模型集成示意图如图1所示。在集成时，为了显著降低计算复杂度，只选择和浅层模型特征图空间维度一致的部分深度特征进行集成，并且由于可用于特征集成的深度特征组合种类很多，在进行特征集成时统一地对深度网络提取的特征进行压缩。逐点卷积层经常被用在压缩深度网络特征维度上14-15，这里也采用逐点卷积层对特征维度进行压缩得到f12。又因为用于集成的深度网络是预训练好的，而浅层模型的参数是随机初始化，特征分布不同可能会导致集成后的模型过度依赖部分特征从而降低整体特征泛化性能16。在集成压缩特征与浅层特征之后，利用批量标准化层对集成后的特征f13=f1+f12进行标准化，得到f*3。f*3=f13-+（2）式中，是集成后特征在一个批次数据内的均值，是该特征在一个批次数据内的方差，是一个小常数。深层模型与浅层模型相比可以提取更加丰富的特征，这些特征有助于揭示原始数据中蕴含的类别信息。本文可视化了深度网络提取的部分特征，如图2所示。可以发现该组特征提取了多种色度变化以及颗粒度变化下的输入数据分布。将该组特征扩充到浅层模型中相当于对原始数据的色度变化以及颗粒度变化进行了扩充，增加了浅层模型从数据中可以提取的信息，进而提升特征的分类性能。集成后的特征再通过逐个卷积层进一步提取特征，然后通过全局平均池化层对特征进行压缩，最后利用全连接层实现水声目标类别预测。2.3基于多模型的水声目标识别基于多模型的水声目标识别方法需要保证每个模型具有一定有效性的同时，模型之间要存在差异性3。通过改变逐点卷积层卷积核个数可以改变集成的深度特征的维度，集成了不同维度深度特征的浅层模型原始特征空间存在差异，这会进一步导致浅层模型在分类性能上存在差异，为多模型投票的决策方法提供支持。当有n个子模型在进行m类识别任务时，将每个子模型对目标的识别置信度p作为该模型的投票权重，对所有模型进行加权投票得到多深度模型的识别结果y。对第m类的加权结果进行计算ym=1nnpm，n（3）最后选择y中加权置信度最高的类作为多模型的识别结果。3 实验数据与实验设置 3.1实验数据本文中所采用的数据来自沃特金斯海洋哺乳图1多模型特征集成示意图Fig.1Schematic diagram of multi-model feature ensemble method71第 6 卷无人系统技术动物声音数据库，由位于全球多个海域多种被动水听器录取。本文选择了其中7类海洋哺乳动物叫声进行识别验证实验，分别为：髯海豹、北极露脊鲸、真海豚、弗氏海豚、座头鲸、长鳍领航鲸、短鳍领航鲸。将数据分割成2 s的样本，训练样本总时长 1.8 h，测试样本总时长为 10.5 min，如表1所示。3.2实验设置在水声目标多模型特征集成实验中，选择了三种模型与提出的集成模型形成对比，分别是全连接模型（共有22层全连接层）、Xception模型17和浅层卷积网络模型。其中Xception模型特征提取部分网络结构如图3所示。本文搭建了仅有6层卷积层的模型作为对比模型中的浅层模型，模型结构如表2所示。在如表 2 所示的浅层模型的基础上，将Xception提取的部分深度特征集成到浅层模型提取的浅层特征层中，构建集成模型。通过改变逐点卷积核个数，在浅层模型的结构基础上构建了8 个集成不同深度特征数量的集成模型，如表3所示。在评价网络识别性能时，用平均正确识别率来评价网络的识别准确度，用识别正确率的方差来评价网络识别的稳定性，每个模型训练了表1数据说明Table 1Data description类别髯海豹北极露脊鲸真海豚弗氏海豚座头鲸长鳍领航鲸短鳍领航鲸训练样本总时长/min4.65.84.36.141.46.824.8测试样本总时长/min1.51.51.51.51.51.51.5图3Xception模型特征提取部分网络结构Fig.3The structure of Xception s feature extraction part图2深度网络提取的特征Fig.2The features extracted by the deep model72第 4 期李俊豪等：基于多模型深度特征集成的水声目标识别方法10 次。多模型的加权投票结果是随机从每种集成模型中抽取1个，共8个集成模型进行一次加权投票，并重复随机抽取10次。4 实验结果与讨论 全连接模型、深度模型Xception、浅层模型以及8种集成模型在测试集上的10次训练结果的平均识别正确率、方差、识别率最小值以及识别率最大值在表4中展示。观察表4可以发现，集成模型相比于浅层模型均具有更高的平均正确识别率，同时相比于浅层模型普遍具有更小的识别正确率方差，提高了识别稳定性。深度模型相比浅层模型的正确识别率高了3.05%，通过集成多种数量的深度特征，集成模型将这一差距分别降低到了2.87%、2.22%、1.20%、1.74%、1.57%、1.94%、2.22%、2.50%。并且多个集成模型加权投票取得了最高的平均正确识别率 91.57%。更直观的识别正确率对比如图4所示。在识别实验中，所有模型均被训练了10次，各种模型的箱图如图5所示。图5中每个箱图中的红线位置是10次识别结果的中位数，箱体的上下边所在位置分别是这10次识别结果的上四分位数和下四分位数，箱体向上下延伸出的短横杠分别是这10次识别结果的上下边界，红色十字点是异常值。结合图5和表4可以看到，基于多模型集成的识别方法不仅提高了浅层模型的平均正确识别率，还提高了识别率中位数以及每种模型10次识别结果的最小值以及最大值。并且集成模型2、3、4、5、6、7、8的10次正确识别率的下四分位数均高于浅层模型，集成模型3、5、6、7、8的10次正确识别率的上四分位数也高于浅层模型。而多模型加权投票后的平均正确识别率、识别率中位数、表2浅层模型结构Table 2The architecture of shallow model输入层卷积层（卷积核数：16，卷积核尺寸：33，激活函数：ReLU）最大池化层（池化尺寸：22）卷积层（卷积核数：16，卷积核尺寸：33，激活函数：ReLU）最大池化层（池化尺寸：22）卷积层（卷积核数：32，卷积核尺寸：33，激活函数：ReLU）最大池化层（池化尺寸：22）卷积层（卷积核数：32，卷积核尺寸：33，激活函数：ReLU）最大池化层（池化尺寸：22）卷积层（卷积核数：64，卷积核尺寸：33，激活函数：ReLU）最大池化层（池化尺寸：22）卷积层（卷积核数：64，卷积核尺寸：33，激活函数：ReLU）最大池化层（池化尺寸：22）全局平均池化层全连接层（神经元个数：64，激活函数：ReLU）识别层（神经元个数：7，激活函数：Softmax）表38种集成模型与集成的深度特征数量对照表Table 3The number of integrated deep features of 8 ensemble models集成模型编号集成深度特征的数量132639412515618721824表4各个模型识别结果表Table 4The recognition results of each model类别对比模型集成模型全连接模型Xception浅层模型集成模型加权投票集成模型1集成模型2集成模型3集成模型4集成模型5集成模型6集成模型7集成模型8平均识别率86.11%91.20%88.15%91.57%88.33%88.98%90.00%89.44%89.63%89.26%88.98%88.70%方差/10-311.74.215.29.013.68.27.09.310.910.910.816.4最小值84.44%90.56%86.11%90.14%86.67%88.33%88.89%88.33%88.33%87.78%87.22%87.22%最大值87.22%91.67%90.00%92.29%90.56%90.56%90.56%91.11%91.11%90.56%90.00%91.67%73第 6 卷无人系统技术上四分位数和最大值均高于深度模型Xception。综合各项指标而言，基于多模型的特征集成方法可以有效地提升模型的正确识别率。另外，从8种集成模型识别结果中可以看到，随着集成模型中集成的特征数量增加，平均正确识别率呈先增加后下降的趋势。平均正确识别率的增加主要是由于引入了深度模型的特征导致的。而随着集成特征数量的增加，集成模型正确识别率的最大值呈增加趋势但同时方差也在增加，导致了平均识别率的下降。这是因为集成特征数量的增加会导致某一层特征通道维度的不断增加，而下一层特征通道数一定，使得浅一层的特征需要被更大程度地压缩，在这一过程中随着集成特征数量的增加表现出了更加不稳定性，从而导致识别方差的增加。同时，集成特征数量的增加提高了模型的容量上限，所以最高的正确识别率呈现上升的趋势。表5展示了每个模型的深度、参数量以及单个样本的测试时间。从表5中可以看出，集成模型的参数量约为深度网络 Xception 参数量的 1/280，推理速度约为Xception推理速度的1/5，集成模型加权投票的方法识别性能优于Xception并且参数量也仅为其1/34。5 结 论 本文针对深度模型参数量大、模型结构复杂，难以兼顾识别效率、识别准确性和模型复杂度的问题，提出了基于多模型特征集成的水声目标识别方法。该方法通过集成深度网络模型的特征到浅层模型上，增加浅层模型的特征丰富程度，进而提升浅层模型识别性能，并利用加权投票方法实现基于多模型的水声目标识别任务。在实测的图4各个模型平均正确识别率柱状图Fig.4Bar chart of average accuracy of each model图5各个模型识别结果箱图Fig.5Box diagram of recognition results of each model表5模型计算复杂度信息表Table 5Computation complexity information table全连接模型Xception浅层模型集成模型加权投票集成模型1集成模型2集成模型3集成模型4集成模型5集成模型6集成模型7集成模型8网络深度/层15137151919191919191919参数量/Byte3,031,10720,875,82373,431613,36874,82375,35175,87976,40776,93577,46377,99178,519单样本计算速度/ms23.1012.422.7422.752.792.852.862.973.083.093.173.1974第 4 期李俊豪等：基于多模型深度特征集成的水声目标识别方法水声目标识别实验中，验证了通过集成深度特征可以在提高浅层模型识别性能的同时几乎不增加额外的网络复杂度，并且集成模型不仅提高了浅层模型的平均正确识别率，还在一定程度上提升了识别稳定性。最后，多集成模型加权投票方法取得了最高的平均正确识别率91.57%，同时该方法的参数量仅为Xception的1/34。本文提出的方法为基于深度学习的水声目标识别方法难以兼顾识别性能及模型复杂度的问题提出了一种可能的解决途径。但同时也具有新的挑战，即基于多模型特征集成的水声目标识别方法可以显著地降低模型复杂度，但是对于模型识别精度上的提升就实验结果来看是有限的。未来，将深入研究如何在显著降低模型复杂度的基础上，进一步提升模型的识别性能，为基于水下无人平台的水声目标识别方法提供一个可选择的新方向。参 考 文 献1 Das A，Kumar A，Bahl R.Marine vessel classification based on passive sonar data：the cepstrum-based approachJ.IET Radar，Sonar&Navigation，2013，7（1）：87-93.2 Meng Q，Yang S，Piao S.The classification of underwater acoustic target signals based on wave structure and support vector machine J.The Journal of the Acoustical Society of America，2014，136（4）：2265-2265.3 杨宏晖，申昇.模式识别之特征选择 M.北京：电子工业出版社，2016.4 Ciresan D，Meier U，Masci J，et al.Multi-column deep neural network for traffic sign classificationJ.Neural Networks，2012，32（22）：333-338.5 Shen S，Yang H，Li J，et al.Auditory inspired convolutional neural networks for ship type classification with raw hydrophone dataJ.Entropy，2018，20（12）：990.6 Yang H，Li J，Shen S，et al.Inspired by auditory perception for underwater acoustic target recognitionJ.Sensors，2019，19（5），1104.7 潘悦，吴玺宏，李江乔，等.一种深层神经网络方法和水声目标声纹特征提取方法：中国，CN105488466BP.2019-04-09.8 Yang H，Shen S，Yao X，et al.Competitive deep belief networks for underwater acoustic targets recognition J.Sensors，2018，18（4）：952.9 李俊豪，杨宏晖.用于水声目标信号时频特征提取与识别的深度卷积神经网络 J.无人系统技术，2019，2（04）：26-30.10 Li J，Yang H.The underwater acoustic target timbre perception and recognition based on the auditory inspired deep convolutional neural networkJ.Applied Acoustics，2021，182（2021）：108210.11 Li J，Yang H，Shen S，et al.The learned multi-scale deep filters for underwater acoustic target modeling and recognitionC.IEEE OCEANS，Marseille，France，June 17，2019.12 Khan A，Sohail A，Zahoora U，et al.A survey of the recent architectures of deep convolutional neural networksJ.Artificial Intelligence Review，2020，53：5455-5516.13 Lecun Y，Bengio Y，Hinton G.Deep learning J.Nature，2015，521（7553）：436.14 Szegedy C，Ioffe S，Vanhoucke V，et al.Inception-v4，inception-resnet and the impact of residual connections on learningC.International Conference on Learning Representations（ICLR），San Juan，Puerto Rico，May02，2016.15 Zhang X，Zhou X，Lin M，et al.ShuffleNet：an extremely efficient convolutional neural network for mobile devicesC.Conference on Computer Vision and Pattern Recognition（CVPR），Salt Lake City，USA，June18，2018.16 Ioffe S，Szegedy C.Batch normalization：accelerating deep network training by reducing internal covariate shiftC.International Conference on Machine Learning，Lille，France，July06，2015.17 Chollet F.Xception：deep Learning with depthwise separable convolutions C.2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Honolulu，USA，July 21，2017.75