基于TCN和Transformer的鸡胚心跳混淆信号分类方法.pdf

第54卷第8 期2023年8 月农报学业机械doi:10.6041/j.issn.1000-1298.2023.08.029基于TCN和Transformer的鸡胚心跳混淆信号分类方法耿磊磊1,2吴寒冰1.2张芳1.2肖志涛1，2李晓捷1.2（1.天津工业大学生命科学学院，天津30 0 38 7；2.天津工业大学光电检测技术与系统重点实验室，天津30 0 38 7）摘要：鸡蛋胚胎培养法是制备禽流感疫苗常用的方法，快速准确地对鸡蛋胚胎进行成活性分类并将死胚从活胚中尽早剔除可以有效避免因胚胎死亡导致的细菌或霉菌污染，对孵化效率的提高有着重要意义。目前，主要以鸡胚心跳信号作为分辨死胚和活胚的依据。然而，鸡蛋活胚在注人禽流感病毒9 6 h后，其心跳信号特征介于普通活胚和死胚之间，易与死胚混淆，本文将该类数据称为鸡胚心跳混淆信号，单独作为一类加人数据集，将原本死胚、活胚二分类改为死胚、普通活胚和9 6 h活胚三分类，根据信号特征设计了绝对值均值标准化预处理方法，增强原始数据特征以提升数据可分类性，并针对全局特征和细节特征提出了一种基于时间卷积网络（Temporalconvolutionalnetwork，T CN）和Transformer的残差结构浅层双分支网络结构（Residual fullytemporalconvolutionalwithtransformernetwork，RFT Ne t）。实验结果表明，本文提出的三分类绝对值均值标准化预处理方法和RFTNet双分支网络在鸡胚混淆数据集分类任务中展现出良好性能，检测准确率高达9 9.7 5%。此外，在精确率、召回率和F1值3个评价指标上分别达到9 9.7 5%、9 9.7 4%和9 9.7 5%，进一步验证了本文方法的有效性。关键词：鸡胚成活性分类；鸡胚心跳混淆信号；绝对值均值标准化；时间卷积网络；Transformer中图分类号：TP391.4文献标识码：A文章编号：10 0 0-12 9 8（2 0 2 3）0 8-0 2 9 6-13OSID：Classification Method of Heartbeat Confusion Signals of Hatching EggsBased on TCN and TransformerGENG Leil.2WU HanbingZHANG Fang1,212XIA Zhitao1,2LI Xiaojiel-2(1.School of Life Sciences,Tiangong University,Tianjin 300387,China2.Key Laboratory of Optoelectronic Detection Technology and Systems,Tiangong University,Tianjin 300387,China)Abstract:The egg embryo culture method is commonly used for the preparation of avian influenzavaccines.The rapid and accurate classification of hatching eggs into active and early removal of deadembryos from live embryos can effectively avoid bacterial or mycobacterial contamination due to embryodeath and it is of great importance for the improvement of hatching efficiency.Currently,the heartbeatsignal of chicken embryos is mainly used as the basis for distinguishing dead embryos from live embryos.However,after 96 h of avian influenza virus injection,the heartbeat signal of live egg embryos is betweenthat of ordinary live embryos and dead embryos,which is easily confused with dead embryos.This type ofdata is called chicken embryo heartbeat confusion signal,and is added to the data set as a separatecategory.The original dual classification of dead embryos and live embryos was changed to a tripleclassification of dead embryos,ordinary live embryos and 96-hour live embryos.An absolute averagevalue normalization preprocessing method was proposed based on confusing heartbeat signals of hatchingegs,to enhance the original data features and improve the classifiability of the data.A shallow dualbranch network structure residual fully temporal convolutional with transformer network(RFTNet)withresidual structure was proposed based on temporal convolutional network（T CN)a n d t r a n s f o r me r f o rglobal features and detail features.The experimental results showed that the three-classification absoluteaverage value normalization preprocessing method and RFTNet two-branch network proposed demonstrated收稿日期：2 0 2 3-0 1-11修回日期：2 0 2 3-0 3-0 3基金项目：天津市科技计划项目（2 0 YDTPJC00110）作者简介：耿磊（19 8 2 一），男，教授，博士，主要从事机器视觉与人工智能研究，E-mail：g e n g l e i t i a n g o n g.e d u.c n通信作者：张芳（19 8 1一），女，教授，博士，主要从事图像处理与模型识别研究，E-mail：h h z h a n g f a n g 12 6.c o m297第8 期耿磊等：基于TCN和Transformer的鸡胚心跳混淆信号分类方法good performance in the classification task of hatching eggs confusion dataset with a detection accuracy of99.75%.In addition,the three evaluation indexes of detection accuracy,recall rate and F1 scorereached 99.75%,99.74%and 99.7%,respectively,further verifying the effectiveness of the method.Key words:hatching eggs activity classification;heartbeat confusion signals of hatching eggs;absoluteaverage value normalization;TCN;Transformer0引言禽流感即禽流行性感冒，是一种因甲型流感病毒引起的人、禽类共患的急性传染病，主要表现为呼吸道和严重全身性感染，一旦大规模爆发，不但会造成禽类生物大面积死亡，还会严重威胁到人类的生命健康,对经济、卫生形势都有着严重危害2 。目前，接种疫苗是控制禽流感疫情最为直接有效的方法3，而鸡蛋胚胎培养法因为造价低、数量充足易获取、操作简便和培养周期短等，在禽流感疫苗制备领域使用较多，我国当前主要采用的也是鸡蛋胚胎培养法。鸡蛋在孵化9 11d后,开始接种禽流感病毒,病毒在胚胎中自然繁殖2 3d后,便可以在鸡胚的尿囊液中获取。禽流感疫苗需要这种减毒或灭活后的病毒来制备。但是，接种病毒后,部分鸡胚会因为环境因素的干扰和个体的差异性出现非特异性的意外死亡情况。因此，对鸡蛋胚胎快速准确地进行成活性分类是制备疫苗至关重要的一步,将死胚从活胚中尽早地检测出并剔除可以有效防止因胚胎死亡导致的细菌或霉菌污染，避免造成巨大的经济损失，同时对孵化效率的提高也有重要意义。相较于传统的分类方法，深度学习是目前解决鸡胚成活性分类的最优法，该领域吸引了大批学者进行研究。通过胚蛋图像进行鸡胚成活性检测，黄超等4 提出了一种仿生胚蛋成活性图像无损检测方法，针对胚蛋图像上下灰度不一、胚蛋蛋壳质量不一等因素影响胚蛋血脉提取的问题,提出了一种基于最小类内指数方差的自适应阈值图像处理方法，对胚蛋图像进行识别检验；李静5 以孵化期不同形态的毒株蛋胚图像为研究对象，分别从传统图像识别方法和基于卷积神经网络的方法对蛋胚图像进行识别；薛文杰 根据胚蛋图像提出并开发了一种基于机器视觉的全自动鸡胚照检、传送、分栋一体化装置，可以有效地实现对强胚、弱胚、死胚、无精胚、倒置胚的自动判别与分栋；白瑞鸽7 以9 11d的6类无特定病原（SPF）鸡胚图像为研究对象，在图像预处理基础上,研究了基于AlexNet微调迁移的鸡胚图像分类方法针对鸡胚心跳信号分类，本课题组在之前研究中已给出了多种处理方法，如GENG等8 提出基于鸡胚心跳信号的嵌人式（Ensembledconvolutionneural networks，E-CNN）卷积神经网络,E-CNN凭借大尺度卷积连接平均池化层将信号降采样，再通过全连接层输出分类结果，对孵化9 d的鸡胚进行分类。CENG等9 设计了一种基于全卷积网络（Fu l l y c o n v o l u t i o n a l n e t w o r k s，FCN）和门控循环单元（G a t e d r e c u r r e n t u n i t，G RU）的双分支网络，心跳信号同时输入到两个分支网络中，最后的输出特征由两个分支网络融合得到。CENG等10 针对心跳信号中的局部信息和全局信息，建立了基于多头注意力融合模块和通道注意力残差神经网络模块的多尺度信息融合双分支网络，使得网络分类准确率得到提升。但是,鸡蛋活胚在注人禽流感病毒9 6 h后，由于温度和生理发育等因素,其心跳信号发生变化，整体介于普通活胚和死胚之间，不但保留着普通活胚的周期性全局特征，还融合了死胚的幅值细节特征。这类9 6 h活胚被称为鸡胚心跳混淆信号，因其数据类别边界不清晰、形态具有多义性等问题，导致分类器难以准确分类,频频出现错判、误判等问题。上述方法虽然在各自数据集的训练和分类中取得了不错的效果，但仍欠缺对鸡胚心跳混淆信号的深人研究，需要进一步提升对鸡胚心跳混淆信号分类的准确率。针对鸡胚心跳混淆信号分类存在的难点，本文将鸡胚心跳混淆信号单独作为一类加人数据集，把死胚、活胚二分类改为死胚、普通活胚和9 6 h活胚三分类，并设计绝对值均值标准化（Absoluteaveragevalue normalization，A A VN）预处理方法，既能够增强鸡胚心跳混淆信号数据特征、提高其可分类性，还可以最大程度上保留其原始信号局部特征和细节特征。同时，针对预处理后的鸡胚混淆数据集，提出基于TCN和Transformer的残差结构浅层双分支网络结构RFTNet，兼具捕获心跳信号中全局特征和细节特征的能力，以有效解决鸡胚心跳混淆信号分类困难的问题。1数据采集与数据集构建深度学习算法的应用需要大量数据作为支持，2023年农298业机报学械因此鸡蛋胚胎心跳信号的数据采集是本文的重点。本文通过光电容积脉搏波描记法（Photoplethysmography,PPG)分别对不同时间段的鸡蛋胚胎进行信号采集，将采集到的数据集分为死亡胚胎、普通活胚和9 6 h活胚（鸡胚心跳混淆信号）3类，并将含有96h活胚的数据集称为鸡胚混淆数据集，最后经过绝对值均值标准化预处理后便可以得到全部可用的数据集。1.1数据采集鸡胚心跳信号采集系统主要由激光器光源和光电传感器12 组成，数据采集系统如图1所示。继电器激光电源心鸡胚处理器传感器STM32AFE4490图1数据采集系统结构示意图Fig.1Structure schematic of data acquisition system将鸡蛋胚胎置于激光器光源和光电传感器之间，光电传感器通过前端芯片AFE4490对信号进行处理放大并经过模数转换器转换成数字信号，然后由串行外设接口把数据传输到单片机中。光电传感器采用的是光硅电池。此外，因为鸡蛋胚胎的外部覆盖着一层蛋壳，普通的光源难以穿透鸡胚,所以本文的激光光源选择穿透性较强的近红外光，波长为808nm。鸡胚心跳信号采集系统的采样频率为62.5Hz，同时为保证采样效率和信号的完整程度，对每条心跳信号的采集时间为8 s，再经过A/D转换后一个鸡蛋胚胎的心跳数据样本为50 0 个离散数据点。1.2三分类数据集本文鸡蛋胚胎的心跳信号数据均在鸡胚孵化车间采集得到。采集时间包括接种病毒后的2 4、48、72、8 8、9 6 h。因为采集得到的是鸡胚心跳信号的一维序列，所以鸡胚的死活主要通过心跳信号波形可视化判断，而心跳原始信号在采集过程通常受到振动噪声和鸡胚本身应激反应的干扰，信号中存在基线漂移现象和高频跳变，需要先通过巴特沃斯滤波处理后才方便观察。死胚的滤波后心跳信号波形可视化如图2 所示。根据动物体生命特征，死胚是没有心跳信号的，其心跳信号可视化结果理应是一条直线，但是由于在心跳信号采集过程中存在噪声干扰和设备抖动等问题,死胚心跳并非是一条直线。可以观察到死胚400300200100X/草0-100-200-300-400050100150200250300350信号点序号图2滤波后死胚心跳信号波形可视化Fig.2Visualization of dead embryo heartbeat signalwaveform after filtering信号有很多噪声干扰带来的高频跳变，在图2 中表现为凸起的“毛刺”，幅值较小，细节特征十分明显却没有周期性的全局特征。而普通活胚则与之相反，波形平滑且幅值细节特征较大，具有明显的周期性波动全局特征，普通活胚的滤波后心跳信号波形可视化如图3所示。400300200100X/0-100-200-300-400050100150200250300350信号点序号图3滤波后普通活胚心跳信号波形可视化Fig.3 Visualization of waveform of commonlive embryo heartbeat signal after filtering而9 6 h活胚的心跳信号在幅值细节特征上接近死胚,有较小的幅值，但波形平滑且存在周期性波动全局特征，与普通活胚一样具有明显的心跳特征，信号特征整体介于死胚和普通活胚之间，其滤波后心跳信号波形可视化如图4所示。100-200050100150200250300350信号点序号图4滤波后9 6 h活胚心跳信号波形可视化Fig.4Visualization of 96-hour live embryoheartbeat signal waveform after filtering由于9 6 h活胚的心跳信号区别于普通活胚，信号整体介于死胚和普通活胚之间，将这种鸡胚心跳信号放在普通活胚数据集中，会导致数据混淆，出现“死判活”、“活判死”现象，使得死胚、活胚二分类分299耿磊等：基于TCN和Transformer的鸡胚心跳混淆信号分类方法第8 期类器难以准确分类，空间内数据分布情况如图5所示。普通活胚0.04死胚.96h活胚0.020-0.02-0.04403020-3010-200-10-1001020203030图5二分类原始数据空间分布图Fig.5Spatial distribution of secondary classification raw data因此，为了使数据分类决策面更加清晰从而起到提升分类能力的作用，本文将9 6 h活胚这种混淆分类的数据称为鸡胚心跳混淆信号，并将其单独作为一类数据加人数据集。本文还通过平移的方式对96h活胚进行了数据增强，将其40 0 个原始数据扩充为40 0 0 个13。同时，为了避免训练模型时存在潜在风险，本文将数据集类别平衡14,死亡胚胎和普通活胚均采集40 0 0 个样本数据，和9 6 h活胚样本数量保持一致，这样也会增强模型在测试数据上的泛化能力。本文将3类样本按照相同的比例划分为训练集、验证集和测试集3部分，每部分的占比分别为6 0%、2 0%和2 0%。表1为数据集的具体划分结果。表1数据集划分情况Tab.1Data set partitioning situation数据集分类数量占比/%总占比/%死亡胚胎2.40020训练集普通活胚2.400206096 h活胚2.40020死亡胚胎8006.67验证集普通活胚8006.672096h活胚8006.67死亡胚胎8006.67测试集普通活胚8006.672096h活胚8006.671.3绝对值均值标准化在心跳信号的采集过程中，噪声的引人难以避免。鸡胚在蛋壳内的突然抖动以及各种随机因素，都会给心跳数据带来噪声干扰。因此，为方便训练过程中对鸡胚心跳信号特征的提取，在预处理阶段，使用本文设计的AAVN对数据进行处理。AAVN主要分为3步：首先对心跳信号进行巴特沃斯高通滤波，去除信号中的允余信息，再进行去噪处理，去除非正常的高幅跳变，最后通过绝对值均值标准化便可得到最后输模型的数据。1.3.1巴特沃斯高通滤波巴特沃斯滤波器【15，又称最大平坦滤波器，其特点是该滤波器的频率响应曲线在通频带内可以达到最大程度平坦，没有任何波动，但是在组频带却逐步趋近于零。本文为了能在最大程度上保留原始信号特征，采用巴特沃斯三阶高通滤波器滤波15】，滤除振动噪声和生理噪声等低频噪声所带来的影响。因为接种病毒后的鸡蛋胚胎心跳信号正常频率处在14Hz范围内，所以将通带截止频率f,设置为1Hz,最小衰减不超过5dB；同时，阻带截止频率f、设置为0.5Hz，最小衰减不超过2 0 dB。考虑到滤波器在滤波建立时间内滤波性能不佳，故剔除了每个样本的前150 个数据点，只保存剩下的350 个数据点。滤波前后鸡胚混淆数据集心跳信号可视化波形对比图如图6 所示。从图6 a6c中可以明显看出，由于振动噪声和生理噪声的影响，滤波前死胚、活胚和9 6 h活胚都存在明显的基线漂移现象，波形中心基线上下浮动，形成很大跳变，阻碍全局特征和细节特征的提取。在经过本文采用的滤波处理后，死亡胚胎心跳信号显示无规则随机性的特点，因为死亡胚胎本身是没有心跳波动的，所以设备检测到的死胚心跳信号为传感器暗电流噪声，并且滤波后可以观察到其幅值很小；普通活胚心跳信号则变得更加平滑，周期性更加明显，心跳信号幅值较大，可以更清晰地观察到心跳信号的周期性全局特征和幅值细节特征等。9 6 h活胚心跳信号与普通活胚心跳信号在周期性全局特征方面十分相似，经过滤波后波形同样也变得更加平滑，周期性更加明显并且心跳信号频率稍快于普通活胚，但是其信号幅值远小于普通活胚，甚至接近死亡胚胎，总体介于死亡胚胎和普通活胚之间难以分类，这也是本文将9 6 h活胚称为鸡胚心跳混淆信号并作为第3类加人数据集的原因。可以观察到，3种分类的鸡蛋胚胎心跳信号经过滤波处理后，基本消除了原始数据中因噪声干扰带来的基线漂移现象，在幅值、波形和周期性上的差异更加显著，使网络模型可以更好地学习到各分类信号中的局部特征和细节特征，并为后续进一步预处理奠定基础1.3.2绝对值均值去噪鸡蛋胚胎心跳信号经过巴特沃斯三阶高通滤式2023年农300机业报学械4.450 x1064.6470 x1064.3021064.448x1064.64651064.446x1064.301x106X/4.4441064.3001064.6460 x10%4.4421064.2991064.64551064.440 x1064.438x1064.2981064.6450 x1064.436x1064.297106010020030040050001002003004005000100200300400500信号点序号信号点序号信号点序号(a)原始死胎(b)原始普通活胚(c)原始9 6 h活胚400400400300300300200200200100100X/X/X/100000-100-100-100-200200-200-300-300-300-400-400-400050100150200250300350050100150200250300350050100150200250300350信号点序号信号点序号信号点序号(d)滤波后死胚(e)滤波后普通活胚(f)滤波后9 6 h活胚图6滤波前后鸡胚混淆数据集心跳信号波形对比Fig.6Comparison of heartbeat signal waveforms of hatching egg confusion dataset before and after filtering波器处理后，基本消除了基线漂移现象，确保了中心基线的一致性，并且放大了类别间特征差异，但是从滤波后的心跳信号波形图（图6 d6 f)中都可以清晰地观察到，仍有部分数据点存在高幅跳变，超出正常心跳信号的幅值范围，这种剧烈的幅值变化同样也是由振动噪声和应激反应引起的，如果深度学习模型训练过程中将这类噪声当做心跳信号特征进行提取并学习，将会对预测结果产生误导。因此，这部分具有高幅跳变的数据点也应当被滤除掉，否则会降低鸡蛋胚胎成活性检测的准确率。本文为了进一步消除高幅跳变，针对滤波后的鸡蛋胚胎心跳信号，设计了绝对值均值去噪法。由于鸡蛋胚胎原始心跳信号数据点都为正，但经过滤波后，数据的中心基线得到统一，实现正负相间，其平均值趋近于0，去噪需要先对每个样本取绝对值,再求得样本内的绝对值均值和最大绝对值xmax，得出去噪系数为a=xmax/(2.5)(1)当样本内单个数据点的幅值超过2.5u时，则除以去噪系数,使得整个样本的最大值保持在2.5以内，通过等比例缩小高幅跳变(2)a既能够去噪达到滤除离群值的目的，还能够保持数据光滑度，在最大程度上保留原始信号的细节特征。经过绝对值均值去噪前后的鸡蛋胚胎心跳信号可视化波形对比图如图7 所示。1.3.3绝对值均值标准化经过巴特沃斯三阶高通滤波和绝对值均值去噪预处理后，数据点幅值变化范围仍然很大，需对数据进行标准化，排除量纲的作用，加速模型收敛，提高模型精度，同时使得模型对小数据也更敏感。因此，本文设计了绝对值均值标准化对鸡胚数据进行进一步预处理。特征缩放是本文设计绝对值均值标准化的首要步骤,特征缩放不但能够增强数据中的特征,还可以在一定程度上提高模型精度、加快收敛速度。本文采用最大最小值归一化16 进行特征缩放，将数值范围缩小到0,1 区间内，计算式为x-min(x)(3)max(x)-min()中x一心跳信号的单个数据样本max(）、m i n（x ）一一单个样本最大值、最小值x归一化值最大最小值归一化后的心跳信号可视化波形图如图8 所示。从图8 可以观察到，所有数据的幅值范围都缩小到0,1 区间内,完成了特征增强，但是这样的处理同样也丢失了数据中至关重要的幅值细节特征，丢失该类特征会导致模型精度下降，出现错判、误判等问题。因此,在使用最大最小值归一化进行特征缩放后还需要对数据进一步处理，引入幅值细节特征。本文设计的标准化在特征缩放后通过全局绝对值均值和单个样本绝对值均值引入幅值细节特征。首先在去噪后便对整个数据集3个类别的所有样本求绝对值均值得到全局均值n，再对单个样本求绝对值均值得到x，这样便能够得到每个样本各自的归一化系数6 为301第8 期耿磊等：基于TCN和Transformer的鸡胚心跳混淆信号分类方法400400400300300300200200200100100X/X/100X/000-100-100-100-200-200-200-300-300-300-400-4001-40005010015020022503003500501001502002503003350050100150200250300350信号点序号信号点序号信号点序号(a)滤波死胎(b)滤波普通活胚(c)滤波9 6 h活胚400400400300300300200200200100100X/X/100X/000-100-100-100-200-200-200-300-300-300-400-400-400050100150200250300350050100150200250300350050100150200250300350信号点序号信号点序号信号点序号(d)去噪死胚(e)去噪普通活胚(f)去噪9 6 h活胚图7去噪前后鸡胚混淆数据集心跳信号波形对比Fig.7Comparison of heartbeat signal waveforms of hatching egg confusion dataset before and after denoising1.01.0元1.0F0.80.80.80.60.60.60.40.40.40.20.20.2000050100150200250300350050100150200250300350050100150200250300350信号点序号信号点序号信号点序号(a)归一化死胎(b)归一化普通活胚(c)归一化9 6 h活胚图8鸡胚混淆数据集最大最小值归一化心跳信号波形图Fig.8Maximum-minimum normalized heartbeat signal waveform of hatching egg confusion datasetb=u/un(4)将样本的归一化系数乘以其特征缩放后的数据，便可以完成整个绝对值均值标准化的预处理，得到本文最终可用的数据集为y=xb(5)式中一AAVN的最终结果绝对值均值标准化后的心跳信号可视化波形图如图9 所示。从图中可以看到，经过该方法处理后，不仅通过特征缩放实现了数据增强，将所有数据的幅值控制在0,1 内，还保留了各类别数据原有的幅值细节特征，能够通过幅值大小的不同明显区分出每类数据，在数据增强的基础上最大程度还原了原始信号，同时保留了细节特征与全局特征。1.00.80.60.20.20.40.20050100150200250300350050100150200250300350050100150200250300350信号点序号信号点序号信号点序号(a)标准化死胎(b)标准化普通活胚(c)标准化9 6 h活胚图9鸡胚混淆数据集AAVN标准化心跳信号波形图Fig.9AAVN normalized heartbeat signal waveform of hatching egg confusion dataset2023年农302机业报学械2网络框架设计因为本文在数据集构建时已经对鸡胚混淆数据做了充分的预处理，数据本身已经具有很强的可分类性，所以本文在对深度学习模型进行设计时，只需要构建浅层的轻量级网络，运用较少的参数即可达到所需的分类效果。同时，这样设计不但可以节省大量内存，缩短网络训练时间，防止因隐藏层数量太多导致的过拟合和模型泛化能力下降等影响，还符合企业疫苗制备中高准确率以及高效率的生产需求。设计模型的原则如下：（1）根据预处理设计浅层轻量型网络，使用较少参数提高效率，满足工业需求。(2)CNN网络结构善于提取其卷积核感受野范围中的局部特征，在鸡胚心跳混淆信号分类任务中，同样可以用CNN局部感受野的特点来提取心跳信号中的幅值、波形细节特征；而Transformer由于多头注意力机制的存在，对长距离的特征依赖关系有着良好的提取能力，可以有效捕捉心跳信号周期性全局特征，CNN与Transformer之间形成互补关系，两者结合构建双分支网络便可以在最大程度上习得鸡胚心跳混淆信号中的所有特征。2.1基于CNN结构的RTNet分支网络设计基础CNN在增大卷积核局部感受野时需要通过加深卷积层的深度来扩大其感受范围，这样势必会加大网络结构的复杂度，最终导致过拟合等问题的出现。而时间序列卷积TCN17-18是一种可以用来处理时序数据的网络结构，该网络不但可以提供充足的感受野,还能自动适应时间序列相关数据的时序性特点，已经被证明在时序建模任务中有着良好的效果。因此，本文使用TCN代替基础CNN来提取鸡胚心跳信号中的细节特征。同时，为了增强模型特征提取通道之间的相关性，并避免在信息传递过程中出现信息丢失等问题，本文还设计了残差结构和通道注意力机制（Sq u e e z e-a n d-e x c i t a t i o n,SE）对模型进行增强。通道注意力机制SE模块针对各个特征通道间重要程度的不同,选择性地对其进行抑制或是增强。最终，本文设计了心跳信号细节特征提取分支网络RFTNet，如图10 所示。2.2基于Transformer的TRNet分支网络设计Transformer网络主要应用于自然语言处理领域，由于鸡胚心跳混淆信号与自然语言同属时间序列一维信号，故本文使用Transformer19模块作为心跳信号周期性波动全局特征的主要特征提取器，通过自注意力机制习得模型内部的长距离双向依赖关Conv1D-256输人输出TCN-32TCN-64TCN-1281x350BN+ReLU+SEBN+ReLU+SEBN+ReLU+SE图10鸡胚心跳混淆信号细节特征提取网络RTNet结构图Fig.10Structure of RTNet network for extracting detailsof confusion signal of hatching egg heartbeat系。同时，Transformer网络含有Encoder编码器和Decoder解码器两部分，分别负责对输人模型信号进行编码和解码，而本文处理的心跳信号分类任务并不涉及Decoder解码操作，故将Transformer中的Encoder结构作为分支网络TRNet的基础，用于提取心跳信号周期性波动全局特征。此外，当自注意力机制编码当前所处状态的信息时，会出现注意力分布极端的问题，注意力将会过度地集中在当前状态。为了解决这一问题，在Transformer中引人了多头注意力机制（Multi-head attention）【2 0】，用多组自注意力对经过一维卷积词嵌人技术编码操作后的心跳信号进行处理。基于Transformer的全局特征提取网络TRNet如图11所示。该网络首先利用一维卷积对心跳信号进行词嵌人编码操作，将心跳信号的维度和空间位置信息转变到12 8 维，使用卷积核大小为11。紧接着将编码后的心跳信号送入Transformer的Encoder结构中，在多头注意力模块周围还引人了残差结构，避免信息失真问题出现的同时还能提升信输出Layer NormAdditionFully ConnectedAdd&NormMulti-headattentionConv1D输人图11鸡胚心跳混淆信号全局特征TRNet结构图Fig.11Structure of global feature extraction TRNetfor confusion signal of hatching egg heartbeat303第8 期耿磊等：基于TCN和Transformer的鸡胚心跳混淆信号分类方法息传递效率。2.3RFTNet网络整体结构经过本文完整的预处理后，RFTNet网络模型的详细参数如表2 所示。表2RFTNet网络结构参数Tab.2RFTNet network structural parameters网络阶段层输出尺寸AttentionRes-TCN(8)1 350 32RTNetAttention Res-TCN(5)1 350 64Attention Res-TCN(3)1 350 128Convolution(1)1 350128TRNetTransformer-Encoder1 350 128Concatenate1750128ConcatClobal average pooling1128Fully Connection13输人RFTNet的心跳信号大小为1350，通过双分支网络以并行的方式捕捉心跳信号中的全局特征和各类细节特征，将两种类型的特征进行拼接完成多分类。从表2 中可以看出，RTNet分支网络有3个细节特征提取模块用于提取各类细节特征，TRNet分支网络利用一维卷积映射到12 8 维的特征空间，通过TransformerEn c o d e r 中的自注意力机制来捕捉心跳信号中的周期性波动全局特征，其中多头自注意力机制的头数为2；最终将输出的两类特征进行拼接完成分类。同时，为了再次避免网络层数增多导致的过拟合问题，本文选择用全局平均池化层（Globalaveragepooling，GAP)完成分类前的数据降维。RFTNet整体网络结构如图12 所示。输入TransformerN=128ClobalPooling输出Conv1D-128Conv1D-128死胚活胚9 6 h 活胚Dense1x3ConcatTCN-32TCN-64TCN-128BN+ReLU+SEBN+ReLU+SEBN+ReLU+SE1x350图12RFTNet整体网络结构图Fig.12RFTNet overall network structure diagram3实验结果与分类有效性分析在构建的鸡胚混淆数据集基础上，对本文提出的RFTNet网络模型进行训练及测试。其次对各分支网络的特征提取能力进行分析，证明了不同增强模块的有效性。同时，本文还将RFTNet整体网络从学习能力和分类能力两方面进行可视化，以客观评估本文所提方法的优越性。最后，将RFTNet与传统分类方法和深度学习分类方法进行对比实验，进一步验证本文方法在鸡胚混淆数据集中具备强大的分类能力。3.1实验环境与超参数本文实验网络模型的操作平台为台式计算机，处理器为Intel(R）Co r e（T M）i 7-6 8 0 0 K CPU，默认频率3.40 GHz，内存为16.0 GB,GPU为NVIDIAGeForceGTX1080Ti，开发环境为：Python3.7,anaconda 1.9.12,CUDA版本为 10.0，Windows 1064位操作系统。本文采用TensorFlow深度学习框架，经反复测试得到的最佳配置超参数：学习率为0.0 0 1,损失函数为交叉熵损失，使用了零均值归一化，送代周期（Ep o c h）为30 0。优化器为Adam，批量大小（Batchsize)为12 8。3.2模型评估指标本文使用包括准确率（Accuracy）、精确率（Pr e c i s i o n）、召回率（Rec