一种适用于卷积结构的非图像数据预处理方法_黄涛.pdf

第4 7卷/第3期/2 0 2 3年5月河北师范大学学报/自然科学版/J O U R N A LO FH E B E IN O R M A LU N I V E R S I T Y(N a t u r a lS c i e n c e)V o l.4 7N o.3M a y.2 0 2 3文章编号:1 0 0 0-5 8 5 4(2 0 2 3)0 3-0 2 3 2-0 7收稿日期:2 0 2 2-0 9-2 2;修回日期:2 0 2 2-1 0-2 7基金项目:国家自然科学基金项目(6 1 9 7 6 1 8 3);厦门市科技计划项目(3 5 0 2 Z 2 0 1 9 3 0 6 9)作者简介:黄 涛(1 9 9 6),男,河南三门峡人,硕士研究生,研究方向为机器学习、大数据、粒计算.通信作者:陈颖悦(1 9 8 1),男,正高级实验师,硕士生导师,研究方向为大数据、机器学习、信息系统及电子商务等.E-m a i l:c h e n y i n g y u e x m u t.e d u.c n一种适用于卷积结构的非图像数据预处理方法黄 涛1,陈颖悦1,陈玉明1,曾念峰2(1.厦门理工学院 计算机与信息工程学院,福建 厦门 3 6 1 0 2 4;2.易成功(厦门)信息科技有限公司,福建 厦门 3 6 1 0 2 4)摘要:卷积神经网络凭借局部相关和权值共享等优良特性而广泛应用于图像处理领域,成为最受欢迎的神经网络架构之一.然而,对于基因组、语音和金融等非图像形式的数据,传统的卷积网络可能无法完全适用.为了摆脱这一困境,科研人员不断尝试研发诸如循环神经网络以及注意力机制网络等可用于解析非图像数据的网络结构,拓展神经网络的应用范围.新型网络架构的研发无疑是困难且耗费巨大的,从另一个角度出发,提出一种适用于卷积网络结构的数据预处理方法.通过处理源数据,将其转换为特定的一维特征向量或二维图像矩阵,接着送入自定义卷积结构中观察其算法表现.实验采用U C I和K a g g l e平台上的经典数据集进行测试并使用了S VM、决策树、随机森林等传统机器学习模型来对比该方法的可行性和有效性.关键词:非图像数据;卷积神经网络;深度学习;数据预处理;机器学习中图分类号:T P1 8 3 文献标志码:A d o i:1 0.1 3 7 6 3/j.c n k i.j h e b n u.n s e.2 0 2 3 0 1 0 0 9AN o n-i m a g eD a t aP r e p r o c e s s i n gM e t h o df o rC o n v o l u t i o nS t r u c t u r eHUANGT a o1,CHE NY i n g y u e1,CHE NY u m i n g1,Z E NGN i a n f e n g2(1.C o l l e g eo fC o m p u t e ra n dI n f o r m a t i o nE n g i n e e r i n g,X i a m e nU n i v e r s i t yo fT e c h n o l o g y,F u j i a nX i a m e n 3 6 1 0 2 4C h i n a;2.E a s yS u c c e s s(X i a m e n)I n f o r m a t i o nT e c h n o l o g yL i m i t e dC o m p a n y,F u j i a nX i a m e n 3 6 1 0 2 4C h i n a)A b s t r a c t:C o n v o l u t i o n a ln e u r a ln e t w o r k sa r ew i d e l yu s e di nt h ef i e l do f i m a g ep r o c e s s i n gd u et ot h e i re x c e l l e n tp r o p e r t i e ss u c ha s l o c a l c o r r e l a t i o na n dw e i g h t s h a r i n g,a n dh a v eb e c o m eo n eo f t h em o s tp o p u l a rn e u r a ln e t w o r k a r c h i t e c t u r e s.H o w e v e r,f o r n o n-i m a g ef o r m s o f d a t a s u c h a s g e n o m i c s,v o i c e,a n df i n a n c e,t r a d i t i o n a lc o n v o l u t i o n a ln e t w o r k s m a y n o tb ef u l l y a p p l i c a b l e.I n o r d e rt o g e tr i d o ft h i sd i l e mm a,r e s e a r c h e r sh a v eb e e n t r y i n g t od e v e l o pn e t w o r ks t r u c t u r e s s u c ha s r e c u r r e n t n e u r a l n e t w o r k s a n da t t e n t i o nm e c h a n i s mn e t w o r k s t h a t c a nb eu s e d t oa n a l y z en o n-i m a g ed a t a,a n de x p a n d t h e a p p l i c a t i o ns c o p eo fn e u r a l n e t w o r k s.T h e r e s e a r c ha n dd e v e l o p m e n t o fn e wn e t w o r ka r c h i t e c t u r e i su n d o u b t e d l yd i f f i c u l t a n dc o s t l y.F r o ma n o t h e rp e r s p e c t i v e,w ep r o p o s ead a t ap r e p r o c e s s i n gm e t h o d f o r c o n v o l u t i o n a l n e t w o r ks t r u c-t u r e.B yp r o c e s s i n gt h es o u r c ed a t a,i t i sc o n v e r t e d i n t oas p e c i f i co n e-d i m e n s i o n a l f e a t u r ev e c t o ro r t w o-d i-m e n s i o n a l i m a g em a t r i x,a n d t h e ns e n t t oa c u s t o mc o n v o l u t i o ns t r u c t u r e t oo b s e r v e i t s a l g o r i t h mp e r f o r m-a n c e.I nt h ee x p e r i m e n t,t h ec l a s s i c a l d a t as e t so nU C I a n dK a g g l ep l a t f o r m sa r eu s e d f o r t e s t i n g,a n dt r a d i-t i o n a lm a c h i n e l e a r n i n gm o d e l s s u c ha sS VM,d e c i s i o nt r e e,a n dr a n d o mf o r e s t a r eu s e d t oc o m p a r e t h e f e a-s i b i l i t ya n de f f e c t i v e n e s so f t h em e t h o d.K e yw o r d s:n o n-i m a g e d a t a;c o n v o l u t i o n a l n e u r a l n e t w o r k s;d e e p l e a r n i n g;d a t a p r e p r o c e s s i n g;m a c h i n e l e a r n i n g0 引 言近年来,以深度神经网络(d e e pn e u r a ln e t w o r k s,D NN)为代表的机器学习方法逐渐兴起1,在其内部可以自动实现对数据的特征学习,提高工作效率.卷积神经网络模型(c o n v o l u t i o n a ln e u r a ln e t w o r k s,C NN)作为D NN的代表性架构,更是在机器视觉2和图像处理3等领域大放异彩.然而,实际生活场景中的基因组4、转录组5、和金融分析等数据都是非图像形式的;传统机器学习技术(M a c h i n eL e a r n i n g,ML)可以在这些领域取得广泛应用,C NN却因其输入受限而无法适用.幸运的是,国内外的科研人员们从未停止过对这一研究邻域的尝试.S c h m i d h u b e r于1 9 9 7年研究出了L S TM网络6,它较好的克服了R NN不擅长处理长序列的问题,在自然语言处理7领域得到广泛应用;Y o s h u a等提出擅长处理序列信号的循环神经网络(r e-c u r e n tn e u r a ln e t w o r k,R NN)8;2 0 1 7年,G o o g l e推出了基于纯注意力机制9实现的T r a n s f o r m e r网络模型1 0.随后,一系列诸如G P T1 1,B E R T1 2等用于机器翻译的注意力机制的网络模型层出不穷.除了提出新型算法,能否通过其他手段使得卷积结构也能具有处理部分非图像数据的能力.带着这样的问题,从另一个角度出发,从非图像数据的源数据入手,试图改变源数据的格式使其满足卷积结构的输入要求.鉴于此,本文中,笔者在实验中将选自U C I和K a g g l e平台的连续型数据分别处理为一维和二维卷积网络能够识别的特征向量以及图像矩阵,结合自定义的卷积网络结构,寻求更加简洁高效的非图像数据处理方法.经过与ML中经典模型的比较,证明了所提出的适用于卷积结构的非图像数据预处理方法能够有效的解决部分非图像数据无法使用卷积网络结构的困境,并能够在分类性能上取得一定的突破.1 非图像数据的归一化归一化处理在模式识别1 3中应用广泛,其用途主要分为2类:一类作为特征提取前的预处理技术;另一类是对特征提取后的特征向量进行特征转换.当其作为预处理技术时,可以消除不同特征间的量纲差异,从而获得更好的分类效果.不同的归一化方法适用于不同的数据分布模型.针对一维卷积的数据预处理方法中,选择表现效果较优的标准归一化.1)标准归一化(Z-s c o r en o r m a l i z a t i o n)x=x-x-,(1)其中,是样本的标准差,x-代表样本的均值.该方法假设观测数据具有良好均值并且符合标准的高斯分布.经过标准归一化运算后特征值将会被缩放到0,1 区间.鉴于图像中相邻元素共享相似信息的特点,在处理面向二维卷积结构的数据时采用了对数归一化方法,该方法能够在一定程度上保持原始特征间的关系.2)对数归一化(L o gn o r m a l i z a t i o n)XM i nf=m i nXt r a i n(f,:)(2)Xt r a i n(f,:)l o g(Xt r a i n(f,:)+XM i n f+1)(3)XM a xf=m a x(Xt r a i n)(4)Xt r a i n(f,:)Xt r a i n(f,:)XM a x f(5)其中,M i nf取自所有训练样本中的最小值,以便使用训练极值对测试集进行归一化操作.如果按最小值调整后,测试集中有特征小于0会被钳制为0;相应的,测试集中大于1的特征钳制为1.此时的数据同样分布在0,1 之间.2 非图像数据降维与可视化为满足卷积网络结构低维和图像数据局部相关的需求,使用经典的T-S N E非线性降维算法对源数据进行特征提取以及可视化操作.2.1 T-S N E算法T-S N E主要用于将高维数据降低维度到二维或三维进行可视化展示1 4.实验中将数据降到二维以方便在平面中展示数据信息.T-S N E算法的实现分为2个主要步骤:第一步在高维空间中将样本间欧式距离转换为样本的概率分布,以表达点与点之间的相似度;第二步在二维平面中重构这些点的概率分布,使用梯度332下降法优化2个分布之间的KL散度.条件概率pji(x)是样本xi选择xj作为邻居的主要依据.pji(x)=e x p(-xi-xj22i2)kie x p(xi-xj22i2),(6)其中xRRd,i是以样本xi为中心的高斯方差.与其类似,定义出低维映射样本yi和yj之间的条件概率qj|i.qj|i(x)=e x p(-yi-yj222)kie x p(-yi-yj22yi2).(7)此处的方差被设为1 2,yi和yj模拟了高维样本xi和xj的分布,qj|i(x)与pj|i(x)的接近程度可以用来衡量降维效果的好坏.KL散度是用来衡量2种概率分布之间差异的度量方式,计算方式如(8)所示,Pi和Qi分别代表所给样本和映射样本的条件概率,优化二者间的损失可以得到高维数据在低维空间中的相似映射C.DKL(pq)=El bp(x)-l bq(x),(8)C=iKL(PiQi)=ijpj|il o gpj|iqj|i.(9)2.2 非图像数据的可视化图像由若干个相关像素组成,像素的位置会对C NN的特征提取精度产生一定的影响.实验中通过余弦距离衡量样本之间的相似度并按照相似度大小排列,将相似样本以样本簇的形式插入到图像中,便于有效特征的提取.将包含d个的特征向量(样本)x通过转置变换可以转换为特征矩阵,利用T-S N E的可视化方法,可以将经过处理的向量放置到二维笛卡尔坐标系中.结合样本之间的相似度,遵循“相似近邻,迥异疏远”的原则确定特征矩阵的位置.此后,每个特征向量都可以在坐标系中确定自己的位置.坐标以(xj,yj)的形式存在,xj,yj分别代表原始特征向量和其在二维平面上的相似映射.确定位置之后将特征值映射到坐标系中,形成每个样本对应的灰度特征图.图1是使用U C I中的C a r g o数据集(它有39 4 2个样本和9 7维特征)进行处理后生成的图片样例.图1 分类标签为1,2,3的样本F i g.1 S a m p l e I m a g e sw i t hC l a s s i f i c a t i o nL a b e l s1,2a n d3通过以上图像可以发现,特征值会对灰度图的颜色产生一定影响,这也是卷积神经网络判别不同类别样本的主要依据.3 自定义卷积神经网络模型随着深度学习的兴盛,卷积神经网络在计算机视觉和图像处理中的表现大大超越了其他算法模型,呈现统治之势.组合经典的卷积结构组件搭建自定义神经网络模型,用于分析经过预处理的非图像数据,探索卷积结构对连续型数据的适用性.以下详细介绍自定义一维和二维卷积神经网络的构建过程.4323.1 自定义一维卷积网络模型传统一维C NN多用于处理时序数据,它的输入是一个特征向量和一个卷积核,输出也是一个特征向量.实验中的自定义一维卷积网络模型基于S e q u e n t i a l容器构建,其内部添加由C o n v 1 D层、B a t c h N o r m a l i-z a t i o n层以及D r o p O u t层组合形成的一维卷积块.卷积得到的相关特征展平后被接着放入全连接层,在输出层中调用S o f t m a x函数进行概率判定,最终得到理想的函数模型.搭建简捷高效的网络模型一直是科研工作者的追求,为了降低网络规模加快模型的收敛速率,采用了1*1卷积核和表现效果较优的L e a k y R e L u激活函数.紧接着,在模型装配阶段设置了A d a m优化器并指定适用于多分类任务的交叉熵损失函数进行参数优化.最后,对封装好的模型进行训练,在其内部启用E a r l y S t o p p i n g机制以保证获得最佳的模型参数,避免过拟合现象的发生.自定义一维卷积网络模型如图2所示.3.2 自定义二维卷积网络模型二维卷积神经网络是整个卷积神经网络体系的典型代表,它是图像处理任务的不二选择.自定义二维卷积网络模型由经典的”C o n v-B N-R e L u-P o o l i n g”标配单元块以及2个全连接层堆叠而成.不同于自定义一维卷积网络模型,二维卷积模型的卷积层内部分别使用了3*3和5*5卷积核,以便于提取更多有益信息.此外,为了缩减特征图的尺寸,降低网络的参数量,模型中加入了可用于信息聚合的最大池化层.具体的自定义二维卷积网络模型如图3所示.图2 自定义一维卷积网络模型架构图3 自定义二维卷积网络模型架构F i g.2 C u s t o m1 DC o n v o l u t i o n a lN e t w o r kM o d e lF i g.3 N C N NN e t w o r kA r c h i t e c t u r eD i a g r a m3.3 适用于卷积网络的数据预处理方法3.3.1 一 维 卷 积 网 络 数 据 预 处 理 方 法(O n e-d i m e n s i o n a lc o n v o l u t i o n a ln e t w o r kd a t ap r e p r o c e s s i n gm e t h o d,C N PM 1 D)输入:多维连续数据值.输出:不同类别的概率值.步骤:1)读取数据集,进行数据清洗(填充空白值,删除奇异数据等);2)切分数据集指定标签特征,将数据集按照82的比例分割为训练集和测试集;3)使用Z-s c o r en o r m a l i z a t i o n对数据进行归一化处理;4)改变训练集和测试集数据的形状(改为特征向量形式)用于网络的输入;5)构建自定义一维卷积模型,指定超参数和早停机制并装配模型;6)模型训练、参数保存,可视化训练过程.3.3.2 二 维 卷 积 网 络 数 据 预 处 理 方 法(T w o-d i m e n s i o n a lc o n v o l u t i o n a ln e t w o r kd a t ap r e p r o c e s s i n gm e t h o d,C N PM 2 D)输入:多维连续数据值.输出:不同类别的概率值.步骤:1)读取数据集、进行数据清洗,指定标签项;2)数据随机重采样,降低不平衡数据集对分类结果的影响;3)按照82的比例切分数据集;4)对数据进行Z-s c o r eN o r m a l i z a t i o n归一化处理;5)运用T-S N E算法对源数据进行降维操作,使用转置变换将降维后的数据转换为图像矩阵;5326)可视化得到的灰度图像,判别图像所属类别;7)构建自定义二维卷积网络模型,将固定大小为1 2 0*1 2 0的图像送入卷积模型进行卷积操作;8)最后保存模型,使用模型对测试集进行类别判断,进行训练过程的可视化展示.4 实验分析为了验证自定义网络模型的泛化能力,在选取数据集时从样本容量、特征数量等多方面进行考量,最终从U C I和K a g g l e平台上选取了6个常用的数据集,各个数据集的具体信息如表1所示.表1 实验中所选用数据集的详细信息T a b.1 S p e c i f i c I n f o r m a t i o no f t h eD a t aS e t S e l e c t e df o r t h eE x p e r i m e n t数据集来源样本数特征数类别数B r e a s tC a n c e rW i s c o n s i nU C I5 6 93 22A d u l tU C I4 88 4 21 42C a r g o2 0 0 0F r e i g h t T r a c i n ga n dT r a c i n gU C I39 4 29 73C r e d i tC a r dF r a u dD e t e c t i o nK a g g l e2 8 48 0 73 12P i m aI n d i a n sD i a b e t e sK a g g l e7 6 882M o b i l eP r i c eP r e d i c t i o nK a g g l e20 0 02 04提出了2种针对卷积结构的数据预处理方法,分别适用于一维和二维卷积神经网络.实验中以分类精度为评估指标,从多个角度进行数据分析和实验对比,以探究所提方法的实验效果.4.1 2种自定义模型对比基于常用卷积结构构建的两种自定义网络模型用于处理经过预处理的目标数据.同一数据集先后被转换为特征向量和图像矩阵,用于比较一维和二维卷积网络模型的分类性能.表2是二者的实验效果对比.表2 C N PM 1 D与C N PM 2 D模型的分类性能对比T a b.2 C o m p a r i s o no f t h eC l a s s i f i c a t i o nP e r f o r m a n c e o fC N PM 1 Da n dC N PM 2 D M o d e l s数据集C N PM 1 D C N PM 2 DB r e a s tC a n c e rW i s c o n s i n(D i a g n o s t i c)0.9 9 10.9 4 7A d u l t0.8 3 60.8 3 4C a r g o2 0 0 0F r e i g h tT r a c i n ga n dT r a c i n g1.0 00.9 9 6C r e d i t c a r dF r a u dD e t e c t i o n0.9 2 90.9 0 9P i m aI n d i a n sD i a b e t e s0.8 4 40.7 9 2M o b i l eP r i c eP r e d i c t i o n0.9 0 20.8 9 8通过数据比较可以发现,相同条件下,一维卷积模型的分类精度要略优于二维卷积,这与2者的适用范围所关联.一维卷积常用于处理信号和时序等连续型数据,二维卷积网络普遍用于图像数据.实验中通过降维,数值转换等手段将原本连续的数值型数据转换为图像矩阵,虽说基本符合二维卷积的实验要求,但必定会在转换的过程中造成有益特征的丢失,产生实验误差.此外,一维卷积结构在处理连续型数据具有先天的优势,产生这样的实验效果也符合设计初期的猜想.4.2 不同分类方法对比传统机器学习领域的分类器凭借其简单易实现的特点得到工业界的广泛应用,实验中使用几种经典的分类器模型与所提出的自定义卷积模型进行分类效果比较.其中L R,S VM,D T,G B分别代表逻辑回归、支持向量机、随机森林以及高斯贝叶斯分类模型.表3选用C N PM 1 D与其他算法进行比较,具体情况如下.表3 C N PM 1 D与不同机器学习分类器的性能对比T a b.3 P e r f o r m a n c eC o m p a r i s o no fC N PM 1 Dw i t hD i f f e r e n tM a c h i n eL e a r n i n gC l a s s i f i e r s数据集L RS VMD TG BC N PM 1 DB r e a s tC a n c e rW i s c o n s i n0.9 6 50.9 4 70.9 0 40.9 0 40.9 9 1A d u l t0.8 1 80.8 2 80.7 8 70.8 0 20.8 3 6C a r g o2 0 0 0F r e i g h tT r a c i n ga n dT r a c i n g0.3 5 10.9 5 11.0 00.9 9 51.0 0C r e d i t c a r dF r a u dD e t e c t i o n0.9 0 90.6 9 50.8 9 30.8 4 30.9 2 9P i m aI n d i a n sD i a b e t e s0.8 2 50.8 2 50.7 6 00.7 9 20.8 4 4M o b i l eP r i c eP r e d i c t i o n0.9 7 00.8 7 80.8 4 00.8 2 80.9 0 2632 不难发现,与其他算法相比,C N PM 1 D方法在多数数据集上取得了较好的分类效果.在常用的b r e a s tc a n c e rw i s c o n s i n中,C N PM 1 D的分类精度高出分类效果最好的L R算法近2.6%,达到了9 9.1 2%.在多分类问题上,该方法也可以取得较为优异的成绩.例如c a r g o2 0 0 0f r e i g h t t r a c i n ga n dt r a c i n g上其能够与D T算法一样,取得1.0的精度.虽然它并非在所有的数据集上都能获得最好的分类效果,但相对于其他机器学习算法来说有了一定程度的提升.4.3 实验效果可视化展示实验过程中使用可视化技术展现训练过程可以及时发现模型存在的问题,进而调整出更加精确的模型.C N PM 1 D方法在B r e a s tC a n c e rW i s c o n s i n数据集上的训练精确度和训练损失如图4-5所示,其中纵坐标的t,v分别代表模型的训练集和验证集的精度,横坐标e代表训练次数,纵坐标a表示精度,l是损失度.图4 模型训练精确度图图5 模型训练精确度图F i g.4 M o d e lT r a i n i n gA c c u r a c yD i a g r a mF i g.5 M o d e lT r a i n i n gA c c u r a c yD i a g r a m通过图4和图5可知,自定义卷积网络模型收敛速度较快,训练过程比较稳定.训练集在数据迭代8 01 0 0次之间达到精度顶峰,验证集精确度有所波动但整体上与训练集保持相同趋势.模型的损失呈明显下降趋势,迭代的前2 0次损失下降最为明显,8 01 0 0次迭代期间损失较为平稳,基本达到了最低值;所以该模型在迭代8 01 0 0次的情况下可以取得最好的分类结果.5 总 结传统的一维C NN多用于时序预测、文本处理等领域,二维C NN在图像处理方面独占鳌头.本文中,笔者从细微处入手,探索卷积网络处理非图像数据(连续数值)的能力.经过实验验证,发现卷积结构在非图像数据上也能够取得优于传统机器学习算法的效果,进而提出了一维卷积网络数据预处理方法(C N PM 1 D)和二维卷积网络数据预处理方法(C N PM 2 D).经过与传统的分类模型进行效果对比,发现使用了预处理方法后的卷积模型尤其是自定义一维卷积网络在低维的数据集上效果较好.与C N PM 2 D结合使用的二维自定义卷积网络的效果虽不一维卷积那么明显,但是也在传统模型的效果上有了一定的提升.此外,不同的归一化方法对实验结果也会产生较大的影响,这就需要在数据预处理之前对数据分布有一个大致的了解,确保可以选择最佳的预处理方法,从而获得更好的分类效果.大数据时代下信息交错、数据互融,需要使用合适的降维算法去除干扰特征,降低网络的复杂度和参数规模;以简单的网络模型完成复杂的任务.此次的实验只是通过简单的方法尝试了卷积网络处理非图像数据的可能性,工作上还存在着很多可研究空间.如何将非图像数据转化为彩色图像,卷积网络结构能否直接处理声音等非连续数值型数据等等.未来的工作中,将继续致力于探索C NN对非图像数据的适用性,完善非图像卷积神经网络的用途.参考文献:1 K R I Z HE V S KYA,S UT S K E V E RI,H I N TON G E.I m a g e n e tC l a s s i f i c a t i o nw i t hD e e pC o n v o l u t i o n a lN e u r a lN e t w o r k sJ.C o mm u n i c a t i o n so f t h eA CM,2 0 1 7,6 0(6):8 4-9 0.d o i:1 0.1 1 4 5/3 0 6 5 3 8 62 GUY E RDE,M I L E SGE,S CHR E I B E R M M,e ta l.M a c h i n eV i s i o na n dI m a g eP r o c e s s i n gf o rP l a n tI d e n t i f i c a t i o nJ.732T r a n s a c t i o n so f t h eA S A E,1 9 8 6,2 9(6):1 5 0 0-1 5 0 7.d o i:1 0.1 3 0 3 1/2 0 1 3.3 0 3 4 43 王树文,闫成新,张天序,等.数学形态学在图像处理中的应用J.计 算机 工程 与 应用,2 0 0 4,4 0(3 2):8 9-9 2.d o i:1 0.3 3 2 1/j.i s s n:1 0 0 2-8 3 3 1.2 0 0 4.3 2.0 2 6WANGS h u w e n,YAN C h e n g x i n,Z HAN G T i a n x u,e ta l.A p p l i c a t i o no fM a t h e m a t i c a lM o r p h o l o g yi nI m a g eP r o c e s s i n gJ.C o m p u t e rE n g i n e e r i n ga n dA p p l i c a t i o n s,2 0 0 4,4 0(3 2):8 9-9 2.4 解涛,梁卫平,丁达夫.后基因组时代的基因组功能注释J.生物化学与生物物理进展,2 0 0 0,2 7(2):1 6 6-1 7 0.d o i:1 0.3 3 2 1/j.i s s n:1 0 0 0-3 2 8 2.2 0 0 0.0 2.0 1 5X I ET a o,L I AN G W e i p i n g,D I N GD a f u.G e n o m eA n n o t a t i o n i nt h eP o s t g e n o m eE r aJ.P r o g r e s s i nB i o c h e m i s t r ya n dB i o-p h y s i c s,2 0 0 0,2 7(2):1 6 6-1 7 0.5 崔凯,吴伟伟,刁其玉.转录组测序技术的研究和应用进展J.生物技术通报,2 0 1 9,3 5(7):1-9.d o i:1 0.1 3 5 6 0/j.c n k i.b i o t e c h.b u l l.1 9 8 5.2 0 1 9-0 3 7 4C U IK a i,WU W e i w e i,D i a o Q i y u.A p p l i c a t i o na n dR e s e a r c hP r o g r e s so n T r a n s c r i p t o m i c sJ.B i o t e c h n o l o g yB u l l e t i n,2 0 1 9,3 5(7):1-9.6 YU Y,S IX,HUC,e ta l.A R e v i e wo fR e c u r r e n tN e u r a lN e t w o r k s:L S TM C e l l sa n dN e t w o r kA r c h i t e c t u r e sJ.N e u r a lC o m p u t a t i o n,2 0 1 9,3 1(7):1 2 3 5-1 2 7 0.d o i:1 0.1 1 6 2/n e c o_a_0 1 1 9 97 林奕欧,雷航,李晓瑜,等.自然语言处理中的深度学习:方法及应用J.电子科技大学学报,2 0 1 7,4 6(6):9 1 3-9 1 9.d o i:1 0.3 9 6 9/j.i s s n.1 0 0 1-0 5 4 8.2 0 1 7.0 6.0 2 1L I NY i o u,L E IH a n g,L IX i a o y u,e t a l.D e e pL e a r n i n g i nN L P:M e t h o d sa n dA p p l i c a t i o n sJ.J o u r n a l o fU n i v e r s i t yo fE l e c-t r o n i cS c i e n c ea n dT e c h n o l o g yo fC h i n a,2 0 1 7,4 6(0 6):9 1 3-9 1 9.8 M I KO L OVT,KOMB R I NKS,B UR G E TL,e ta l.E x t e n s i o n so fR e c u r r e n tN e u r a lN e t w o r kL a n g u a g eM o d e lC/2 0 1 1I E E EI n t e r n a t i o n a l C o n f e r e n c e o nA c o u s t i c s,S p e e c ha n dS i g n a l P r o c e s s i n g(I C A S S P).P r a g u e:I E E E,2 0 1 1:5 5 2 8-5 5 3 1.d o i:1 0.1 1 0 9/i c a s s p.2 0 1 1.5 9 4 7 6 1 19 刘建伟,刘俊文,罗雄麟.深度学习中注意力机制研究进展J.工程科学学报,2 0 2 1,4 3(1 1):1 4 9 9-1 5 1 1.d o i:1 0.1 3 3 7 4/j.i s s n 2 0 9 5-9 3 8 9.2 0 2 1.0 1.3 0.0 0 5L I UJ i a n w e i,L I U J u n w e n,L UO X i o n g l i n.R e s e a r c hP r o g r e s si n A t t e n t i o n M e c h a n i s mi n D e e pL e a r n i n gJ.C h i n e s eJ o u r n a l o fE n g i n e e r i n g,2 0 2 1,4 3(1 1):1 4 9 9-1 5 1 1.1 0 MA S A L A M,RU S E T IS,D A S C A L U M.R o b e r t