基于自动驾驶道路场景的语义分割方法研究.pdf

第期(总第 期)年 月机 械 工 程 与 自 动 化ME CHAN I C A LE N G I N E E R I N G&AUT OMA T I ONN o D e c 文章编号:()基于自动驾驶道路场景的语义分割方法研究张佳琪,袁骏,惠永科,胡勇,张睿(太原科技大学 计算机科学与技术学院,山西太原 ;中国机械科学研究总院集团有限公司,北京 )摘要:针对现有的自动驾驶道路场景的语义分割模型在特征提取阶段提取特征不充分以及忽略了不同级别特征图中存在的特征重要性差异进而导致分割结果不佳的问题,提出了一种改进的D e e p L a bV 算法,该方法结合了不同的注意力机制;针对原始模型的主干网络结构较为复杂且需要更多的计算资源来训练的问题,将主干网络更换为R e s N e t .通过实验验证,本方法平均交并比(M I o U)指数达到了 ,相较于其他方法具有更高的分割准确度.关键词:自动驾驶;道路场景;语义分割;改进的D e e p L a bV 算法中图分类号:T P 文献标识码:A山西省机械产品质量司法鉴定中心企业委托项目();太原科技大学教学改革与研究项目(J G );山西省高等学校教学改革创新项目(J );太原科技大学研究生联合培养示范基地项目(J D );太原科技大学大学生创新创业训练项目(X J );年山西省高等学校教学改革创新项目(J )收稿日期:;修订日期:作者简介:张佳琪(),女,山西晋中人,本科.引言自动驾驶领域中利用语义分割技术对路况进行分类有助于系统了解路况,进而做出更为精确的路径规划以及更为及时地规避障碍物,确保行车的安全,因此关于道路场景的分割对自动驾驶系统来说有着重要的现实意义.现有的基于语义的图像分割方法已难以适用于多个目标的分割任务,而基于深度学习的方法为计算机视觉领域的研究带来了新的突破.与经典的体系结构相比,卷积神经网络(C o n v o l u t i o n a lN e u r a lN e t w o r k s,C N N)图像语义分割技术能显示出更好的效率和准确性.陈先昌和F a r a b e t等提出了一种使用从原始像素训练的多尺度卷积网络对密集特征向量进行提取,以图像中每个像素为中心,为多个大小的区域进行编码的方法;L o n g等提出的全卷积神经网络(F u l l yC o n v o l u t i o n a lN e t w o r k s,F C N)的流水线虽然扩展了卷积神经网络,并且可以预测任意尺寸的输入图像,但是F C N预测结果分辨率比较低;R o n n e b e r g e r等提出的UN e t在上采样部分中具有大量特征通道,使得较高分辨率层能够接收到上下文信息,通过“U”字网络形状获得深度特征和浅层信息,达到了预测的目的.随着大规模公共数据集和进化的高性能图形处理器(G r a p h i cP r o c e s sU n i t,G P U)技术的发展,出现了一种高效的语义分割网络C P N e t,能够捕捉到类与类之间的语义关系,进而提高了该网络对道路场景的理解分析能力.而基于像素的纵向位置且有选择性的突出信息属性的网络HAN e t则可以更好地实现城市街道场景图像的语义分割.由上述的研究现状可知,现存算法在特定场景下可能会产生漏检、误判问题,并且未考虑到多个特征之间特征重要性的差异,丢失了特征图的大量细节信息,导致最后的分割结果不佳.为了解决上述问题,本文提出一种改进的D e e p L a bV 算法,解决了对特征图重要性的忽略问题以及细节信息丢失的问题.道路场景语义分割的优化算法设计由于D e e p L a bV 原始模型的特征提取不充分,没有考虑到不同级别的特征存在的特征重要程度不同,并且忽略了大量的细节信息,进而导致分割结果不佳.因此本文提出了改进的D e e p L a bV 模型,将主干网络X c e p t i o n替换为R e s N e t ,除此之外,还在使用主干网络为R e s N e t 的D e e p L a bV 原始模型上做了一些改进,根据不同级别的特征图特点引入适配的注意力机制.改进后的D e e p L a bV 网络结构如图所示.采用本文所提算法对图像信息空间分布特性进行了分析并结合了各通道中不同特征的重要性,为各特征引入不同的注意力机制,通过卷积网络池化等一系列操作提高分割精度;同时在R e s N e t 主干网络的基础上,给出了编码器和解码器的设计方案.在编码器端输入的图像先通过R e s N e t 完成特征的首次提取,之后采用不同倍率的空洞空间金字塔池化模块对特征进行了进一步提取,并将其转换为特征向 量,与 此 同 时 通 道 注 意 力 机 制 模 块C A(C o o r d i n a t eA t t e n t i o n)也会对从主干网络提取出的特征图进行处理,即C A将高级特征fhRWHC展开为fhfh,fh,fhC(其中fhiRWH为fh的第i片,W为输入图像的宽,H为输入图像的高,C为总通道数).在经过注意力模块C A时,首先对每个fhi应用平均池化得到特征向量vhRC;接着,将通道之间的依赖关系建立在两个连续的全连接层上,这两个全连接层分别放置于非线性函数R e L U的两侧(如图所示),并 编 码 通 道 方 向 的 特 征 向 量;最 后,通 过S i g m o i d运算对映射到,编码后的通道特征向量采取归一化处理.求解最终输出特征过程如下:FC A(vh,WC)fcfc(vh,WC),WC()其中:FC A(vh,WC)为进行完激活函数后的输出;WC、WC、WC均 为 通 道 注 意 力 模 块 中 的 参 数;为S i g m o i d操作;fc、fc分别为第一个全连接层和第二个全连接层;为R e L U函数.最后采用C A注意力模块对背景信息进行权重计算,进而得到该模块的最终输出fh:fhFC Afh()图改进后的D e e p L a bV 网络结构图通道注意力结构C A将对响应较高的通道给予较大的加权,为了进一步提高融合性能,将之前输入图像中的不同通道进行拼接融合,然后使用卷积来进行维度的降低,与此同时使用C A注意力模块融合从主干网络提取出的特征图,并提取丰富的上下文信息,得到有效的高阶特征.在解码器端输入图像并通过R e s N e t 模型的输入层后,首先将两个特征图同时提取出来作为解码器的特征输入信息,根据迁移残差连接的思想,将所提取出的两个特征图分为两条路径,一路经过注意力机制S E(S q u e e z e a n d E x c i t a t i o n)模块,在S E模块中对高阶特征进行处理,产生有效的特征图,从而提高分割结机 械 工 程 与 自 动 化 年第期果,另一路不通过S E模块;接着再将两路提取出的低级特征分别经过的卷积操作降维后再叠加,之后融合编码器中四倍上采样获取的高级特征,最后经过的卷积和上采样的方法将其还原到与输入图像相同的分辨率,并对特征进行进一步的精细化,进而恢复空间信息.本文采用了信息论中的重要函数 交叉熵损失函数,交叉熵损失函数计算公式定义为:Lyil o gpi(yi)l o g(pi)()其中:yi为输出的真实值,yi或yi;pi为样本的预测概率.实验验证与结果分析 数据集本文采用C i t y s c a p e s这一大型的数据集来对实例语义标签 进行训练和测试.C i t y s c a p e s是从 个城市中春、夏、秋季的街头采集到的各式各样的三维图像,其中 张图像是具有高品质的像素级注释,而另外 张图像则进行了粗略的注释,这样就可以更好地使用这些标注过的数据.实验平台本实验是在W i n d o w s 操作系统下使用P y c h a r m平台以及P y t h o n 语言开发的,C P U为I n t e l(R)C o r e(TM)i KC P U GH z;G P U采用NV I D I AR T X .实验评价指标本实 验 使 用 的 评 价 指 标 为 平 均 交 并 比(M e a nI n t e r s e c t i o no v e rU n i o n,M I o U)和 总 体 精 度(O v e rA c c u r a c y,OA).M I o U计算公式为:M I o Unnipi injpi jnjpj ipi i()其中:n为标签标记的类别数;n为包含空类或者背景的总类别数;pi i为模型预测与实际均为i类的像素个数;pi j为预测为j类但实际为i类的像素个数;pj i为预测为i类但实际为j类的像素个数.M I o U的取值范围为,表示准确的预测,表示完全错误的预测,M I o U值越高表示模型性能越好.改进模型消融实验对使用R e s N e t 为主干网络的D e e p L a bV 模型进行改进,改进后的网络根据每个通道中存在特征的重要程度,针对不同的特征引入不同的注意力机制.本文对不同模型进行了消融实验,分别为:使用主干网络为X c e p t i o n的原始D e e p L a bV 模型的实验;使用主干网络为X c e p t i o n并且加入注意力机制的改进算法的实验;使用主干网络为R e s N e t 的原始D e e p L a bV 模型的实验;使用主干网络为R e s N e t 并且加入注意力机制的改进算法的实验.得到的消融实验结果如 表所 示.由 表可 知:改 进 后 的 主 干 网 络R e s N e t 并加入注意力机制模型分割效果较原始模型增加了十个百分点,提高了模型的分割精度.表不同模型结构的消融实验结果模型结构M I o UOA主干网络X c e p t i o n 主干网络X c e p t i o n并加入注意力机制 主干网络R e s N e t 主干网络R e s N e t 并加入注意力机制 性能对比实验在数据集C i t y s c a p e s上将改进后的D e e p L a bV 模型与近三年较新的算法如 年提出的A e r i a l P A S S 以及 年提出的S t r e a m D E Q 分割效果做对比,除此之外,还与一些经典的语义分割模型如F C N以及P S P N e t分割效果性能做对比,结果如表所示.表不同网络模型C i t y s c a p e s数据集分割效果对比网络模型M I o UA e r i a l P A S S S t r e a m D E Q F C N P S P N e t 改进D e e p L a bV 从表中可以看出:改进后的D e e p L a bV 模型在M I o U上较其他算法的精度高,且对某些小目标的类分割准确率也有显著提高.实验结果验证了改进后的D e e p L a bV 算法的有效性.原始模型分割结果和改进后D e e p L a bV 模型分割结果对比如图所示.从图中可以看出:本文算法对各种类型的物体具有更好的边界分割,对路面和车辆更是有着精确的分割,对复杂场景中各类目标的鉴别能力也更强,对电线杆等一些小目标也有较好的识别度.图原始模型分割结果和改进后D e e p L a bV 模型分割结果对比结论本文将D e e p L a bV 模型的主干网络X c e p t i o n替换为R e s N e t ,作为改进模型的主干网络.在此基础上,通过对基于主干网络的高阶特征进行空间关注以及对低阶特征进行通道关注,充分提取了高低阶特征并高效融合了高低阶特征.通过与近三年的模型和一些经典模型在C i t y s c a p e s数据集上进行比较,验证了本文所提方法的有效性.参考文献:田启川,孟颖卷积神经网络图像语义分割技术J小型微型计算机系统,():陈先昌基于卷积神经网络的深度学习算法与应用研究D杭州:浙江工商大学,:F a r a b e tC,C o u p r i e C,N a j m a n L,e t a l L e a r n i n gh i e r a r c h i c a lf e a t u r e s f o r s c e n e l a b e l i n gJI E E E 年第期张佳琪,等:基于自动驾驶道路场景的语义分割方法研究T r a n s a c t i o n so nP a t t e r nA n a l y s i sa n dM a c h i n eI n t e l l i g e n c e,():L o n gJ,S h e l h a m e r E,D a r r e l l TF u l l y c o n v o l u t i o n a ln e t w o r k s f o r s e m a n t i c s e g m e n t a t i o nJI E E ET r a n s a c t i o n so nP a t t e r nA n a l y s i sa n dM a c h i n eI n t e l l i g e n c e,():R o n n e b e r g e rO,F i s c h e rP,B r o xT U n e t:C o n v o l u t i o n a ln e t w o r k s f o r b i o m e d i c a l i m a g e s e g m e n t a t i o nC/M e d i c a l I m a g eC o m p u t i n g a n dC o m p u t e r A s s i s t e dI n t e r v e n t i o n M I C C A I :t hI n t e r n a t i o n a lC o n f e r e n c e M u n i c h,G e r m a n y:S p r i n g e rI n t e r n a t i o n a lP u b l i s h i n g,:Y uC,W a n gJ,G a o C,e ta l C o n t e x t p r i o rf o rs c e n es e g m e n t a t i o nC/P r o c e e d i n g s o f t h e I E E E/C V FC o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n i t i o n s l :s n ,:C h o iS,K i mJT,C h o oJ C a r sc a n tf l yu pi nt h es k y:I m p r o v i n g u r b a n s c e n e s e g m e n t a t i o n v i a h e i g h t d r i v e na t t e n t i o nn e t w o r k sC/P r o c e e d i n g so ft h eI E E E/C V FC o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n i t i o n s l :s n ,:C h e nLC,Z h uY,P a p a n d r e o uG,e ta l E n c o d e r d e c o d e rw i t ha t r o u ss e p a r a b l ec o n v o l u t i o nf o rs e m a n t i ci m a g es e g m e n t a t i o nC/P r o c e e d i n g s o f t h eE u r o p e a nc o n f e r e n c eo nc o m p u t e rv i s i o n(E C C V)s l :s n ,:H eK,Z h a n gX,R e nS,e ta l D e e pr e s i d u a l l e a r n i n gf o ri m a g e r e c o g n i t i o nC/P r o c e e d i n g s o f t h e I E E Ec o n f e r e n c eo nc o m p u t e rv i s i o na n dp a t t e r nr e c o g n i t i o n s l :s n ,:H o uQ,Z h o uD,F e n gJ C o o r d i n a t ea t t e n t i o nf o re f f i c i e n tm o b i l en e t w o r kd e s i g nC/P r o c e e d i n g so ft h eI E E E/C V F c o n f e r e n c e o n c o m p u t e r v i s i o n a n d p a t t e r nr e c o g n i t i o n s l :s n ,:C o r d t s M,Om r a n M,R a m o sS,e ta l T h ec i t y s c a p e sd a t a s e tf o rs e m a n t i cu r b a ns c e n eu n d e r s t a n d i n gC/P r o c e e d i n g so ft h eI E E Ec o n f e r e n c eo nc o m p u t e rv i s i o na n dp a t t e r nr e c o g n i t i o n L a s V e g a s,NV,U S A:I E E E,:S u nL,W a n gJ,Y a n gK,e ta l A e r i a l P A S S:P a n o r a m i ca n n u l a rs c e n es e g m e n t a t i o ni nd r o n ev i d e o sC/E u r o p e a nC o n f e r e n c eo n M o b i l eR o b o t s(E CMR)s l :I E E E,:E r t e n l iC U,A k b a sE,C i n b i sR G S t r e a m i n gm u l t i s c a l ed e e pe q u i l i b r i u m m o d e l sC/C o m p u t e rV i s i o nE C C V :t h E u r o p e a nC o n f e r e n c e,P r o c e e d i n g s,P a r tX I C h a m:S p r i n g e rN a t u r eS w i t z e r l a n d,:R e s e a r c ho nS e m a n t i cS e g m e n t a t i o nM e t h o dB a s e do nA u t o n o m o u sD r i v i n gR o a dS c e n eZ H A N GJ i a q i,Y U A NJ u n,H U IY o n g k e,H UY o n g,Z H A N GR u i(C o l l e g eo fC o m p u t e rS c i e n c ea n dT e c h n o l o g y,T a i y u a n U n i v e r s i t yo fS c i e n c ea n dT e c h n o l o g y,T a i y u a n ,C h i n a;C h i n aA c a d e m yo fM a c h i n e r yS c i e n c ea n dT e c h n o l o g yG r o u p,B e i j i n g ,C h i n a)A b s t r a c t:I nr e s p o n s e t o t h ep r o b l e mo f i n s u f f i c i e n t f e a t u r e e x t r a c t i o n i n t h e f e a t u r e e x t r a c t i o ns t a g eo f e x i s t i n gs e m a n t i c s e g m e n t a t i o nm o d e l s f o ra u t o n o m o u sd r i v i n gr o a ds c e n e s,a sw e l la st h en e g l e c to ff e a t u r ei m p o r t a n c ed i f f e r e n c e si nd i f f e r e n tl e v e l so ff e a t u r em a p s,r e s u l t i n gi np o o rs e g m e n t a t i o nr e s u l t s,t h i sp a p e rp r o p o s e sa ni m p r o v e dD e e p L a bV a l g o r i t h mt h a tc o m b i n e sd i f f e r e n ta t t e n t i o nm e c h a n i s m s I nr e s p o n s e t o t h e c o m p l e xb a c k b o n en e t w o r ks t r u c t u r eo f t h eo r i g i n a lm o d e l a n d t h en e e d f o rm o r e c o m p u t i n gr e s o u r c e s f o rt r a i n i n g,t h i sa r t i c l er e p l a c e si t sb a c k b o n en e t w o r k w i t hR e s N e t T h r o u g he x p e r i m e n t a lv e r i f i c a t i o n,t h e M I o U(M e a nI n t e r s e c t i o no v e rU n i o n)i n d e xo ft h i sm e t h o dr e a c h e s ,w h i c hh a sh i g h e rs e g m e n t a t i o na c c u r a c yc o m p a r e dt oo t h e rm e t h o d s K e y w o r d s:a u t o n o m o u sd r i v i n g;r o a ds c e n es e g m e n t a t i o n;s e m a n t i cs e g m e n t a t i o n;i m p r o v e dD e e p L a bV a l g o r i t h m(上接第 页)李梓卉中国钢铁出口“一带一路”国家贸易潜力分析D济南:山东财经大学,:马学东,李亚运,李玲玲,等水平摆振下谷物偏析效果的离散元模拟研究J河南农业大学学报,():T h o r n t o nC,Y i nKK I m p a c t o f e l a s t i c s p h e r e sw i t ha n dw i t h o u t a d h e s i o nJ P o w d e rT e c h n o l o g y,:T h o r n t o nC O nt h er e l a t i o n s h i pb e t w e e nt h em o d u l u so fp a r t i c u l a t em e d i aa n ds u r f a c ee n e r g yo ft h ec o n s t i t u e n tJJ o u r n a lo fP h y s i c s D:A p p l y P h y s i c s,:T h o r n t o nC C o e f f i c i e n t o f r e s t i t u t i o n f o r c o l l i n e a rc o l l i s i o n so fe l a s t i c p e r f e c t l yp l a s t i cs p h e r e sJ J o u r n a lo fA p p l i e dM e c h a n i c s,:杨光,马自飞,杨会利,等东鞍山铁矿石高效分选新技术研究J金属矿山,():郭忆,边立国,展仁礼,等酒钢桦树沟铁矿石智能分选机预选抛废实验研究J矿冶工程,():P a r t i c l eS e p a r a t i o no fW e a kM a g n e t i t eB a s e do nC o m b i n e dV i b r a t i o nZ H A N GH a o q i a n g,Q I ND o n g q i a n g,C A IL i u,L US e n x i n g(H e c h iU n i v e r s i t y,Y i z h o u ,C h i n a;Y u l i nC h e n g x i nM a c h i n e r yC o,L t d,Y u l i n ,C h i n a)A b s t r a c t:D u r i n g i r o no r em i n i n ga n dc r u s h i n g,i t i su n a v o i d a b l e t om i xac e r t a i np r o p o r t i o no fw a s t e r o c k,u s ev i b r a t i o nt os e p a r a t eh i g hg r a d eo r ep a r t i c l e sw i t hd i f f e r e n td e n s i t yf r o ml o wg r a d eo r ep a r t i c l e sa n dw a s t er o c k,r e m o v et h ew a s t er o c ka n ds e p a r a t et h ei r o no r ew i t hd i f f e r e n tg r a d e s f o rs m e l t i n g,g r e a t l y i m p r o v i n gt h ey i e l do f i r o no r e T h es e p a r a t i o np r o c e s so f v i b r a t i o ns e p a r a t i o no fi r o no r e i sr e l a t i v e l ys i m p l ea n de f f i c i e n t C o m p a r e dw i t hm a g n e t i cs e p a r a t i o n,i t s a v e sm o r ee n e r g ya n dd o e sn o tp r o d u c ep o l l u t i o n T h e f a c t o r sa f f e c t i n gt h ev i b r a t i o ns e p a r a t i o no f i r o no r ep a r t i c l e sa n dw a s t er o c kp a r t i c l e sw e r es i m u l a t e db yE D EMs o f t w a r e T h er e s u l t ss h o wi t i sc o n c l u d e dt h a t t h eo r ep a r t i c l e sw i t hs m a l l e rd e n s i t ya r e l a y e r e d i nt h eu p p e r l a y e ro f t h ep a r t i c l e c o m b i n a t i o n,a n dt h ev i b r a t i o n f r e q u e n c yh a sg r e a t e r i n f l u e n c eo n t h ev i b r a t i o ns e p a r a t i o ne f f e c t t h a n t h ev i b r a t i o na m p l i t u d e T h e s t u d yo f t h i sp a p e r i so fg r e a t s i g n i f i c a n c e f o r t h em i n i n go fw e a km a g n e t i t eo r ea n d i m p r o v i n gt h eo u t p u tg r a d eo f i r o no r e K e y w o r d s:i r o no r e;v i b r a t i o ns e p a r a t i o n;p a r t i c l e机 械 工 程 与 自 动 化 年第期