卷积神经网络在航测图像自动识别中的应用探讨.pdf

第4 6卷第5期2 0 2 3年9月现 代 测 绘M o d e r nS u r v e y i n ga n dM a p p i n gV o l.4 6,S e p t.,2 0 2 3 项目来源:江苏省地质局基金项目(2 0 2 2 KY 0 9)第一作者简介:孙健飞,高级工程师,研究方向为地理信息系统。卷积神经网络在航测图像自动识别中的应用探讨孙健飞1,王占岗2,陶恩海3(1.江苏省地质矿产局第六地质大队,江苏 连云港2 2 2 0 2 3;2.灌云县城乡规划服务中心,江苏 连云港2 2 2 2 0 0;3.江苏兼金信息产业有限公司,江苏 连云港2 2 2 3 0 0)摘 要 针对无人机航测影像的目标识别问题,结合目前已有相关开发语言及模型,探讨在航测内业采集过程中加入人工智能识别技术实现地物自动识别和绘制的可行性。首先,分析近年来计算机图像识别方面的人工智能模型,结合航空影像固有特性,通过研究识别后与已有绘图软件交互。其次,设计了一组基于经典卷积神经网络的航测影像自动识别实验。结果表明,VG G 1 6模型能够有效提升高分辨率和复杂背景的航拍图像的识别准确率,在较小目标(如路灯等)的识别准确率较低。以此给出输入图像精细化预处理、原数据集数据增强与多次迭代、构建具有双重损失函数的糅合模型3个方面的改进措施,为后续进一步的研究确定了方向。关键词 卷积神经网络C NN;V G G-N E T模型;航测;内业采集;目标检测中图分类号:T P 3 9 1.4 1;T P 1 8 3 文献标志码:A 文章编号:1 6 7 2-4 0 9 7(2 0 2 3)0 5-0 0 4 8-0 50 引 言近年来,无人机航测因其使用灵活方便、成本低、设备展开及数据获取速度快等优势,广泛应用于国土资源勘探、智慧工地、林业调查、应急救援等各领域。外业量测中,轻量化无人机能根据需求快速获取多角度的航测影像。在内页处理中许多影像处理软件应运而生。目前配套的内业处理软件,如大疆智图、P I X 4 D、S MAR T 3 D等,这些软件的处理能力日益丰富,使数字正射影像图和三维模型的生产愈发简便化。但在矢量化地形图的生产上,现有软件在自动识别技术方面还存在缺陷,如R 2 V软件,对原有单色地形图图纸的扫描件支持较好,而对于数字正射影像图的采集成图难以实现。识别过程中极易受到航测影像采集的视角、姿态、光照、遮挡等条件差异和场景的多样性导致目标发生形变1。另外,海量数据带来的处理效率问题,给航测影像的目标分类和识别带来巨大挑战2-4。针对上述问题,本文分析近年来计算机图像识别方面的人工智能模型,结合航空影像固有特性,通过研究识别后与已有绘图软件交互。通过一组基于经典卷积神经网络的航测影像自动识别实验对其实用性进行探讨。1 卷积神经网络学习框架传统的目标检测和识别方法采用基于滑动窗口的特 征 提 取 框 架:区 域 选 择-特 征 提 取(S I F T,HOG)-模型建立(分类器/回归器)。当前研究主要集中于基于人工特征的构造和分类算法上,存在严重依赖人工经验,模型鲁棒性差,泛化能力弱等缺点。并不适用于背景复杂、分辨率高的无人机航拍图像。与传统方法相比,深度学习的方法采用端到端的解决思路,类似于人的视觉系统,从原始信号摄入开始(瞳孔摄入像素),首先进行初步处理(大脑皮层某些细胞发现物体的边缘、颜色),再进行抽象(大脑判定眼前的物体的形状是圆形的),然后进一步抽象(大脑进一步判定该物体是只气球),最后在大脑中构建出一幅视觉图像5。卷积网络受视觉神经机制的启发,为识别二维形状专门设计了一个多层感知器,对平移、比例缩放、倾斜或者其他形式的变形具有高度不变性。卷积神经网络基本结构可以分为输入层、卷积层、全连接层和输出层4个部分,图1为牛津大学的视觉 几 何 组(V i s u a lG e o m e t r y G r o u p)和G o o g l eD e e p M i n d公司的研究员一起研发的用于图像识别的经典卷积神经网络模型VG G-N E T。由图1可知,卷积神经网络借鉴生物神经网络,采用了非全连接和权值共享的多层网络结构。卷积神经网络因其局部权值共享的特殊结构在图像处理方面相比于彼此连接网络有着显著优势。其特征检测层对训练数据进行隐式学习,避免了显式图1 V G G-N E T结构图的特征抽取,并且由于同一特征映射面上的神经元权值相同,大大降低了网络的复杂性。在处理时可以采用并行计算技术,对于多维输入向量的图像,可直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。2 0 1 2年,H i n t o n用C NN结合G P U并行处理技术用于I m a g e n e tC h a l l e n g e数据库中,使分类错误率从2 6.2%下降到1 6%,取得了当年最好的分类结果。2 0 1 4年3月,F a c e b o o k用4 0 0万张人脸图片训练了一个9层的卷积神经网络,在著名的公共测试数据集L FW(L a b e l e dF a c ei nt h eW i l d)上达到了9 7.2 5%的 识 别 正 确 率,基 本 接 近 人 眼 的 辨 识水平。随后,香港中文大学基于F i s h e rD i s c r i m i n a n tA n a l-y s i s的算法将人脸识别的正确率提高到9 8.5 2%,超过了人类水平(9 7.5 3%)5-1 0。2 模型设计与实验分析2.1 实验环境本文使用P y t h o n和T e n s o r f l o w的开发环境并结合航测采集软件探讨航测影像自动采集的可行性。实验环境如表1所示。表1 实验环境C P UE 5-2 6 7 8 v 3C P U 2.5 0 GH zG P UR T X 2 0 6 06 G B内存3 2G B操作系统W i n 1 0深度学习框架G o o g l eT e n s o r F l o w(r0.1 2)编程语言P y t h o n 3.72.2 数据集(1)从历史航拍的原始图库中,挑选包含“厂房”“道路”“民房”3种需要标注的物体的图片,通过P h o t o s h o p人工截取相关物体的小图,分类保存在C F(厂房)、D L(道路)和MF(民房)3个文件夹中,每种标签的样本制作1 0 0个。厂房的原始样本如图2所示。图2 原始样本94第5期孙健飞等:卷积神经网络在航测图像自动识别中的应用探讨 (2)利用O p e n C V对每个样本分别进行水平翻转(镜像)、垂直翻转(倒影)、旋转变换,将每个类别的样本数量扩展到4 0 0个,并将所有样本图片缩放到同一大小(图3)。图3 缩放后图片样本(3)每个标签的样本图片随机取3 2 0张,制作用于训练的T f r e c o r d训练集,剩下的8 0张图片制作测试集。运行结果如图4所示。图4 运行结果截图2.3 模型设计(1)航测采集软件及接口在1 2 0 0 0比例尺地形图采集中,使用P I X 4 D软件生成点云并分类、抽稀后处理为高程点,在地物采集方面比较困难。DOM加载进C A S S软件的采集方式较为直观,上手最容易。C A S S作为A u t oC A D二次开发的软件,支持命令栏输入的方式绘制地形图,以命令栏为接口,可方便的实现P y t h o n软件的输入。在C A S S通过命令导入的方式实现后,逐步探讨三维模型采集软件E P S中自动采集的可行性。(2)搭建C NN神经网络经对 比L e N e t 5、A l e x N e t、G o o g l e N e t、R e s N e t等常用卷积神经网络模型,最终选择采用VG G 1 6模型(图5)。图5 V G G-N E T模型分类图(D即为V G G 1 6)(3)初始化变量,然后执行模型的训练和测试,并保存训练好的模型(图6-图8)。3 实验结果与分析载入待处理的航拍图片,通过过滤器和训练的模型识别图片中目标物体,得到包含物体的矩形框的4个点坐标(图9)。利用坐标截取图片,通过O p e n C V的边缘检测获取边缘线,得到目标物体的顶点坐标;对于细部生成的边长短于3 0c m的,去除多余边(图1 0)。05现 代 测 绘 第4 6卷图6 训练和测试截图图7 保存训练模型图8 模型训练验证对比图9 确定处理范围读取j g w文件中的原始坐标和精度,结合矩形框坐标和物体顶点坐标,计算出目标物体的实际坐标值,保存到结果文件中。将结果文件导入C A D,经验证对厂房的识别率达到9 7%,因为目标区域正处于大规模基建阶段,道路和路灯的完成度低,识别准确率较低。由于影像分辨率差异较大,存在边缘提取坐标与实测坐标图1 0 识别边缘效果存在误差的情况,后续改进时外业航测精度需提高。4 结 语本文探讨了利用经典卷积神经网络提取航测图像中感兴趣目标的可行性。结果表明,VG G 1 6模型非常适合处理能够有效提升高分辨率和复杂背景的航拍图像的识别准确率,但在较小目标如路灯等目标的识别准确率较低,本文后续考虑从以下几个方面改进:对输入图像进行精细的预处理(如滤波、白化等);原数据集进行数据增强,并进行更多次的迭代;构建具有双重损失函数的糅合模型。参考文献1 戚银城,赵振兵,杜丽群,等.基于VG GN e t和标签分布学习的航拍目标分类方法J.电力建设,2 0 1 8,3 9(2):1 0 9-1 1 5.2 西安电子科技大学.基于预分割和回归的深度学习目标检测方法:C N 2 0 1 7 1 0 5 9 8 8 7 5.XP.2 0 1 7-1 2-0 1.15第5期孙健飞等:卷积神经网络在航测图像自动识别中的应用探讨3 韩正汀,路文,杨舒羽,等.基于导向滤波优化的自然图像去 雾 新 方 法 J.计 算 机 科 学 与 探 索,2 0 1 5,9(1 0):1 2 5 6-1 2 6 2.4 杨莹,张海仙.基于卷积神经网络的图像分类研究J.现代计算机(专业版),2 0 1 6(5):6 7-7 1.5 K R I Z HE V S KY A,S UT S K E V E R I,H I N TON G.I m a g e N e t c l a s s i f i c a t i o n w i t h d e e p c o n v o l u t i o n a ln e u r a ln e t w o r k sJ.A d v a n c e si nN e u r a l I n f o r m a t i o nP r o c e s s i n gS y s t e m s,2 0 1 2,2 5(2):1 1 0 6-1 1 1 4.6 F A N Z,B O D,Z HA N G L,e ta l.W e a k l ys u p e r v i s e dl e a r n i n gb a s e do nc o u p l e dc o n v o l u t i o n a ln e u r a ln e t w o r k sf o r a i r c r a f t d e t e c t i o nJ.I E E ET r a n s a c t i o n so nG e o s c i e n c ea n dR e m o t eS e n s i n g,2 0 1 6,5 4(9):5 5 5 3-5 5 6 3.7 S HAOZ,P AN Y,D I AOC,e ta l.C l o u dd e t e c t i o ni nr e m o t es e n s i n gi m a g e sb a s e do n m u l t i s c a l ef e a t u r e s-c o n v o l u t i o n a ln e u r a ln e t w o r kJ.I E E ET r a n s a c t i o n so nG e o s c i e n c e a n dR e m o t eS e n s i n g,2 0 1 9(9 9):1-1 5.8 WAN GCB,WANGX,Z HOUS,e ta l.M u l t i s c a l ev i s u a l a t t e n t i o nn e t w o r k s f o ro b j e c td e t e c t i o n i nVHRr e m o t es e n s i n g i m a g e sJ.I E E EG e o s c i e n c ea n dR e-m o t eS e n s i n gL e t t e r s,2 0 1 9,1 6(2):3 1 0-3 1 4.9 Z HAN GYL,YUANY,F E NGYC,e t a l.H i e r a r-c h i c a la n dr o b u s tc o n v o l u t i o n a ln e u r a ln e t w o r kf o rv e r yh i g h-r e s o l u t i o nr e m o t es e n s i n go b j e c td e t e c t i o nJ.I E E E T r a n s a c t i o n so n G e o s c i e n c ea n d R e m o t eS e n s i n g,2 0 1 9,5 7(8):5 5 3 5-5 5 4 8.1 0 YANGL,GONG YP,X I AOZF,e ta l.A c c u r a t eo b j e c t l o c a l i z a t i o ni nr e m o t es e n s i n gi m a g e sb a s e do nc o n v o l u t i o n a ln e u r a ln e t w o r k sJ.I E E ET r a n s a c t i o n so nG e o s c i e n c ea n dR e m o t eS e n s i n g,2 0 1 7,5 5(5):2 4 8 6-2 4 9 8.1 1 楚敏南.基于卷积神经网络的图像分类技术研究D.湘潭:湘潭大学,2 0 1 5.1 2 陈超,郝春晓.一种基于GMM和M e a n S h i f t的目标追踪算法J.现代测绘,2 0 2 0,4 3(1):4 0-4 3.1 3 胡雪松,王楠溢.基于O p e n C V的塔基国土视频监控面积获取新方法研究J.现代测绘,2 0 1 9,4 2(1):2 4-2 6.D i s c u s s i o no nt h eA p p l i c a t i o no fC o n v o l u t i o nN e u r a lN e t w o r ki nA u t o m a t i cR e c o g n i t i o no fA e r i a l S u r v e yI m a g eS U NJ i a n-f e i1,WA N GZ h a n-g a n g2,T A OE n-h a i3(1.T h eS i x t hG e o l o g i c a lB r i g a d eo f J i a n g s uG e o l o g y&M i n e r a lE x p l o r a t i o nB u r e a u,L i a n y u n g a n gJ i a n g s u2 2 2 0 2 3,C h i n a;2.G u a n y u nC o u n t ya n dU r b a nR u r a lP l a n n i n gS e r v i c eC e n t e r,L i a n y u n g a n gJ i a n g s u2 2 2 2 0 0,C h i n a;3.J i a n g s uJ i a n j i nI n f o r m a t i o nI n d u s t r yC o m p a n y,L i a n y u n g a n gJ i a n g s u2 2 2 3 0 0,C h i n a)A b s t r a c t A i m i n ga tt h eo b j e c tr e c o g n i t i o np r o b l e mo fUAVa e r i a ls u r v e yi m a g e,c o m b i n e dw i t ht h ee x i s t i n gd e v e l o p m e n tl a n g u a g ea n dm o d e l,t h e f e a s i b i l i t yo f a d d i n ga r t i f i c i a l i n t e l l i g e n c e r e c o g n i t i o n t e c h n o l o g y t o t h ep r o c e s so f a e r i a l s u r v e y i n t e r n a lb u s i n e s sa c q u i s i t i o nt or e a l i z ea u t o m a t i cr e c o g n i t i o na n dr e n d e r i n go fg r o u n do b j e c t sw a sd i s c u s s e d.F i r s t l y,t h ea r t i f i c i a li n t e l l i g e n c em o d e l o f c o m p u t e r i m a g er e c o g n i t i o n i nr e c e n ty e a r s i sa n a l y z e d,a n dc o m b i n e dw i t ht h e i n h e r e n t c h a r a c t e r i s t i c so fa e r i a l i m a g e,t h r o u g ht h es t u d yo fr e c o g n i t i o na n di n t e r a c t i o n w i t ht h ee x i s t i n gg r a p h i c ss o f t w a r e.S e c o n d l y,ag r o u po fa u t o m a t i cr e c o g n i t i o ne x p e r i m e n t so fa e r i a ls u r v e yi m a g e sb a s e do nc l a s s i c a lc o n v o l u t i o n a ln e u r a ln e t w o r k sa r ed e s i g n e d.T h er e s u l t ss h o wt h a t t h eVG G 1 6m o d e l c a ne f f e c t i v e l y i m p r o v et h er e c o g n i t i o na c c u r a c yo fa e r i a l i m a g e sw i t hh i g hr e s o l u t i o na n dc o m p l e xb a c k g r o u n d,w h i l et h er e c o g n i t i o na c c u r a c yo fs m a l lt a r g e t ss u c ha ss t r e e tl i g h t si sl o w.I nt h i sp a p e r,t h r e ei m p r o v e m e n tm e a s u r e so f i n p u t i m a g er e f i n e m e n tp r e p r o c e s s i n g,o r i g i n a ld a t as e td a t ae n h a n c e m e n ta n dm u l t i p l ei t e r a t i o n s,a n dt h em a s h-u pm o d e lw i t hd o u b l e l o s s f u n c t i o na r eg i v e n.T h ed i r e c t i o n i sd e t e r m i n e df o r t h e f o l l o w-u pf u r t h e r r e s e a r c h.K e yw o r d s c o n v o l u t i o n a l n e u r a l n e t w o r k;VG GN e tm o d e l;a e r i a l s u r v e y;o f f i c ed a t ac a p t u r i n g;t a r g e td e t e c t i o n25现 代 测 绘 第4 6卷