航拍图像道路数据集制备迭代最近边缘算法_杨东方.pdf

第5 2卷 第1期测 绘 学 报V o l.5 2,N o.1 2 0 2 3年1月A c t aG e o d a e t i c ae tC a r t o g r a p h i c aS i n i c aJ a n u a r y,2 0 2 3引文格式:杨东方,赵家玮,李永飞,等.航拍图像道路数据集制备迭代最近边缘算法J.测绘学报,2 0 2 3,5 2(1):8 2-9 2.D O I:1 0.1 1 9 4 7/j.AG C S.2 0 2 3.2 0 2 1 0 3 3 1.YANGD o n g f a n g,Z HAOJ i a w e i,L IY o n g f e i,e ta l.I t e r a t i v en e a r e s te d g ea l g o r i t h mf o ra e r i a l i m a g er o a dd a t a s e tp r e p a r a t i o nJ.A c t aG e o d a e t i c ae tC a r t o g r a p h i c aS i n i c a,2 0 2 3,5 2(1):8 2-9 2.D O I:1 0.1 1 9 4 7/j.AG C S.2 0 2 3.2 0 2 1 0 3 3 1.航拍图像道路数据集制备迭代最近边缘算法杨东方1,赵家玮2,李永飞1,肖 鹏2,杨晶岚21.火箭军工程大学导弹工程学院,陕西 西安7 1 0 0 2 5;2.火箭军工程大学研究生院,陕西 西安7 1 0 0 2 5I t e r a t i v en e a r e s te d g ea l g o r i t h mf o ra e r i a l i m a g e r o a dd a t a s e tp r e p a r a t i o nY A N GD o n g f a n g1,Z H A OJ i a w e i2,L IY o n g f e i1,X I A OP e n g2,Y A N GJ i n g l a n2I t e r a t i v en e a r e s te d g ea l g o r i t h mf o ra e r i a l i m a g e r o a dd a t a s e tp r e p a r a t i o nY A N GD o n g f a n g1,Z H A OJ i a w e i2,L IY o n g f e i1,X I A OP e n g2,Y A N GJ i n g l a n21.C o l l e g eo fM i s s i l eE n g i n e e r i n g,T h eR o c k e tF o r c eU n i v e r s i t yo fE n g i n e e r i n g,X i a n7 1 0 0 2 5,C h i n a;2.G r a d u a t eS c h o o l,T h eR o c k e tF o r c eU n i v e r s i t yo fE n g i n e e r i n g,X i a n7 1 0 0 2 5,C h i n aA b s t r a c tA b s t r a c t:T h eq u a l i t ya n de f f i c i e n c yo fd a t a s e tp r e p a r a t i o na r ec o m m o nb a s i c i s s u e s t h a ta r ec o n c e r n e di n t h e f i e l do f r e m o t es e n s i n gi m a g ei n t e l l i g e n tp r o c e s s i n g.A i m i n ga t t h ed i f f i c u l t yo fp r e p a r i n gt h er o a de x t r a c t i o nd a t a s e t f o ra e r i a l i m a g e,t h i sp a p e rp r o p o s e sa n i t e r a t i v ea l g o r i t h mf o r t h eo p t i m i z a t i o no f t h en e a r e s te d g e f e a t u r e t op r e p a r e t h e r o a de x t r a c t i o nd a t a s e t f o r a e r i a l i m a g e.T h ea l g o r i t h mf i r s t e s t a b l i s h e st h eh o m o g r a p h yt r a n s f o r m a t i o nr e l a t i o n s h i pb e t w e e na e r i a li m a g ea n ds a t e l l i t ei m a g et h r o u g hm a n u a la s s i s t a n c e,a n dp r o j e c t s t h es a t e l l i t e i m a g eo n t o t h ea e r i a l i m a g e t o r e a l i z e t h ec o a r s e r e g i s t r a t i o no f t h es a t e l l i t e i m a g e t o t h ea e r i a l i m a g eb a s e do nt h ef o u r-p o i n tm e t h o d.T h e n,t h ee d g ed e t e c t i o no p e r a t o r i su s e dt oe x t r a c t t h ee d g e f e a t u r e so f t h e i m a g ea f t e r t h e r o u g h r e g i s t r a t i o n.F i n a l l y,t h ep r e c i s e r e g i s t r a t i o no f t h ei m a g ei sc o m p l e t e db yt h ei t e r a t i v en e a r e s te d g eo p t i m i z a t i o na l g o r i t h m,w h i c hi m p r o v e st h ep r e p a r a t i o na c c u r a c yo f t h e r o a dd a t a s e to f t h ea e r i a l i m a g e.A t t h ee n do f t h et h e s i s,ar o a de x t r a c t i o nd a t a s e tp r e p a r a t i o ne x p e r i m e n ti sc a r r i e do u t,w h i c hp r o v e st h a tt h er o a dd a t a s e tp r e p a r a t i o nm e t h o dp r o p o s e d i n t h i sp a p e rc a ns i g n i f i c a n t l y i m p r o v et h ee f f i c i e n c yo f r o a dd a t a s e tp r e p a r a t i o nw h i l em e e t i n gt h ea c c u r a c y r e q u i r e m e n t so f t h ed a t a s e t.K e yw o r d sK e yw o r d s:r o a dd a t a s e t;a e r i a l i m a g e;N-p o i n tm e t h o d;h o m o g r a p h y;i t e r a t i v ec l o s e s te d g ea l g o r i t h mF o u n d a t i o ns u p p o r tF o u n d a t i o ns u p p o r t:T h eN a t i o n a l N a t u r a l S c i e n c eF o u n d a t i o no f C h i n a(N o.6 1 6 7 3 0 1 7);T h eG e n e r a l P r o j e c to f S h a a n x iN a t u r eS c i e n c eF o u n d a t i o n(N o s.2 0 2 1 J Q-7 0 2;2 0 1 9 J M-4 3 4)摘 要:数据集制备的质量和效率是遥感图像智能处理领域所关注的共性基础问题。针对航拍图像的道路提取数据集制备困难的问题,本文提出了一种迭代最近边缘特征优化算法的航拍图像道路提取数据集制备算法。该算法首先通过人工辅助,建立航拍图像和卫星图像的单应变换关系,将卫星图像投影到航拍图像上,实现基于四点法的卫星图像到航拍图像的粗配准;然后采用边缘检测算子提取粗配准后图像的边缘特征;最后利用基于迭代最近边缘优化算法完成图像的精配准,提高航拍图像的道路数据集制备精度。通过道路提取数据集制备试验,证明了本文所提出的道路数据集制备方法在满足数据集精度要求的同时,能够显著提高道路数据集制备的效率。关键词:道路数据集;航拍图像;N点法;单应性变换;迭代最近边缘算法中图分类号:P 2 3 7 文献标识码:A 文章编号:1 0 0 1-1 5 9 5(2 0 2 3)0 1-0 0 8 2-1 1基金项目:国家自然科学基金(6 1 6 7 3 0 1 7);陕西省自然科学基金(2 0 2 1 J Q-7 0 2;2 0 1 9 J M-4 3 4)道路是一种重要的地物特征,在地理信息测绘、抗灾减灾、事故救援、认知导航、区域监视等军事和民用领域扮演着重要的角色。如何利用无人机等空基平台,对所采集航拍图像中的地表道路进行快速、智能提取,是上述领域所关注的关键共性问题。当前对航拍图像进行道路提取主要采用人工第1期杨东方,等:航拍图像道路数据集制备迭代最近边缘算法辅助的方式,以测绘领域为例,对航拍图像进行道路、建筑等地理信息的提取,需要大量人力辅助,烦琐低效1-2。近年来,随着机器学习方法和计算机视觉领域的研究发展,以深度学习图像处理技术为代表的遥感图像道路提取技术得到越来越多的关注3。相比于现有的道路提取方法,利用深度学习的方法来提取图像中的道路信息能够极大提升道路等地物信息的提取效率,但是深度学习是一种数据驱动技术,其泛化性能受到训练数据多样性的制约,所以训练数据集的制作是利用深度学习的方法来实现道路提取的重要环节4-7。相比于道路提取网络和算法的研究工作层出不穷,研究人员往往忽视了对道路数据集制备问题的研究。事实上,随着高分辨率航拍图像的大量投入使用,如何准确、快速地制备道路数据集是制约道路智能提取技术发展的一个共性问题。从当前已有的道路数据集制备方法研究成果来看,现有道路数据集制备方法主要存在以下两个问题:图像 分 割 的 道 路 数 据 集 制 备 成 本 高,时 间长8-9。传统的道路数据集制备方法,通常要借助标注工具对原始图像做人工标注来获取标签数据。人工标注工作量大,对原始图像需要进行点、线、面等操作,过程复杂,制备时间过长。航拍图像道路分割数据分布单一导致道路提取技术泛化能力不足1 0。传统的解决方法是对原有的数据进行数据集增广,包括形状、尺寸变化、旋转、伸缩、颜色通道抖动等,这种增广方式难以提升遥感数据本身的特征空间分布,无法有效提升道路提取技术的泛化能力。针对上述存在的问题,本文提出了一种边缘特征辅助的航拍图像道路数据集自动制备方法。该方法利用地理信息系统中已有的卫星影像数据和道路图层数据,再根据实际航拍的图像,制作与航拍图像序列对应的道路分割数据集。该方法相比于传统的道路数据集制备方法,能够大大节省人工标注所花费的时间和资源,为航拍图像道路数据集的快速制备提供了一种思路。1 基于迭代最近边缘算法的航拍图像道路数据集制备方法 迭代最近边缘特征优化的航拍图像道路数据集制备方法包括两个步骤:基于人工特征点匹配的航拍图像粗配准;基于边缘特征对齐的航拍图像精确配准。其中,基于人工特征点匹配的航拍 图 像 粗 配 准 算 法 采 用 单 应 性 变 换 的 原理1 1-1 3,首先寻找N对(N4)航拍图像和卫星图像的对应点,通过N对特征点在航拍图和卫星图中的像素坐标,对卫星图像与航拍图像进行粗配准计算;在此基础上,为了进一步提高航拍图像和卫星图像的配准精度,本文提出边缘特征对齐的航拍图像配准优化算法,利用航拍图像和粗配准后的卫星图像的边缘特征,采用I C E算法对其进行配准优化,从而实现航拍图像和卫星图层的精确匹配。由于卫星图层和道路网络图层(例如高德地图、O p e n s t r e e tm a p等)具有一一对应关系,可以得到和航拍图像所对应的道路网络分布数据,完成航拍图像道路分割数据集的制备。该方法的基本流程如图1所示。图1 航拍图像道路数据集制作F i g.1 A e r i a l i m a g er o a dd a t a s e tp r o d u c t i o n38J a n u a r y2 0 2 3V o l.5 2N o.1A G C Sh t t p:x b.c h i n a s m p.c o m 由图1可知,经过粗配准单应变换后得到的卫星图投影结果和实际航拍图之间存在明显误差,无法将其作为航拍图像道路的标注结果。为此,本文在粗配准基础上,引入边缘特征,并提出了迭代最近边缘算法,对粗配准单应变换矩阵H进行优化,以得到更加准确可靠的航拍图像道路数据集制作结果。1.1 基于人工特征点匹配的航拍图像粗配准算法 本文提出的边缘特征辅助的航拍图像道路数据集制备方法分为粗配准和精配准两个步骤,本节首先对粗配准算法进行介绍。粗配准过程实际上是人工特征点辅助的航拍R G B图像和卫星R G B图像粗对齐的过程,该过程是在人工辅助下,在航拍图像R G B图像和飞行区域卫星R G B图像中找到相同的N对点,一般N4即可。利用这N对点分别在航拍图像和卫星图像中的像素坐标,可以描述航拍图像和卫星图像之间的单应变换关系,在齐次坐标下,它们之间的单应性变换关系表达式为xa iya i1=kh1h2h3h4h5h6h7h8h9xs iys i1(1)式中,(xa i,ya i)是航拍图像上的点;(xs i,ys i)是卫星图像上的点;k表示单应变换过程中存在的尺度缩放比例。此时,H矩阵表示单位单应变换矩阵,其行列式为1,h1h9表示H矩阵的9个元素。将式(1)展开,可以得到xa i=k(h1xs i+h2ys i+h3)ya i=k(h4xs i+h5ys i+h6)1=k(h7xs i+h8ys i+h9)(2)对式(2)进行化简,可以得到h7xs ixa i+h8ys ixa i+h9xa i-h1xs i-h2ys i-h3=0h7xs iya i+h8ys iya i+h9ya i-h4xs i-h5ys i-h6=0(3)将式(3)写成矩阵的形式Aih=0(i是航拍图像和卫星图像对应点的序号,i=1,2,N),其中Ai=-xs i-ys i-1000 xs ixa iys ixa ixa i000-xs i-ys i-1xs iya iys iya iya ih=h1 h2 h3 h4 h5 h6 h7 h8 h9(4)式中,单应变换矩阵有9个未知数,加上约束条件H=1,H矩阵则变成了8个自由度,因此,至少需要4组相对应的点,就可以算出H矩阵。把n组点对代入Aih=0,可以得到n个方程组成的方程组-xs1-ys1-1000 xs1xa1ys1xa1xa1000-xs1-ys1-1xs1ya1ys1ya1ya1-xs n-ys n-1000 xs nxa nys nxa nxa n000-xs n-ys n-1xs nya nys nya nya nh1h2h3h4h5h6h7h8h9=0000(5)对于上述方程组A h=0,加上H矩阵的行列式约束,可以构建一个有约束的优化问题J=m i nA hs.t.H=1(6)为了求解上述含约束优化问题,首先对矩阵A进行S V D分解,A的大小是2i9,i代表点对,可得A=U VT(7)式中,U为2i2i的方阵,U中的正交向量被称为左奇异向量;为2i9的矩阵,除了对角线其他元素都为0,对角线上的元素称为奇异值,按从大到小的顺序排列;VT为V的转置矩阵,是一个99的矩阵。U和V都是酉矩阵,由正交矩阵的保范性可得J=m i nA h=m i nU VTh=m i n VTh(8)VTh=h(9)令48第1期杨东方,等:航拍图像道路数据集制备迭代最近边缘算法y=VTh(1 0)则式(6)所描述的含约束优化问题可以转化为如下新的有约束的优化问题J=m i n ys.t.y=1(1 1)当y=001T时,满足约束条件y=1,而且由于是奇异值组成的对角矩阵,按照从大到小排列,因此取y=001T可以使得 y最小,即y=001T是最优解。由于V是酉矩阵,由式(1 1)可知h=V y(1 2)即h的值是矩阵中最小的奇异值对应的V矩阵中的特征向量,即V矩阵的最后一列,式(6)中的最优单应矩阵得解。利用上述求解得到的H单应变换矩阵,可以把卫星图像投影到航拍图像上,得到与航拍图像对应区域的卫星影像映射结果,即实现航拍图像和卫星图像的粗配准。1.2 基于迭代最近边缘算法的航拍图像配准优化算法 由于人工选点不可避免会存在操作误差,导致卫星图映射结果和航拍图实际区域存在较大偏差,无法直接作为标注数据集。对此,本文在粗配准基础上,提出利用边缘特征等图像稳健描述进行优化,提高配准精度。该方法在粗配准变换矩阵计算结果的基础上,实现航拍图像和卫星图像的边缘特征对齐,进而实现两种模态图像的精确配准。由于优化对齐过程中利用了边缘特征迭代优化计算的方法,使得卫星图和航拍图中相同位置的边缘距离最近,因此,本文将该方法称为迭代最近边缘算法。1.2.1 算法流程在完成了上述粗配准过程得到单应变换矩阵H后,得到的航拍图像和卫星图像之间存在细微的差异,此时需要对航拍图像和卫星图像进行精确配准。由于边缘是遥感图像中显著而稳健的特征,因此本文选用C a n n y算子对航拍图像和粗配准后的卫星图像进行边缘提取1 4。然后利用其边缘图像提取的边缘集合,在I C P优化算法框架下实现边缘点集的匹配,完成单应性变换矩阵的优化计算。相应的优化变换矩阵记为H1,则精配准变换矩阵可以表示为H=HH1,算法流程如图2所示。由图2可知,该算法主要包括以下5个步骤:(1)将航拍图像和粗配准后的卫星图像转换为灰度图像,并进行平滑处理。图2 航拍图像配准优化流程F i g.2 A e r i a l i m a g er e g i s t r a t i o no p t i m i z a t i o np r o c e s s(2)利用C a n n y算法对平滑后的灰度图像进行边缘检测,获得边缘图像。(3)对边缘图像进行形态学处理,即进行连通性测试,搜索所有的连通点,如果连通点数量过少,消除所有连通点,以滤掉小的边缘片段。(4)从形态学处理后的边缘图像中提取边缘点集。(5)利用I C E优化算法实现边缘点集的匹配,计算优化后的精配准结果H。得到精配准变换矩阵H后,对G I S中的道路分布图进行变换,可以直接得到和航拍图对应的道路分割标注结果。1.2.2 基于迭代最近边缘的配准优化算法现有的迭代最近邻算法常用于三维点集间的匹配,本文将I C P算法用于图像边缘特征点集间的匹配,用于找到目标点集与源点集之间的优化变换矩阵H1,使得两匹配数据之间满足某种度量准则下的最优匹配。假设从航拍图像的边缘图像中提取的点集为目标点集,记为A,它的坐标为aki|akiR2,i=1,2,NA,从粗配准后的卫星图像的边缘图像中获得的点集为源点集,记为B,它的坐标为bi|biR2,i=1,2,NB,在第k次迭代中计算与点集A的坐标相对应的对应点集Bk坐标为bki|bkiR2,i=1,2,NB,58J a n u a r y2 0 2 3V o l.5 2N o.1A G C Sh t t p:x b.c h i n a s m p.c o m计算A与Bk之间的单应变换矩阵并对原变换进行更新,直到数据间的平均距离小于给定的阈值1 5-1 8。点集配准的具体步骤如下:(1)在目标点集A中取点集akiA;(2)采用k d-t r e e的方法,对目标点集A建立索引,实现快速的最近点的搜索,计算源点集B中的对应点bkiBk,使得bki-aki=m i n,获取每个点最近的匹配点;(3)计算第k次迭代中的单应变换矩阵Hk,使得目标函数niaki-Hkbki=m i n。求解Hk的最优化解析方法和步骤(2)所介绍的方法一样;(4)使用上一步求得的单应变换矩阵Hk,得到新的源点集Bk+1,Bk+1=bk+1i|bk+1i=Hkbki;(5)计算新的源点集和目标点集之间的平均距离dk+1dk+1=1nniaki-bk+1i2(1 3)(6)如果dk+1不小于给定的阈值,返回步骤(2),利用目标点集A和新的源点集Bk+1再次运算,直到dk+1或迭代次数k大于预设的最大迭代次数为止。此时的Hk就是优化变换矩阵H1。为了使点集之间的配准更加精确,本文结合边缘特征分布的特点,对迭代最近邻算法做了如下处理:(1)为了保证单应性变换的准确性,采用去除两点间距离大于给定阈值的点对的策略,去除伪点(伪点对是指实际上并不存在对应关系的点对);(2)不使用平均距离作为度量准则,而利用平均距离变化率的波动次数作为度量准则;(3)因为单应性变换是自由地,为了防止源点集因单应性变换后发生畸变,利用正方形经过优化变换矩阵H1变换后的形状的相邻两边夹角小于某一阈值来保证单应性变换的合理性。需要的精配准变换矩阵为H=HH1,利用单应性变换,把道路网络图层投影到航拍图像上,便可以得到和航拍图像同样大小的道路图像映射结果,即获得与航拍图像匹配的道路标签图像。按照此方法,制作航拍图像序列一一对应的道路标签图像序列,实现航拍图像道路数据集制备。2 试验验证2.1 试验数据针对实际应用中存在的航拍图像数据集智能制备问题,现有方法以人工标注为主,为此本文在试验部分从数据集标注精度和标注耗时来和现有方法进行对比。本文的验证试验选用了西安不同地区的高德卫星图像数据和国产高分卫星图像数据及它们所对应的道路网络图层数据。航拍图像数据一共1 44 3 3张,每张图像大小为1 9 2 01 0 8 0像素,分辨率约为1m,数据示例如图3所示。高德卫星图像数据和高德道路网络图层数据,图像大小都为6 6 9 13 2 8 3像素,分辨率约为1m,如图4(a)、(b)所示。国产高分卫星图像数据和对应道路 网 络 图 层 数 据 图 像 大 小 都 为2 42 9 21 38 6 6像素,分辨率约为0.5m,如图5(a)、(b)所示。图3 航拍图像数据F i g.3 A e r i a l i m a g ed a t a图4 高德卫星图像数据和高德道路网络图层数据F i g.4 G a o d es a t e l l i t e i m a g ed a t aa n dG a o d er o a dn e t w o r kl a y e rd a t a68第1期杨东方,等:航拍图像道路数据集制备迭代最近边缘算法图5 高分卫星图像数据和高分道路网络图层数据F i g.5 H i g h-r e s o l u t i o ns a t e l l i t e i m a g ed a t aa n dh i g h-r e s o l u t i o nr o a dn e t w o r kl a y e rd a t a2.2 试验结果和分析在粗配准阶段,通过人工选取4对以上特征点计算粗配准单应变换矩阵。需要说明的是,为保证单应变换矩阵计算的唯一性,标注选取的3个点不能共线,如图6所示。图6 航拍图像和卫星图像标注示例F i g.6 E x a m p l e so f a e r i a l i m a g ea n ds a t e l l i t e i m a g ea n n o t a t i o n 在粗配准基础上,按照本文提出的优化配准方法,针 对 待 标 注 的 航 拍 图 像,利 用 卫 星 图 像(图4(a)、图5(a)及其对应的道路网络图层数据(图4(b)、图5(b)获取与航拍图像匹配的道路标签图像,自动标注结果如图7所示。图7 航拍图像道路自动标注结果F i g.7 A u t o m a t i cr o a dm a r k i n gr e s u l t so f a e r i a l i m a g e s78J a n u a r y2 0 2 3V o l.5 2N o.1A G C Sh t t p:x b.c h i n a s m p.c o m 图7中第1行是待标注的航拍图像,第2行是经过I C E算法精配准变换后的卫星图像,第3行是利用该精配准变换矩阵H配准后的道路标注图像。为了验证本文所述方法对于不同质量卫星影像的有效性,此处选择了谷歌地图、高德地图等公开卫星影像数据,以及我国国产高分卫星得到的非公开影像数据进行对比。图7(a)、(b)是谷歌地球数据集所公开的卫星图像,图7(c)、(d)是国产高分卫星图像。可以看出,选择不同的卫星影像作为基准数据,都可以实现航拍图像道路标注数据集的制备。图7的第1行和第3行便构成了成对的航拍图像序列和道路标签图像序列,即航拍图像的道路提取数据集。上述试验表明了本文方法能够满足不同应用场合下,不同航拍图像、不同分辨率及不同来源的卫星图像道路数据集制作需求。2.2.1 道路标注数据的一致性分析在理想情况下,道路网络图层数据准确与卫星图吻合度高,此时可以直接采用本文前述方法进行航拍图像道路数据集的智能制备。然而,受到地表道路由于施工或者错误标注等因素的影响,某些标签图像中会存在明显的道路缺失问题,如图7(a)所示。如果直接用错误标注的数据对道路提取网络进行训练,可能会对道路提取网络训练结果引入较大的误差。事实上,对于所有强监督深度学习任务而言,标注数据的不一致性是深度学习任务面临的共性问题,对于该问题,通常采用标注自选择技术进行处理,利用新标注样本和已有训练结果之间的一致性判断标注数据的可靠性。类似地,本文面向实际应用环境,假设道路在一定时间窗口范围内的变化较小,提出一种数据集和道路提取结果交叉验证的方法,对数据集制备结果进行校正,具体步骤如下:(1)用 现 有 的 道 路 提 取 数 据 集(如M a s s a c h u s e t t s、D e e p g l o b e等数据集)训练道路提取网络,如UN e t、E N e t等1 9-2 2,得到航拍图像道路提取网络,假设该网络为网络A。(2)用网络A对本文自动制备方法得到的道路数据集进行验证,即用网络A对数据集中的可见光航拍图像进行推理,得到对应的道路推理结果,如图8(a)所示。(3)将该网络推理结果与自动制备方法得到的道路标注结果(图8(b)进行对比,对二者的一致性进行判断,如果二者的一致性指标超过阈值,就认为该组标注数据有效,保留该标注数据;否则,认为 该 标 注 数 据 误 差 较 大,舍 弃 该 组 标 注数据。(4)用更新的道路标注数据集对网络A进行微调训练,得到新的航拍图像道路提取网络,利用更新后的道路提取网络,对新的标注数据进行一致性检验,重复步骤(2)和步骤(3)。通过上述方法,最终可以得到校正后的航拍图像道路提取数据集及对应的道路提取网络训练结果。图8 航拍图像道路预测结果和自动制备结果对比示例F i g.8 C o m p a r i s o ne x a m p l eo f r o a dp r e d i c t i o nr e s u l t sa n da u t o m a t i cp r e p a r a t i o nr e s u l t s f r o ma e r i a l i m a g e s2.2.2 数据集制备的有效性分析为了实际评估本文制备道路数据集方法的性能,选用图像标注工具l a b e l m e来制作航拍图像的道路标签图像2 3,将其与本文方法制作的道路标签图像进行对比分析,从制备时间和道路标签数据的精度两个方面评估本文方法的性能。其次,通过对比粗配准和精配准的航拍图像道路数据集精度,考察配准优化算法的有效性。(1)制 备 方 法 效 率。首 先 利 用 标 注 工 具l a b e l m e制作图7中航拍图像的道路标签图像,即:列标注完成时间为7m i n5 s;列标注完成时间为3 1m i n1 4s;列标注完成时间为1 4m i n88第1期杨东方,等:航拍图像道路数据集制备迭代最近边缘算法2 0 s;列标注完成时间为2 0m i n3 2s,标注结果如图9所示。标注过程中发现,道路信息越复杂越难标注,而且花费时间更长。然后选用本文的方法制作图7中航拍图像的道路标签图像,4幅图的标注完成时间均约为2 0 s,不受道路稠密程度的限制,标注结果如图7中第3行所示。本文方法标注过程简单,只需人工选取4对特征点,花费时间更少。通过比较两种方法所花费的时间,发现利用本文方法制作道路标签图像效率更高。图9 l a b e l m e工具标注结果F i g.9 L a b e l i n gr e s u l t s f r o ml a b e l m e t o o l(2)道路数据集制备精度指标说明。为验证道路制备精度的可靠性,选取精确率(P r e c i s i o n)、召回率(R e c a l l)及F1s c o r e作为评价指标2 4-2 8。其中精确率表示预测是正确的正样本占所有预测为正样本的概率,召回率表示预测是正确的正样本占所有真正为正样本的概率,F1s c o r e是精确率和召回率的调和平均,公式定义如下P r e c i s i o n=T PT P+F P(1 4)R e c a l l=T PT P+F N(1 5)F1s c o r e=2P r e c i s i o nR e c a l lP r e c i s i o n+R e c a l l(1 6)式中,T P表示预测为正确的正样本;F P表示预测为错误 的 正 样 本;F N表 示 预 测 为 错 误 的 负样本。传统的道路数据集制作方法,通常以标注工具对原始图像做人工标注来获取标签数据,因此本文以标注工具制作的道路标签图像为真实道路图像,将评价问题看成道路区域的像素归类问题,考察利用本文方法制作的道路标签图像的精度,以此来衡量道路数据集制备的精度。由于真实道路图像中道路的形状、宽度受人为标注的影响,因此选择松弛化的评价方式。试验中,把属于道路区域的像素归类为正样本,而非道路像素归类为负样本,T P表示正确分类的道路像素的数目,F P代表错误分类的道路像素数目,F N代表错误分类的非道路像素数目,精确率表示在真实道路像素的像素范围内的预测为道路像素的比例,召回率表示在预测道路像素附近像素范围内的真实道路像素的比例2 6。路网自动标注结果示例如图1 0所示,其中,粗配准的路网标注结果是利用粗配准单应性变换矩阵H,将道路网络图层数据投影到航拍图像上得到的;精配准的路网标注结果是在粗配准的基础上,采用本文所提出的迭代最近边缘算法对H进行优化,然后将路网图层数据投影到航拍图像上得到的。图1 0 道路标注数据集自动制备方法和人工标注方法结果对比F i g.1 0 C o m p a r i s o no f r e s u l t sb e t w e e na u t o m a t i cp r e p a r a t i o nm e t h o da n dm a n u a l a n n o t a t i o nm e t h o do f r o a dm a r k i n gd a t a s e t 如图1 0所示,粗配准的路网标注数据存在明显的道路方向偏差,为此需要利用精配准进行自动校正。为了对粗配准标注结果和精配准标注结果进行量化分析,证明精配准的必要性,本节以手工标注结果作为真值,对粗配准和精配准自动标注结果的精度进行了量化统计,结果分别见表1和表2。由上述试验结果可以看出,配准优化算法有效提高了道路数据集制备的精度,而且采用本文提出的道路数据集自动制备方法,自动得到的标注结果可以保持和人工标注相当的精度。与此同时,本文提出的自动制备方法可以提高数据集制98J a n u a r y2 0 2 3V o l.5 2N o.1A G C Sh t t p:x b.c h i n a s m p.c o m作效率,相比传统人工标注制作道路数据集的方法时间上花费更少,大大提高了制备道路数据集的效率,为遥感图像智能处理技术的算法研究提供了数据支撑。表1 粗配准航拍图像道路数据集精度评价指标T a b.1 A c c u r a c ye v a l u a t i o ni n d e xo fc o a r s er e g i s t r a t i o no fa e r i a l i m a g er o a dd a t a s e t(%)航拍图像P r e c i s i o nR e c a l lF1s c o r e17 9.0 28 1.7 48 0.3 627 3.5 27 4.3 27 3.9 236 6.4 66 5.6 36 6.0 444 0.1 03 5.5 43 8.0 7表2 精配准航拍图像道路数据集精度评价指标T a b.2 A c c u r a c ye v a l u a t i o ni n d e xo fp r e c i s er e g i s t r a t i o no fa e r i a l i m a g er o a dd a t a s e t(%)航拍图像P r e c i s i o nR e c a l lF1s c o r e19 6.6 09 2.8 09 4.7 029 9.7 99 9.9 49 9.8 739 3.6 79 7.4 39 5.5 149 8.9 59 5.9 59 7.4 32.2.3 数据集制备的可靠性分析为了验证本文道路数据制备的可靠性,将本文方法与公开的道路提取数据集进行对比。首先,从马萨诸塞州道路数据集中随机选择了2 0张图像,利用本文的方法制作对应的道路标签;然后,安排5名人员对该道路标签和原始的道路标签质量进行打分,分数区间为01 0分,分数越高表明标签的完整性越好;最后,用平均值作为标注得分,统计结果 见 表3,标 注 结 果 展 示 如 图1 1所示。表3 马萨诸塞州道路标签与本文方法制作标签结果对比T a b.3 C o m p a r i s o n