无控制点数据的无人机影像快速处理.pdf

第 12卷 第 2期2010年 4月地 球 信 息 科 学 学 报JOURNAL OF GEO?INFORMATI ON SCI ENCEVol?12,No?2Apr?,2010收稿日期:2009-10-30;修回日期:2010-03-15.基金项目:国家科技支撑计划课题(2006BAJ05A01);国家自然科学基金项目(40701114);高等学校博士学科点专项科研基金项目(20070027017);北京市自然科学基金项目(8082015)。作者简介:宫阿都(1976-),男,山东威海人,博士,讲师,主要研究方向为资源环境遥感。E?mai:lgad ires?cn*通讯作者:何孝莹(1981-),女,安徽广德人,博士。主要研究方向为遥感信息提取。E?mai:lhexiaoying ires?cn?来自北京天富勤科技有限公司,无人机在低空遥感中的应用报告(2009)。无控制点数据的无人机影像快速处理宫阿都1,3,何孝莹2*,雷添杰2,李?京1,3(1?民政部/教育部减灾与应急管理研究院(北京师范大学),北京?100875;2?北京师范大学资源学院,北京 100875;3?北京师范大学环境演变与自然灾害教育部重点实验室,北京?100875)摘要:本文以四川地震灾区作为典型研究区,尝试在无其他控制点数据时,仅利用小型无人机影像和无人机系统自身记录的辅助数据,进行无人机影像的快速匹配、拼接和纠正处理。首先,对小型无人机获取的影像数据和辅助数据进行了详细分析,然后,将小区域原始影像利用影像匹配算法进行自动拼接,拼接后的分块区域再根据辅助数据进行纠正处理。SIFT算法被运用到无人机影像的匹配中,达到了较好的速度和精度;分块拼接后的成果利用辅助数据的伪中心点进行纠正,相对精度较高,镶嵌结果无视觉错位。最后,将纠正结果和 GoogleEarth影像数据叠加进行精度检查,主要标志性地物重叠良好。关键词:无人机;影像;控制点;快速拼接;纠正1?引言无人机(UAV)遥感监测是一种新的遥感手段,具有快速、灵活、低成本、高影像分辨率等特点 1。它适于人力无法进入的危险区域作业,以及各类灾害的应急监测和灾区重建等工作。但无人机低空遥感系统的影像受飞行质量影响,暂时还难以达到传统的空中三角测量要求的水平,因此,无人机影像处理不能完全采用传统的航空摄影流程。到目前为止,国内还没有一套成熟的无人机影像处理体系,相应的处理软件也很少见 2。现阶段无人机影像处理的基本流程,总的来说可分为两类。一是对已有影像配准后再几何纠正处理,这是目前大多数从事无人机作业的公司所采用的方法,如北京天富勤公司采用的无人机影像处理工作流程?;二是针对无人机影像特点参照传统的摄影测量流程进行的处理,这样处理的结果精度比较高,但同时对原始数据的要求也较高,需要有高精度的姿态参数和控制点数据,如中国测绘科学研究院崔红霞、王聪华等人自主研究的算法和开发的处理软件 3-4。本次试验采用小型无人机,成本低,运输方便,但由于受自身载荷的限制,飞行受气流影响大,姿态较不稳定,且无姿态角记录数据。试验地区处于震后灾区,没有高精度控制点数据,因此,在后期的处理中参照第一类思想进行影像拼接和纠正,在影像拼接时引进局部不变特征的影像匹配方法,提出适合试验影像特点的分块拼接方案,并充分利用已有的数据获取具有地理坐标的飞行整体影像图。2?震区无人机影像数据获取与分析本次试验于 2009年 5月 59日在四川省绵竹市汉旺镇进行,汉旺镇位于四川盆地东北部,地貌特征为山地和丘陵。中亚热带湿润气候区,云量多,湿度大。当天天气晴转多云,风力小于三级。无人机沿河谷一侧飞行,飞行区域地势较为平坦,平均高程为 660m。设计航飞区域总面积为 35km2。2?1?无人机姿态参数与影像数据(1)无人机平台与遥感性能指标航飞时的飞行区域如图 1所示,采用的小型图 1?四川省绵竹市汉旺镇飞行区域设计图F ig?1?P lan of the flying area inHanwang To wnship无人机及传感器的主要参数见表 1和表 2?。?来自北京浩天翼航空科技有限公司,?远见?型无人机遥感系统说明书(2009)。表 1?无人机遥感平台主要性能指标Tab?1?M ain perfor m ance indexes of the UAVre mote sensing platform项 目参 数机长1?2m飞行相对高度400 1000m最大起飞重量4?5 kg巡航速度70 110km/h续航时间60分钟控制方式遥控、程序自主控制导航方式GPS导航任务传感器设备数码照相机表 2?无人机遥感传感器主要性能指标Tab?2?M ain perfor m ance indexes of the UAV re m otesensing sensor项 目参 数图像传感器理光 digital?最大有效像元1000万镜头焦距等同于 35mm相机的 28mmCCD尺寸1/1?75inch文件大小3648?2736记录图像格式JPEG(2)无人机影像此次试验影像的旁向重叠设计为 30%,航向重叠设计为 80%,飞行高度设计为 880m。飞行两个架次,共获取 3456张大小为 3兆左右的影像,每张影像对应一组辅助数据。无人机自动记录的辅助数据格式如表 3所示,共有六类数据,分别为编号(对应每张影像)、经纬度(机载 GPS记录的位置坐标)、速度、高度和方向角。表 3?无人机遥感系统记录的辅助数据Tab?3?Auxiliary data recorded by the UAV re motesensing syte m编号纬度经度速度(m/s)高度(m)方向角(?)000131?27?235?104?10?535?V000H0682C140000231?27?235?104?10?534?V000H0682C140000331?26?984?104?10?183?V044H0874C143000431?26?965?104?10?202?V043H0872C141000531?26?946?104?10?220?V041H0871C142?345531?27?031?104?10?496?V051H0887C179345631?27?002?104?10?497?V050H0888C1782?2?无人机数据分析无人机影像数据特点:(1)影像像幅小,数量多航摄采用非量测型的普通数码相机,像幅较小;同时为了获取较高的空间分辨率,航飞高度较低,这样每幅影像的覆盖范围很小。参照?1?500、1?1 000、1?2 000地形图航空摄影规范?5中地面分辨率的计算公式推算无人机影像分辨率的计算公式,按照焦距、航高与分辨率的关系,推导公式如下:fH=CA(1)?其中,f为相机焦距,H 为航高,C 为 CCD尺寸,A 为地面覆盖尺寸,A=像元数*影像地面分辨率。本次试验传感器参数见表 2,采用定焦拍摄模式,焦距 f 为 5?9mm(相当于 35mm 相机 的28mm),CCD 大小 为 1/1?75inch,影像 大小 为3 648?2 376像元。根据实验区的平均高程及辅助数据记录的GPS高程,得出航高H 在 220m左右。将数据带入公式(1),计算得出分辨率 R在 0?08m 左右。每幅影像覆盖范围大致为 0?005k m2。2552期宫阿都 等:无控制点数据的无人机影像快速处理?此次试验的 3 000多幅影像,如果按照常规的处理流程,逐张处理将非常耗费人力和物力。(2)航迹为不规则曲线将辅助数据记录的点号和经纬度坐标提取出来,并导入到 Excel表中,再于 ArcGIS中打开,输出 Shapefile类型文件,生成航迹如图 2所示。图 2?航迹图Fig?2?Chart of the flight trace从图中可以看出,航飞轨迹不规则,部分偏离设计航线较远,从而导致影像的重叠率不一致,尤其在旁向方向上,影像间的重叠率相差较大。(3)影像变形较大由于采用小型无人机携带非量测型普通数码相机飞行(参数见表 1),飞机姿态的不稳定(参数见表 3),单幅影像与地物空间的透射映射关系比较复杂,镜头畸变很大,影像内部几何关系比不稳定。影像倾斜变形较大,影像间的明暗对比度也不尽相同。同时超低空飞行,地面的起伏对分辨率影响较大。由于无人机载荷及成本的限制,装载的导航GPS精度只有十几米左右,同时辅助数据记录的GPS点并不是影像中心点的坐标。方向角的记录只到?度?,精度较低。本次试验除在 GoogleEarth上提取的影像和坐标数据外,无其他控制点数据,GoogleEarth上数据的获取时间为 2008年 2月。3?无控制点数据的无人机影像处理鉴此,无人机影像处理不能采用传统的共线方程的摄影测量流程;同时无人机影像在灾害中的应用,影像图的绝对定位精度往往并不是首要的,快速得到感兴趣区域的正射影像或准正射影像及不同地类类型相对的面积值通常是灾害预警、救灾及灾害评估部门想要的。图 3所示为传统航片的处理流程,图左侧为传统摄影测量处理的基本步骤,右侧为每一步骤中的关键点,从中我们可以看出,传统的摄影测量处理需要有严密的量测相机标定系数和高精度的控制点数据。而在无人机遥感系统中,这恰恰是最薄弱的项。图 3?传统航片处理流程F ig?3?F low chart of traditional i mage processing因此,本文提出一种无其他控制点数据时,先自动拼接后纠正再镶嵌的无人机影像处理思路,不做严密的平差处理,快速获取整个飞行区域的纠正影像图,为后续的正射纠正及分类提供基础影像,其处理流程如图 4所示。图 4?无人机影像处理流程图F ig?4?F low chart ofUAV i mage processing3?1?影像自动拼接目前,无人机遥感影像拼接存在两种方法:比较简单的是根据坐标拼接 6,坐标来自已有的256地 球 信 息 科 学 学 报?2010年姿态参数或控制点数据,通常这难以获取或精度很差。还有一种就是基于影像特征匹配的拼接,特征匹配方法包括小波、SIFT、傅立叶变换等等算法 7-8。本次试验由于数据量大,并只有飞行时记录的辅助数据,因此,采用的处理策略是小区域原始影像利用影像匹配算法进行自动拼接,拼接后的分块区域再根据辅助数据进行纠正。由于航向重叠达 80%,为了提高速度,尽快拼接出航拍整体图来,我们采用航向方向上每隔两张选一张的策略,既能保证重叠率(最高 80%*80%*80%),又提高了处理速度。首先,通过拼接实验确定小区域自动拼接最佳的影像行数和列数,通过目视大致判断拼接效果,如图 5所示的影像存在严重的拼接误差,经分析认为,可能是纵向方向的影像数量太多,误差积累大,减少纵向影像数量,获得目视无偏差的结果,如图 6所示。经过反复试验,确定 15?5(航向 15张,旁向 5张)的分块速度和精度较好。同时为了提高块与块之间的拼接效果,块与块之间的重叠度也要保持在 35%左右。然后,进行小块自动匹配拼接,通过微调影像的个数和重叠来改正拼接效果。图 5?拼接错误的影像F ig?5?The wrongly matched i mage自动匹配利用 SIFT 算法,SIFT 算法提取的特征是图像的局部特征,对旋转、尺度缩放、亮度变化保持不变性,对视角变化、仿射变换、噪声也能保持一定程度的稳定性;同时信息量丰富,适用于在海量特征数据库中进行快速、准确的匹配 9,因此,非常适合数量多、变形大的无人机图 6?拼接正确的影像F ig?6?The correctlymatched i mage影像匹配。同时经过优化的 SIFT 特征匹配算法甚至可以达到实时的要求。SIFT特征匹配步骤如下 9-10:(1)建立不同的尺度空间,G(x,y,?)=12?2e-(x2+y2)/2?2(2)L(x,y,?)=G(x,y,?)*I(x,y)(3)?其中,x,y 表示点的坐标,?表示尺度空间参数,G(x,y,?)为高斯函数,L(x,y,?)为尺度空间,*代表卷积操作。随着?的变化,不同的尺度空间就建立起来了。在图 7中,o代表影像金字塔的阶数,s表示每一阶内影像的层数。图 7?不同尺度的影像特征Fig?7?I mage characters by different scales(2)尺度空间建立后,利用高斯差分精确定位极值点,将该点和它周围的 8个点比较外,再与相邻尺度的对应位置的点比较,确定是否为特征点。2572期宫阿都 等:无控制点数据的无人机影像快速处理?(3)确定为特征点后,利用其邻域像元的梯度方向分布特性为每个点指定方向参数,使特征具备旋转不变性。因此,描述一个关键点有三个量:位置、尺度、方向。待匹配的两幅影像的 SIFT 特征生成后,接下来进行特征相似性判定。在影像 1中取一个特征点,找出影像 2中与其欧式距离最近的前两个点,如果最近的距离除以次近的距离小于给定阈值,则这点与最近点成功匹配。如图 8所示,红线为两幅影像的分界线,绿线的两个端点为匹配的点对。图 8?特征点对匹配F ig?8?M atching the feature points利用 RANSAC算法 11去除坏点,留下至少四对匹配点,建立双线性变换矩阵。X=a1x+b1y+c1xy+d1Y=a2x+b2y+c2xy+d2(4)?根据计算的变换矩阵系数拼接相邻影像。图 8中两幅影像计算得到的变换矩阵为:M=0?999168-0?0386002 0?000131057527?81770?0386011 0?999255-0?000200111-34?324655(5)?从矩阵数据中我们可以看出,影像之间有较小的缩放变形,有一定的旋转变形。3?2?影像纠正及镶嵌成图由于无控制点及相应的地图数据,拼接后的影像纠正利用机载 GPS记录的辅助数据来处理,GPS记录的点位并不是影像的中心点位,但由于在相同的航向方向上 GPS与相机的相对位置保持不变,因此,将 GPS点作为一个伪中心点。此次试验均匀选择 10个左右同一飞行方向的伪中心点,利用二次多项式拟合进行纠正。纠正前、后效果如图 9、图 10所示,道路和河流等主要要素拼接完好,视觉上没有错位。258地 球 信 息 科 学 学 报?2010年纠正后的影像具有了坐标,按照坐标对影像拼接镶嵌就比较简单,将多块纠正后的分区影像镶嵌成一幅大图,为后续的分类、正射纠正等提供数据源。3?3?精度检查由于 GPS点本身的定位精度很低,常规的控制点定位检查意义不大,因此,本文采用影像叠加的检查方法,将拼接结果和带有坐标的 GoogleE?arth影像套合叠加检查,如上图 11所示。经目视检查,道路等主要地物重合良好,图中,下方为无人机影像,上方为 Google影像。4?结语本文利用四川省绵竹市汉旺镇的无人机飞行数据,探讨了在无其他控制点数据的情况下,仅利用无人机自身记录的辅助数据快速进行影像处理的方法,将图像自动匹配拼接与无人机系统自身记录的辅助信息结合实现较大区域的影像纠正处理。首先,根据生成的航迹图将数据最佳分块;将 SIFT算法运用到分块影像的自动拼接中,达到较高的拼接精度和非常快的拼接速度;而后通过分析利用辅助数据中的伪中心点对分块影像纠正处理。本次飞行的数据,一个工作人员利用两天时间可完成所有的拼接和纠正,输出区域的整体镶嵌图,结果相对精度较高,主要地物要素无视觉错位。参考文献:1崔红霞,孙杰,林宗坚.无人机遥感设备的自动化控制系统 J.测绘科学,2004,29(1):47-49.2韩杰,王争.无人机遥感国土资源快速监察系统关键技术研究 J.测绘通报,2008(2):4-15.3崔红霞,林宗坚,孙杰.大重叠度无人机遥感影像的三维建模方法研究 J.测绘科学,2005,30(2):37-39.4王聪华.无人飞行器低空遥感影像数据处理方法 D.山东科技大学博士论文,2006,5-19.5GB/T 6962-2005,?1?500 1?1000 1?2000地形图航空摄影规范?S.北京:中国标准出版社,2005.6马瑞升.微型无人机航空遥感系统及其影像几何纠正研究 D.南京农业大学硕士论文,2004,2-35.7程远航,薛定宇,韩晓微.基于小波变换的遥感图像快速拼接方法 J.东北大学学报(自然科学版),2008,29(10):1385-1388.8姚喜,卢秀山.基于特征的影像拼接算法 J.城市勘测,2008(6):77-79.9 Lo we D G.Object Recognition from Local Scale?InvariantFeatures C.7thInternationalConference on ComputerV i?sion,1999,1150-1157.10Lowe D G.D istinctive I mage Features fro m Scale?InvariantInterest Points J.International Journal of Co mputerV ision,2004,60(2):91-110.11王国美,陈孝威.SIFT 算法研究 J.盐城工学院学报(自然科学版),2007,20(2):1-5.Fast I mage ProcessingM ethod ofUAV withoutControlDataGONG Adu1,3,HE Xiaoying2,LEI T ianjie2,LI Jing1,3(1.A cademy of Disaster Reduction and EmergencyM anagement,BeijingN or malUniversity,M inistry of CivilAffairs/M inistry of Education of China,Beijing?100875,China;2.College of Resources Science and Technology,Beijing Normal University,Beijing?100875,China;3.Key Laboratory of EnvironmentalChange and NaturalD isaster,BeijingN or malUniversity,M inistry of Education,Beijing 100875,China)Abstract:Unmanned AerialVehicles(UAV)i m ages quickly processing methodw ithout otherGCP(Ground Con?trol Point)data isdiscussed in this paper,and theUAV i mages ofD isasterAreas ofW enchuan Earthquake in Si?chuan Province are used as the typical test data source.In the handling progress,only the i m ages and auxiliarydata recorded by the UAV system itself are used to stitch and rectify the i m age mosaics.The main work contains2592期宫阿都 等:无控制点数据的无人机影像快速处理?i mages,which were recorded by digital camera on the UAV and auxiliary data,which were recorded by GPS(Global Positioning Satellite)system on the UAV analyzing,flying area blocking,i mage auto?stitching afterblocking,i m age rectifying and i mage mosaic.The i mage auto?stitching is the key point of the whole research.F irstly,a detailed analysis on UAV i mages and auxiliary data is done.W ith the analysis resul,t many questionsare put ou,tsuch as the number of i m ages is so large and UAV i m age distortion isworse than that of traditionalphotogramm etry.These bring a lot of difficulties to thework,that the nor m almethods can not be used.Base onthis situation,a new strategy is proposed in this paper.That is,in the small area,which is deter m ined by theexperi men,tthe auto?stitching method base on i m age m atching is raised,then the regional i mages after auto?stitched are corrected according to auxiliary data ofUAV.In the i mage matching progress,SIFT(Scale?InvariantFeaturesTransfor m)algorithm is applied in order to achieve high efficiency and high precision.Then pseudo cen?ter points collected from auxiliary data are used to rectify the regional i mages.From the result i m age after stitchingand rectifying,a conclusion can be drawn that the relative accuracy is high and themosaic i mage is visually dislo?cation?free.Key words:Unmanned AerialVehicles;i mage;GCP;quickly stitch;rectification260地 球 信 息 科 学 学 报?2010年