基于FME的空间信息数据处理技术研究.pdf

项目来源:江苏省自然资源厅2 0 2 2年度科技计划(2 0 2 2 0 2 9)基于F M E的空间信息数据处理技术研究钱云飞,卞文明(常州市新北自然资源和规划技术保障中心,江苏 常州2 1 3 0 2 2)摘 要 空间信息当前已经成为智慧城市建设的基础框架,大数据背景下的空间信息面临着数据体量大、流质性强、模态多样以及隐含价值难以挖据的挑战。空间信息数据处理技术的提升成为提供优质、高效地理信息数据服务的关键。面对空间信息数据处理中存在格式多样、需求复杂、软件功能单一等问题,可利用FME提供的E T L工具平台和各类异构数据提取、聚集、变换和分发模块建立专业的数据处理流程,实现数据的自动化转换。采用FME编制数据转换流程无须进行大量的代码编写,缩短了数据处理工具的研发时间,自动化数据输入和输出,避免了大量重复人工操作,提升了数据处理成效。关键词 大数据;数据处理;FME0 引 言当前迅猛发展的信息技术与城市管理、市民生活和经济活动高度交汇融合,由此引发了各类数据的爆炸式扩张,信息化建设亦推进至大数据时代。大数据由人类的社会活动产生,覆盖了社会生活的方方面面,蕴含着巨大的社会、经济、科研价值,具有体量大(v o l u m e)、速度快(v e l o c i t y)、模态多 样(v a r i e t y)、真伪难辨(v e r a c i t y)、价值巨大(v a l u e)等特点1。在大数据时代,空间地理信息也面临着数据体量大、流质性强、模态多样以及隐含价值难以挖掘的挑战1-2。而空间地理信息已经成为当前智慧城市建设的基础框架,为城市精细化管理、经济发展和公众生活提供着实时、丰富、全面、权威的时空基础支撑。适应时代发展要求,提供优质、高效的地理信息数据服务,首先需要对数据的处理技术入手。1 空间信息处理中的问题国内各城市逐步建立起了空间信息共享服务平台,基于空间信息的数据共享与交换也日益频繁,智慧城市建设的逐步深化也对空间信息数据的生产和应用提出了新的要求。对于空间信息生产与应用的技术人员而言,日常工作已不是按部就班地依照技术设计书进行数据生产与检查,需要对各种数据进行更为复杂的清洗、整合和挖掘,以便为应用部门提供更智慧的数据服务3-6。然而,在数据处理过程中存在着如下的问题需要解决:(1)数据格式多样化。作为智慧城市建设的基础框架,空间信息数据种类丰富,来源广泛,必然带来源数据格式的多样化。大多数的数据处理软件支持的格式有限,难以支撑大数据中种类繁多的数据格式。面对格式多样的空间信息和非空间信息,技术人员往往需要通过中间格式进行中转。这不仅降低了数据处理的效率,而且转换过程中数据的各种精度也带来了一定的损失。(2)处理需求复杂化。当前的各类智慧化应用已不满足于对原始数据的单一图形化展示,而是要进行一定的整合和挖掘,甚至是多类数据的深度关联分析才能产生出满足实际应用的成果。各类商用和定制化开发的数据处理软件一般具有特定的数据处理功能,一项复杂的数据处理往往需要联合使用多种数据处理软件进行操作。这不仅对技术人员知识水平带来更高的要求,同时也增加了数据处理工作的软件成本。(3)软件开发难度大。对于一些特定工作,确实可以通过基于已有的G I S基础软件进行二次开发实现数据的处理。但此方式需要投入大量的软件研发人员,难度大,成本高,周期长,难以满足实际应用需求。2 F ME的解决方案FME(F e a t u r eM a n i p u l a t eE n g i n e)空间数据操纵引擎,是一款能够支撑多种异构数据的提取、聚集、变换和分发的软件。基于FME软件,用户可根据实际需求灵活建立转换流程,实现对各类异构47江苏省测绘地理信息学会2 0 2 3年学术年会数据的处理与分析,为空间数据的交换、整合与信息挖掘提供了有效的解决方案7-8。2.1 多样化的数据读写FME通过读数据模块和写数据模块来实现各种格式的数据读写。FME目前支持了C A D、G I S、3 D、B I M、数据库、网络、云等多个行业和平台的3 0 0多种国内外数据格式和网络协议。如图1所示,FME的 读 数 据 模 块 支 持 类 型 涵 盖 了d w g、d x f、s h a p e、s d e、j p g、t i f f、E x c e l、W o r d、x m l等多种常用的数据格式。此外在读数据模块和写数据模块中还支持自定义数据格式,用户可以在现有数据类型基础上构造新的数据类型。通过FME的读写模块可将多种类型的数据纳入到一个数据处理流程中进行处理,无须额外使用其他数据处理软件。图1 FME读数据模块格式选择同时FME的读数据模块和写数据模块提供了丰富的参数设置,如图2所示。在读数据模块中,可以一次读取单个文件,也可以批量读取文件,可以按层名、数据类型或属性对读取数据进行分组,还可以控制实体是否打散等等。在写数据模块中可以控制写入的属性类型,还可以根据数据处理的需求对数据的层或文件名进行分类输出。图2 FME读数据模块2.2 零代码的转换流程制作FME不仅仅提供支持多种数据类型的读写模块,同时也提供了4 0 0余个专业转换器来实现数据的变换操作。这些转换器从实现功能上可分为计算、数据库操作、空间变换、点云处理、数学统计、网格分析等多个类别,覆盖了日常数据处理的大部分功能。这些转换器实际上是高度分装的数据处理函数,FME在其W o r k b e n c h中提供了图形化的界面使用这些函数,用户只需将这些转换器拖拽至工作台,按需要连接上各类转换器,再进行必要的参数设置即可实现一个复杂的数据操作。如图3所示,只需使用FME提供的A f f i n e r转换器,连接读数据和写数据模块,填写上参数即可实现一个四参数的坐标转换流程。图3 使用FME建立的四参数坐标转换流程当然,对于一个复杂的数据处理流程并非几个转换器连接这么简单,很多时候需要运用程序设计的方法来解决。程序设计语言难学,结构复杂,调试困难,这往往使得数据处理人员力不从心甚至望而生畏。几乎所有的编程语言都是由判断、函数和循环这三大基本要素构成,而FME同样提供了数据处理工具帮助用户在制作数据处理流程时轻松实现判断、函数和循环。图4 FME的T e s t e r转换器在FME的T e s t e r转换器中提供了针对数据各种属性进行判断的操作,类似于程序处理中的I f语句。如图4所示,在T e s t e r转换器的参数设置中,T e s tC l a u s e s可依次输入属性、操作符和数值等参数,在P a s sC r i t e r i a还提供了判断通过的关系操作符。满足判断条件的数据均通过P A S S E D口流出,不满足条件的则通过F A I L E D口流出。57基于FME的空间信息数据处理技术研究编程人员设计函数的目的是把某个相对独立的功能抽象出来,便于复用和理清整个程序的逻辑关系。FME在数据处理流程设计中提供了自定义转换器的操作,可供用户将一些具有独立功能的数据转换流程组合成一个新的转换器。如图5所示,在对空间数据处理过程中经常需要对圆弧进行加密使之成为折线,即可在FME的W o r k b e n c h中选择设计好的圆弧加密处理流程,点击鼠标右键的C r e a t eC u s t o m e rT r a n s f o r m e r创建用户自定义的转换器。用户在自定义转换器时可设计多个输入,也可设计多个输出,同时也可以为自定义转换器增加参数。图5 自定义转换器内部编程人员设计循环的目的是在程序中实现对一个对象的重复处理,这在数据处理过程中也是常用的一个方法。如在对一个折线进行数据处理时可能需要去读取折线中每一个折点,获取折点的坐标进行必要的处理操作。如图6所示,FME在自定义转换器中不仅可以添加数据的输入和输出,同时也可以添加循环,在循环出口中设置数据循环转向的入口。这样再配合T e s t e r转换器即可实现一个类似于编程语言中D oL o o p语句的功能。图6 通过循环获取折线的折点3 数据处理工程实践3.1 数据综合分析使用FME可使技术人员便捷地进行大数据的综合分析处理,如在智慧常州基础地理信息数据标准统一过程中,常州高新区新旧标准的数据转换就使用了FME的转换流程设计。在整个转换流程设计中对注记数据的转换更体现了FME在数据转换中的独到优势。旧标准的注记为d b f格式,且只笼统地分为水系注记、工建注记等8个大类,而新标准中根据注记内容的不同分为1 0 0多个种类,最终的格式也要求以P o i n t的形式存储在A r c G I SS h a p e文件中。这样的工程项目依赖A r c M a p软件进行手工处理无法在短时间内完成,尤其是怎样重新对注记进行分类。通过对已有各类资料的整理和分析,可以发现注记的重新分类实际上是一个大数据挖掘处理的过程。在已有的资料中可以挖掘出很多辅助于注记分类的信息。如通过与建设用地现状数据叠加,可以发现带数字并且在居住用地内的注记便是小区幢号注记。各乡镇年度统计报表中有村委的名称,通过数据关联可以将村委注记提取出。根据地名地址数据库的地名分类也有助于注记进行分类。注记中的某些关键字也是进行分类的依据之一。在本工程应用中,F M E支持d b f、S h a p e、E x c e l等众 多 格 式 文 件 的 读 取,同 时 通 过F M E的2 D P o i n t A d d e r转换器,可将d b f表格中的注记按其属性 中 的 坐 标 值 转 换 成 点 状 空 间 数 据。通 过S p a t i a l F i l t e r转换器可将点状注记数据与S h a p e格式的用地数据进行空间分析。通过J o i n e r转换器可将空间数据与E x c e l格式的乡镇统计报表、区内道路等级划分表等表格进行关联分析从而确定行政村注记和各等级道路注记。通过S t r i n g S e a r c h e r转换器进行关键字的匹配也对注记内容进行分类。图7为该工程应用中针对水系注记定制的分类处理流程。图7 水系类注记分类处理流程67江苏省测绘地理信息学会2 0 2 3年学术年会3.2 空间数据质检数据质检是数据生产必需的一个环节,如何对数据进行严格把关,挑出产品中每一个错误是数据生产者长期面临的问题。依赖于人工筛查显然无法达到预期的效果,必须借助于自动化处理技术。一般的数据生产软件大多也带有数据质检的功能,但并不能涵盖数据处理中的每一个问题,使用过程中还 是会发现 某些错误被 检查 程 序 放过,不得不进行人工处理。应用FME定制数据质检流程进行数据质量检查,可为数据生产者提供新的解决思路。如在常州高新区的1 10 0 0基础地形图入库质检过程中就使用了FME进行质检流程的定制。使用C A D进行地形图数据采集和生产存在的主要问题有要素的块名、图层名、闭合、线形等属性错误,各类辅助线遗留在正式图中,地物重复等等。在设计过程中可以将错误的种类进行归类,整理出一个要素信息对照表(表1)。在对照表中详细记录了每类编码地物的名称、块名、图层名、线形、线宽、是否闭合等属性。通过J o i n e r转换器将编码对照表与待检查要素进行关联,将正确的值赋给待检查要素。通过D u p l i c a t e R e m o v e r转换器可实现剔除数据中的重复数据,其中点状地物的重复性检查定制的转换流程如图8所示。同时在使用过程中技术人员还可以根据实际需要不断添加新的转换处理器来解决新出现的各类质量问题。表1 要素信息对照表编码图层符号名称线型或块名线宽属性项数闭合几何类型6 7 0 5 0 2 0 3J J未确定(村坊)界X 30.27S L8 1 0 2 0 0 1 3Z B T Z田埂(单线)C ON T I NUOU S0.24S L4 4 0 2 0 1 2 3D L S S乡村路实线边(依比例尺)C ON T I NUOU S0.24S L4 4 0 2 0 1 1 3D L S S乡村路虚线边(依比例尺)X 30.24S L4 4 0 1 0 0 2 3D L S S大车路、机耕路实线边C ON T I NUOU S0.24S L6 7 0 5 0 2 0 3J J未确定(村坊)界X 30.27S L图8 点状地物重复数据检查3.3 数据统计分析数据统计与分析也是空间信息大数据处理中经常面临的问题之一,在FME众多的转换器中有一类叫作L i s t的转换器可对表格信息进行统计。如一项数据处理工程中,服务对象有一批用地范围的C A D文件,想统计这些用地范围内的建筑密度情况。经过分析,这批C A D文件都是以用地名来命名的d w g文件,每个文件中都有用地的空间范围,在基础地理信息数据中的居民地面有建筑物的基地面积和层高。通过FME的读数据模块可同时将d w g文件和建筑物的S h a p e文件读入到数据处理流程中,通过A t t r i b u t e E x p o s e r转换器可将d w g的 文 件 名 转 换 成 空 间 要 素 的 属 性,通 过S p a t i a l F i l t e r转换器可将用地范围数据与建筑物数据进行叠加分析,获得每个用地范围内的建筑物并将用地名 称 属 性 合 并 到 建 筑 物 的 属 性 中。通 过L i s t B u i l d e r转换器对建筑物属性列表进行分组,通过L i s t S u mm e r转换器对属性列表中的各项数按分77基于FME的空间信息数据处理技术研究类进行累 加。最 终 结 果 通 过 写 文 件 模 块 输 入 到E x c e l文件中。这样就完成了一个由d w g、S h a p e格式原始数据到x l s格式成果的数据统计分析流程制作,结果如图9所示。图9 用地建筑面积统计分析4 结 语在智慧城市建设中,空间信息数据是信息的载体或表现形式,信息空间化让更多的行业对空间数据的需求越发强烈。多平台、多格式、多来源的现状也是基于空间信息的数据共享和服务的特点,这也为技术人员进行数据处理和分析带来一定困难。基于FME可灵活地制定数据处理与分析流程,从而解决实际应用中的各种变换需求,为空间信息大数据处理提供了一个有效的解决途径。FME编制的数据处理和分析流程亦可通过FMES e r v e r进行服务发布,通过接口的形式应用于各类信息化平台,从而可快速拓展地理信息平台的数据处理和分析功能,在基于空间数据的信息化建设中具有一定的应用潜力。参考文献1 李德仁,张过,蒋永华,等.论大数据视角下的地球空间信息 学的 机 遇与 挑战J.大 数 据,2 0 2 2,8(2):3-1 4.2 秦昆,许凯,吴涛,等.智能空间信息处理与时空大数据分析探索J.地理空间信息,2 0 2 2,2 0(1 2):1-1 1.3 王 艺.基 于FME的 智 能 化 全 息 测 绘 要 素 转 换 研究 以上海市新型基础测绘张江试点为例J.现代测绘,2 0 2 3,4 6(2):1 8-2 3.4 周醉,殷丽丽,张蒙.面向政务大数据的智慧街道时空信息云 平 台 的 研 究 与 建 设 J.现 代 测 绘,2 0 2 1,4 4(2):1 0-1 35 李德仁.智慧城市中的大数据J.武汉大学学报,2 0 1 4(3):1 4-1 7.6 李逵.FME在基础地理信息数据库建设中的应用研究J.测绘通报,2 0 1 6(3):1 1 5-1 1 7.7 朱典潞.FME在G I S数据处理中的应用J.城市勘测,2 0 2 1(4):6 0-6 3,6 7.8 封殿波,张艳娜.基于FME的道路悬挂节点数据提取技术J.现代测绘,2 0 2 2,4 5(1):6 0-6 1.87江苏省测绘地理信息学会2 0 2 3年学术年会