第三次国土调查成果核查基础数据库的设计与实现.pdf

TECHNOLOGY AND INFORMATIONIT技术38 科学与信息化2023年9月上第三次国土调查成果核查基础数据库的设计与实现王伯超新疆维吾尔自治区自然资源规划研究院 新疆 乌鲁木齐 830011摘 要 国土调查是一项重大的国情国力调查，成果核查涉及数据量大，调用频率高，数据版本繁多复杂。针对各类数据，新疆维吾尔自治区（以下简称自治区）第三次国土调查成果核查基础数据库采用集中管理的方式进行设计，按照统一的标准规范，基于统一的存储框架，并根据不同类型的数据特点与应用场景进行汇集、整合，构建分布存储的数据库集群，以满足第三次国土调查高并发、高吞吐、高性能的数据查询、浏览、应用和服务，为国土调查工作提供高效数据支撑。关键词 第三次国土调查；基础数据库；设计与实现Design and Implementation of Basic Database for Result Verification of The Third National Land Resource SurveyWang Bo-chaoXinjiang Uygur Autonomous Region Natural Resources Planning and Research Institute,Urumqi 830011,Xinjiang Uygur Autonomous Region,ChinaAbstract National land resource survey is a major survey of national conditions and national strength,and the result verification involves a large amount of data,high frequency of calling,and a variety of complex data versions.For all kinds of data,the basic database for result verification of the Third National Land Resource Survey in Xinjiang Uygur Autonomous Region(hereinafter referred to as the Autonomous Region)is designed in a centralized management manner.In accordance with unified standards and specifications,based on a unified storage framework,and according to different types of data characteristics and application scenarios,a database cluster for distributed storage is built to meet the high concurrency,high throughput and high performance of data query,browsing,application and service of the Third National Land Resource Survey,and provide efficient data support for the National Land Resource Survey.Key words The Third National Land Resource Survey;basic database;design and implementation引言第三次国土调查（以下简称三调）工作涉及大量的影像数据和调查成果数据，涉及数据量之大、调用频率高，数据版本繁多复杂，对开展三调和后续变更调查工作是前所未有的挑战。面对如此大量的数据及纷繁复杂的业务流程，仅仅依靠人力来整合处理的传统模式已经不再适用于第三次国土调查工作要求。随着大数据技术和数据库技术的发展完善，亟须以全新的组织方式、检查方法、分发模式提供完善的国土调查数据管理、分发服务，为国土调查工作创造了有利条件，为第三次国土调查项目执行过程中及时、快速、准确地进行调查数据统筹管理提供有力的保障1。1 数据库设计1.1 数据库总体设计自治区第三次国土调查成果核查基础数据库是数据成果管理与应用的基础，是自治区三调成果核查基础数据成果展示和应用服务的基础与核心。自治区第三次国土调查成果核查基础数据库的建设，将实现基础数据成果的统一存储、管理与维护，为基础数据的综合管理、查询浏览、成果展示、汇总统计、分发汇交、应用服务提供数据基础支持2。基于信息化技术，针对自治区第三次国土调查成果核查基础数据库建设，对国家下发、自治区收集、县级汇交的上述各类基础调查数据成果进行汇集、整合和入库，采用集中管理的科学与信息化23年9月上内文0907.indd 382023/9/8 17:33:54 TECHNOLOGY AND INFORMATIONIT技术科学与信息化2023年9月上 39方式进行设计，参照统一的标准规范，依据统一的数据模型，基于统一的存储框架，根据不同类型的数据特点与应用场，构建分布存储的数据库集群，包括成果库、服务库和文件，以满足高并发、高吞吐、高性能的数据查询、统计、浏览和服务3-4。1.2 数据库逻辑设计基于统一对象定义和数据逻辑模型，建立国土调查基础空间信息对象的逻辑关系。基于这些逻辑关系，实现国家下发基础数据库、国家下发内业图斑、永久基本农田、生态红线数据、规划数据库、林草、水利、保护区、湿地等数据以业务为驱动，形成完整的流动闭环（如图1所示），为掌握自治区土地利用的真实现状和国土资源空间分布与变化状况提供数据基础，为宏观决策提供数据依据5。质量监测调查体系基础参数第三次国土调查基础数据调查资料数据管理数据数据基础数据基础国土调查图1 核查基础数据库对象逻辑模型建成后的自治区三调成果核查基础数据库的数据主要由主体数据和元数据组成。其中，主体数据包括空间数据和非空间数据，空间数据包括具有地理空间参考的矢量数据和栅格数据，内容涵盖国家下发基础数据库、国家下发内业图斑、永久基本农田、生态红线数据、规划数据库、林草、水利、保护区、湿地等数据；非空间数据主要包括与国土调查基础数据相关的统计表格、扫描图片、文档及相关业务数据；元数据主要包括矢量数据元数据、影像数据元数据和其他元数据。1.3 数据库关系设计成果库是自治区第三次国土调查成果核查基础数据库的核心数据库，由矢量数据库、影像数据库和统计报表数据库构成。随着国土调查的持续开展，数据库数据体量急剧增长，将矢量数据和报表数据按多年份组织存储，采用关系型数据库形成矢量和报表历史数据库，以此方便国土调查多源成果数据的回溯查询浏览，根据各自矢量数据特点，建立时态数据模型，形成时态数据库，以此实现多源数据的时空联动统计应用分析和时空联动查询浏览，对于时态数据库中年代较为久远的数据便可归档进入到历史数据库中。成果库空间数据属性数据统计数据提取查询浏览统计统计查询浏览查询浏览文件库原始影像数据原始报表数据原始矢量数据原始文档数据地图切片/图件制作清 洗抽 取整 合入 库影像切片处理统计分析处理服务产品加工服务库矢量瓦片影像瓦片统计信息专题图件图2 数据库组织管理逻辑关系科学与信息化23年9月上内文0907.indd 392023/9/8 17:33:54 TECHNOLOGY AND INFORMATIONIT技术40 科学与信息化2023年9月上2 数据库建设2.1 数据库建设技术路线根据数据库设计，整合国家下发基础数据库、国家下发内业图斑、永久基本农田、生态红线数据、规划数据库、林草、水利、保护区、湿地等数据，开展数据质量检查、数据整合集成和入库，建成覆盖集图形、影像、地类、范围、面积和权属为一体的自治区第三次国土调查成果核查基础数据库。结合相关数据建库工作经验，针对自治区第三次国土调查成果核查基础数据库建设主要工作，设计自治区第三次国土调查成果核查数据库建设技术路线及主要工作流程。自治区第三次国土调查成果核查基础数据建库的技术路线可以分为准备工作、数据质检入库阶段、入库后数据检查、更新入库阶段、汇总统计阶段、数据库问题反馈及优化6个阶段。2.2 数据库建设技术方法数据入库前首先要完成数据预处理、格式转换、坐标转换等准备工作，具体方法及流程在这里不作具体介绍。国土调查成果核查基础数据入库模式包括两种，一个是直接向成果库中入库，即单数据库入库；一个是先入分库，再合总库，即分库入库。单数据库入库的模式适用于数据量并不十分庞大，在入库中采用该方式可节省数据库分割合并的时间；而分库入库的模式适用于数据量大，类型繁杂的数据类型，以提高入库效率。3 主要创新点3.1 基于“三统一”原则构建了核查数据库集群核查基础数据库在自治区范围内首次基于统一的标准规范，统一的数据模型，统一的存储框架，利用国家下发基础数据、内业图斑、永久基本农田、生态红线数据、规划数据库、林草、水利、保护区、湿地等9大类27小类数据成果进行汇集、整合和入库，构建统一的分布存储数据库集群，极大提高三调核查工作效率的同时，满足了自治区级三调核查高并发、高吞吐、高性能数据查询需求。3.2 采用两种数据入库方式提高工作效率考虑到新疆地域辽阔，国土调查成果核查基础数据量大，数据需要区分兵团和地方等特殊需求，项目实施过程中创新性地同时采用单数据入库和分库数据入库两种方式开展工作。对于行政界线、湿地、基本农田等数据量较小的数据，采用单数据入库模式。对于内业图斑、影像切片数据等数据量大的数据，采用多个客户端分库同时入库的方式来提高入库效率。从应用情况来看，大数据量数据入库效率提升幅度较大。4 结束语成果核查基础数据库依据第三次全国国土调查工作相关标准和规范，结合自治区第三次国土调查成果核查工作要求，基于自治区三调成果核查数据库与管理平台，整合土地调查、地籍调查、集体土地所有权登记、宅基地和集体建设用地使用权确权登记、地理国情普查、农村土地承包经营权确权登记颁证等基础资料及调查成果建设。数据库为相关业务系统或平台提供原始数据成果、数据服务成果和阶段性产品成果。从三调近两年来的应用情况来看，成果核查数据库的建设保证了自治区第三次国土调查的初始库质检、内业核查等工作高效开展，确保成果真实准确，成果质量达到了国家要求。参考文献1 国务院.关于开展第三次全国土地调查的通知(国发201748号)G.北京:国务院,2017.2 王帆飞.国土资源空间数据存储备份系统的设计与实现J.计算机与现代化,2012(3):190-193.3 自然资源部.第三次全国国土调查技术规程:TD/T10552019S.北京:中国标准出版社,20194 国务院第三次全国国土调查领导小组办公室.第三次全国国土调查成果国家级核查技术规定(国土调查办发201912号)G.北京:国务院第三次全国国土调查领导小组办公室,20195 朱波,孙萍,童秋英,等.武汉市第三次国土调查管理信息平台建设J.地理空间信息,2020,18(10):15-19,33.科学与信息化23年9月上内文0907.indd 402023/9/8 17:33:54