收藏 分销(赏)

泰伯智库时空数据治理白皮书2024.pdf

上传人:宇*** 文档编号:3510484 上传时间:2024-07-08 格式:PDF 页数:54 大小:1.81MB
下载 相关 举报
泰伯智库时空数据治理白皮书2024.pdf_第1页
第1页 / 共54页
泰伯智库时空数据治理白皮书2024.pdf_第2页
第2页 / 共54页
泰伯智库时空数据治理白皮书2024.pdf_第3页
第3页 / 共54页
泰伯智库时空数据治理白皮书2024.pdf_第4页
第4页 / 共54页
泰伯智库时空数据治理白皮书2024.pdf_第5页
第5页 / 共54页
点击查看更多>>
资源描述

1、13目目录录前 言.61.时空数据治理发展概述.81.1 内涵.81.1.1 时空数据定义与特征.81.1.2 数据治理的内涵.81.1.3 时空数据治理的定义.101.1.4 时空数据治理的重要意义.111.2 政策.121.2.1 国家顶层规划.121.2.2 地方省市政策.151.3 市场.171.3.1 市场规模.171.3.2 产业图谱.182.时空数据治理体系.202.1 治理框架.202.2 标准和指南.202.2.1 指南.202.2.2 标准.272.3 关键技术.2842.3.1 时空人工智能.282.3.2 数据可视化.312.3.3 数据库引擎.322.3.4 知识图谱

2、.333.时空数据治理应用案例.363.1 城市治理.363.1.1 统筹与规划.363.1.2 构建与运行.363.1.3 监控和评价.383.2 智慧交通.403.2.1 出行云.403.2.2 交通基础设施(路基路面)长期性能科学观测网.413.3 自然资源.423.3.1 统筹与规划.423.3.2 建设与运行.433.3.3 监控与评价.453.4 其他(水利等).454.趋势与建议.474.1 未来发展趋势.474.1.1 应用趋势.4754.1.2 技术趋势.484.2 存在问题与建议.50参考文献.53结束语.556前前 言言数据是建设数字中国的基础资源和关键要素。2022 年

3、 12 月,中共中央 国务院关于构建数据基础制度更好发挥数据要素作用的意见 明确,要充分实现数据要素价值,以数字化驱动生产生活方式和治理方式变革,为推进数字中国建设注入强大动力。时空数据治理作为数据要素的主要部分,超过80%的数据均直接或间接地具备时空属性,如何科学地设立规划与流程、有效地管理、发挥时空数据的价值将成为未来的重点研究方向。通过近期梳理,泰伯研究院认为,提升时空大数据规模和质量,激活数据价值,建立数据制度、守护数据安全是测绘地理信息行业发展的新要求和下一站。因此,时空数据治理有望成为未来五到十年最重要的研究课题之一。研究中发现,时空数据治理发展的主要落地并不在于攻克技术难题,而在

4、于一些成熟技术基于新场景的落地应用。其中,交通时空数据治理或将成为重点关注领域。时空数据治理是数字孪生之基,实景三维中国的开展也为时空数据治理提升了新的高度,其成熟也将为数字孪生的大规模应用提供高质量的数据基底,有助于赋能更多场景高质量发展和不断创新。当前国内时空数据治理领域还存在着一些突出问题,特别是“重管理、轻治理”,缺乏统一的时空数据治理认知,大多数企业和用户战略不够清晰,缺少完整的数据治理体系和治理框架。本白皮书是泰伯智库白皮书系列的第六本,也是时空数据治理领域的第一本。本次编写旨在提出时空数据治理的定义、发展内涵、发展意义,并对7其发展现状进行描述,梳理其相关政策、市场参与者、技术体

5、系和应用案例,研判其发展趋势,发现问题并提出建议,从而给时空数据治理产业侧和用户端提供参考。本次白皮书的编写,主要以泰伯智库的产业数据库为基础,同时结合对数据治理的主要服务商、行业专家的调研输出研究观点和行业分析。白皮书能够顺利编写完成,离不开调研专家及文献资料贡献者的大力支持,特此致谢!由于编写仓促或调研不够全面所致,部分章节可能存在不足之处,欢迎反馈意见或批评指正。81 1.时时空空数数据据治治理理发发展展概概述述1 1.1 1 内内涵涵1 1.1 1.1 1 时时空空数数据据定定义义与与特特征征时空数据是指具有时间维度和空间维度的数据,即记录了某个事件在时间和空间上的发生和变化。时间维度

6、就是记录了事件的时间信息,而空间维度则是记录了该事件的地理位置信息。时空数据包括时空基准(时间和空间基准)数据、GNSS 和位置轨迹数据、空间大地测量和物理大地测量数据、海洋测绘数据、地图(集)数据、遥感影像数据、与位置相关联的空间媒体数据、地名数据及时空数据与大数据融合产生的数据。结合近年来各界对时空数据的研究,总结出时空数据具有以下特性:(1)时空数据包含对象、过程、事件在空间、时间、语义等方面的关联关系。(2)时空数据具有时变、空变、动态、多维演化特点,时空数据的时空变化具有多类型、多尺度、多维、动态关联特点。(3)时空数据具有尺度特性。(4)时空数据具有多源异构性。1 1.1 1.2

7、2 数数据据治治理理的的内内涵涵(1)发展历程数据治理首次出现于 1988 年麻省理工学院的全面数据质量管理计划。同9年,国际数据管理组织协会(DAMA)成立。2002 年,美国两位学者结合两家公司的实践结果提出数据治理研究方向。2003 年国际数据治理研究所成立,主要研究数据治理理论框架,与国际标准化组织合作对数据治理进行定义。2009年,DAMA 发布数据管理知识体系指南,基本确定数据治理的理论框架。随着数据仓库的建设,国内也开始发展数据治理。2015 年提出了数据治理白皮书国际标准研究报告。2018 年由国家标准化管理委员形成并发布了数据管理国家标准数据管理能力成熟度评估模型(GB/T

8、36073-2018),进一步明确并建立了数据管理相关的 8 个领域,5 个等级的能力模型。指导企业开展自我评估和第三方独立评估。2022 年发布了国家标准数据管理能力成熟度评估方法(GB/T 42129-2022),并于 2023 年 7 月 1 日起正式实施。在 DAMA 数据管理知识体系指南中,数据治理位于数据管理的正中间,是数据架构、数据建模、数据存储、数据安全、数据质量、元数据管理、主数据管理等 10 大数据管理领域的总纲,为各项数据管理活动提供总体指导策略。DCMM 数据管理能力成熟度评估模型定义了 8 个能力域:数据战略、数据治理、数据架构、数据标准、数据质量、数据安全、数据应用

9、和数据生命周期管理。(2)数据治理与数据管理的关系数据管理是一个更广泛的概念,涵盖了数据从采集、处理、存储到应用的整个生命周期的管理过程。数据治理的重点是监督数据流经组织时的操作10生命周期,对数据资产管理行使权力、控制和共享决策(规划、监测和执行)的系列活动。数据管理的整体驱动力是确保组织可以从其数据中获得价值。数据治理聚焦于如何制定有关数据的决策,以及人员和流程在数据方面的行为方式,更多是细节执行层面。1 1.1 1.3 3 时时空空数数据据治治理理的的定定义义时空数据治理是时空数据管理的具体落地,包括制定和实施时空数据的商业应用和技术管理的一系列政策和流程。其内容涵盖了数据管理的战略、组

10、织、文化,同时涵盖了数据的收集、存储、处理、传输和使用。时空数据治理相对于普通数据治理在数据类型、来源、处理技术和应用场景上存在区别:时空数据治理涉及处理时空信息,即包含了地理位置和时间信息的数据,包含地图数据、遥感影像、传感器数据等,非结构化数据占比较重。时空数据治理的数据来源涵盖各种传感器、遥感设备、移动应用等,更为广泛。普通数据治理更多地关注企业内部系统产生的数据。时空数据的处理通常需要考虑地理空间关系和时间序列特征。因此,时空数据治理可能涉及到空间索引、空间分析、时空模型等专门的数据处理技术。时空数据治理通常用于地理信息系统、环境监测、城市规划、交通管理等领域,涵盖了更多的地理和时间维

11、度。11因此,时空数据治理需要针对时空数据的特点采取相应的数据管理策略和技术手段。1 1.1 1.4 4 时时空空数数据据治治理理的的重重要要意意义义时空数据治理主要针对城市规划建设、环境监测管理、自然资源管理、气象灾害管理、交通管理、医疗等领域,其应用领域涵盖了更多空间与时间维度,实现更为宏观的应用。时空数据治理为智慧城市、智慧交通、数字孪生等实现提供管理数据的方法、路径、技术、工具,维护数据质量,确保数据的准确性、完整性与一致性,为实现更高空间、时间维度的管理提供高质量的数据基底。时空数据治理结合政府与市场的数据,提供监测、规划、管理、预测、预警等功能。时空数据治理可以为政府部门、研究机构

12、和企业提供准确的数据支持,帮助他们制定更加科学、有效的决策。此外,相对于普通数据治理,时空数据治理实现预警需求的重要性相对较高,为宏观管理的风险管控提供保障。对区域内的时空数据进行有效治理,将提升区域内城市、交通、自然资源管理的业务处理效率,提供整体管理系统的运行效率。基于时空数据的应用,如智慧城市、导航系统、气象预测等,都直接关系到公众的生活质量和便利性。通过有效的时空数据治理,可以提升这些应用的服务水平,改善人们的生活体验。时空数据中包含如个人位置轨迹、交通流量数据等大量敏感信息,对于userid:251096,docid:163133,date:2024-05-27,12时空数据整体的安

13、全管控尤为重要。因此,需要对时空数据进行有效的治理,保障信息安全和个人隐私,防止数据泄露和滥用的风险。时空数据的有效管理和利用对于推动科技创新和产业发展具有重要作用。通过挖掘时空数据中的关联规律和趋势,可以为区域、企业提供新的商业机会和市场竞争优势,推动经济的发展。1 1.2 2 政政策策1 1.2 2.1 1 国国家家顶顶层层规规划划近年来,针对数据治理与时空数据,国家各部位发布了以下指导文件:表表 1 1 国国家家级级时时空空数数据据治治理理相相关关政政策策汇汇总总日日期期政政策策发发布布单单位位具具体体内内容容2019 年1 月智慧城市时空大数据平台建设技术大纲(2019 版)自然资源部

14、积极履行职责,全面提升测绘保障服务能力;明确目标定位,为城市建设提供统一底板;强化技术融合,赋予城市管理更智慧的“大脑”;注重推广应用,为高质量发展提供时空信息保障2019 年11 月中共中央关于坚持和完善中国特色社会主义制度推进国家治理体系和治理能力现十九届中央委员会第四次全体会议首次将“数据”列为生产要素,提出了“健全劳动、资本、土地、知识、技术、管理、数据等生产要素由市场评价贡献、按贡献决定报酬的机制。13代化若干重大问题的决定2020 年3 月关于构建更加完善的要素市场化配置体制机制的意见中央全面深化改革委员会第十一次会议将数据作为与土地、劳动力、资本、技术等传统要素并列的第五大生产要

15、素,把数据作为一种新型生产要素写入国家政策文件中,提出要加快培育数据要素市场。2020 年5 月中共中央国务院关于新时代加快完善社会主义市场经济体制的意见中央全面深化改革委员会第十二次会议进一步加快培育发展数据要素市场,建立数据资源清单管理机制,完善数据权属界定、开放共享、交易流通等标准和措施,发挥社会数据资源价值。推进数字政府建设,加强数据有序共享,依法保护个人信息。2021 年1 月建设高标准市场体系行动方案中共中央办公厅、国务院办公厅加快培育发展数据要素市场,建立数据资源产权、交易流通、跨境传输和安全等基础制度和标准规范,推动数据资源开发利用,积极参与数字领域国际规则和标准制定。2021

16、 年3 月中华人民共和国国民经济和社会发展第十四个五年规划和 2035 年远景目标纲要十三届全国人大四次会议对完善数据要素产权性质、建立数据资源产权相关基础制度和标准规范、培育数据交易平台和市场主体等作出战略部署。142021 年11 月“十四五”大数据产业发展规划工业和信息化部建立数据价值体系,提升要素配置作用,加快数据要素化,培育数据驱动的产融合作、协同创新等新模式,推动要素数据化,促进数据驱动的传统生产要素合理配置。2022 年1月 6日要素市场化配置综合改革试点总体方案国务院办公厅建立健全数据流通交易规则。探索“原始数据不出域、数据可用不可见”的交易范式;探索建立数据用途和用量控制制度

17、;规范培育数据交易市场主体。2022 年12 月关于构建数据基础制度更好发挥数据要素作用的意见中共中央、国务院从数据产权、流通交易、收益分配、安全治理四方面初步搭建我国数据基础制度体系,提出 20 条政策举措。2023 年3 月国土空间规划城市时空大数据应用基本规定行业标准自然资源部适用于城市层次国土空间规划时空大数据应用,其他层次国土空间规划工作也可参考执行。2023 年12 月“数据要素”三年行动计划(20242026 年)国家数据局等 17部门分别从激活数据要素潜能、总体要求、重点行动、强化保障支撑以及做好组织实施五个方面,向社会公开征求意见,旨在推动数据在不同场景中发挥15出千姿百态的

18、乘数效应。1 1.2 2.2 2 地地方方省省市市政政策策在国家印发数据“二十条”、“数据要素”三年行动计划后,各省市基于最新政策纷纷发布地方数据要素建设实施方案或行动计划。未来,各省市也将出台针对从数据产权、数据要素流通和交易、数据要素收益分配、数据要素治理等方面的制度规范。表表 2 2 地地方方数数据据治治理理相相关关政政策策汇汇总总地地区区时时间间政政策策发发布布单单位位甘肃2024 年 3 月15 日甘肃省“数据要素”三年行动实施方案(20242026 年)甘肃省人民政府办公厅四川2024 年 1 月2 日关于推进数据要素市场化配置综合改革的实施方案四川省大数据中心、四川省发展和改革委

19、员会、四川省经济和信息化厅、中共四川省委网信办重庆2023 年 12月 20 日重庆市数据要素市场化配置改革行动方案重庆市人民政府办公厅海南2023 年 12月 5 日海南省培育数据要素市场三年行动计划(20242026)海南省人民政府办公厅江苏2023 年 12月 1 日关于推进数据基础制度建设更好发挥数据要素作用的实施意见中共江苏省委 江苏省人民政府广州2023 年 11关于更好发挥数据要素作用推中共广州市委全面16月 28 日动广州高质量发展的实施意见深化改革委员会内 蒙古2023 年 10月 10 日内蒙古自治区推动数字经济高质量发展工作方案(20232025 年)内蒙古自治区人民政府

20、办公厅福建2023 年 9 月19 日福建省加快推进数据要素市场化改革实施方案福建省数字福建建设领导小组办公室辽宁2023 年 9 月15 日辽宁省完善机制发挥数据要素作用的实施意见辽宁省发展和改革委员会广西2023 年 8 月14 日广西构建数据基础制度更好发挥数据要素作用总体工作方案广西壮族自治区人民政府办公厅贵州2023 年 7 月27 日贵州省数据要素市场化配置改革实施方案贵州省委、省政府上海2023 年 7 月22 日立足数字经济新赛道推动数据要素产业创新发展行动方案(2023-2025 年)上海市人民政府办公厅北京2023 年 6 月20 日关于更好发挥数据要素作用进一步加快发展数

21、字经济的实施意见北京市人民政府吉林2023 年 5 月4 日吉林省大数据产业发展指导意见吉林省政务服务和数字化建设管理局广东2023 年 4 月4 日广东省数据流通交易管理办法(试行)(征求意见稿)广东省政务服务数据管理局深圳2023 年 2 月深圳市数据交易管理暂行办深圳市发展和改革1721 日法委员会省市多针对数据要素、数据治理出台整体规划的政策,仅部分省市针对时空数据出台了相关政策:表表 3 3 地地方方时时空空数数据据相相关关政政策策汇汇总总地地区区时时间间政政策策发发布布单单位位贵州2023 年 12月 29 日贵州省地理信息时空大数据要素流通交易规则(试行)贵州省自然资源厅、贵州省

22、大数据发展管理局北京2023 年 8 月7 日北京市自然资源和国土空间调查监测体系统筹构建方案建设统一时空数据库北京市规划自然资源委等部门联合印发江苏2023 年 8 月3 日江苏省自然资源调查监测立体时空数据库建设实施方案江苏省自然资源厅山西2023 年 7 月18 日山西省自然资源调查监测体系构建实施方案建设统一时空数据库山西省自然资源厅1 1.3 3 市市场场1 1.3 3.1 1 市市场场规规模模据泰伯研究院推算,2023年中国时空数据治理市场规模超390亿元,2024年将超过 470 亿元,2028 年市场将突破千亿元。2023 年至 2030 年年复合增长率将达到 19%。18图图

23、 1 12 20 02 23 3 年年2 20 03 30 0 年年时时空空数数据据治治理理市市场场规规模模(亿亿元元)1 1.3 3.2 2 产产业业图图谱谱从时空数据治理产业链来看,上游为基础设施和数据源,其中基础设施主要为算力基础设施,数据源主要包含物联网数据、遥感数据、测绘数据、地图数据。中游为时空数据治理技术服务,按模块分为主数据管理、数据模型管理、数据标准管理、数据开发管理、元数据管理、整体时空数据处理、时空数据可视化、时空数据库等。下游应用主要为城市治理平台、智慧交通平台、自然资源平台等。19图图 2 2 时时空空数数据据治治理理产产业业图图谱谱202 2.时时空空数数据据治治理

24、理体体系系2 2.1 1 治治理理框框架架时空数据治理框架将数据分为从采集到清除的时间链路及从数据源到数据服务的空间链路,以战略、组织、文化为治理方向,以统筹、规划、构建、运行、监控、评价、改进、优化作为治理路径,实现从数据从时间链路到空间链路的数据架构管理、元数据管理、主数据管理、数据标准管理、数据质量管理、数据建模、数据模型管理、数据安全等内容。图图 3 3 时时空空数数据据治治理理框框架架2 2.2 2 标标准准和和指指南南2 2.2 2.1 1 指指南南时空数据治理目前并未针对性的指南,使用的更多是数据治理的指南。DAMA(国际数据管理协会)、ISACA(国际信息系统审计和控制协会)、

25、DGI(国际数据治理研宄所)、Gartner 公司等权威机构均从不同角度给出了数据治理的框架,形成了不同指导指南。21(1)DAMA 数据管理框架是一个全面的、业界领先的数据管理知识体系,它涵盖了数据治理、数据架构、数据建模和设计、数据存储和操作、数据安全、数据集成和互操作、文件和内容管理、参考数据和主数据、数据仓库和商务智能、元数据、数据质量和数据治理等多个领域。DAMA 框架注重于数据管理的实践和方法,提供了一套完整的数据管理理论体系和实践指南,有助于企业建立高效、规范的数据管理体系。图图 4 4 D DA AM MA A 数数据据管管理理框框架架22图图 5 5 D DA AM MA A

26、 数数据据治治理理、管管理理制制度度及及服服务务(2)DCMM 数据管理能力成熟度评估模型定义了数据战略、数据治理、数据架构、数据应用、数据安全、数据质量、数据标准和数据生存周期八个核心能力域及 28 个能力项 445 条标准进行评估。23图图 6 6 D DC CM MM M 能能力力等等级级标标准准(3)国际标准组织 ISO 于 2008 年推出第一个 IT 治理的国际标准:ISO38500,它是第一个 IT 治理国际标准,它的出台不仅标志着 IT 治理从概念模糊的探讨阶段进入了一个正确认识的发展阶段,而且也标志着信息化正式进入 IT 治理时代。这一标准将促使国内外一直争论不休的 IT 治

27、理理论得到统一,也会促使我国在引导信息化科学方面发挥重要作用。ISO38505-1 模型提出了数据治理框架(包括目标、原则和模型)。在目标方面,ISO38505-1认为数据治理的目标就是促进组织高效、合理地利用组织数据资源;在原则方面,ISO38505-1 定义了数据治理的六个基本原则:职责、策略、采购、绩效、符合和人员行为,这些原则阐述了指导决策的推荐行为,每个原则描述了应该采取的措施,但并未说明如何、何时及由谁来实施这些原则;在模型方面,ISO38505-1 认为组织的领导者应重点关注三个核心任务:明确了数据治理的意义、治理主体的职责、数据治理的监督机制,二是对治理准备和实施的方针和计划作

28、出指导,三是进一步明确数据治理的“E(评估)-D(指导)-M(监督)”方法论。24图图 7 7 I IS SO O3 38 85 50 05 5-1 1 模模型型数数据据治治理理框框架架(4)ISACA 数据治理模型并不仅仅只关注“IT 功能”,而且还视信息及相关技术为资产,这种资产就像任何其他资产一样,可由企业内任何人予以处理。ISACA 数据治理模型从是从企业愿景和使命、策略与目标、商业利益和具体目标出发,通过对治理过程中人的因素、业务流程的因素和技术的因素进行融合和规范,提升数据管理的规范性、标准化、合规性,保证数据质量。这一过程中,ISACA 认为,要实现数据治理的目标企业应在人力、物

29、力、财力给予相应的支持,同时进行全员数据治理的相关培训和培养,通过管理指标的约束和企业文化的培养双重作用,使相关人员具备数据思维和数据意识,是企业数据治理成功落地的关键。值得一提的是 ISACA 在 2016 年 3月收购了全球人力、流程和技术最佳实践推动领域的领导者 CMMI 研究所,CMMI 的 DMM(数据管理成熟度模型)对 ISACA 数据治理模型起到一个相互补25充的作用,有利于 ISACA 数据治理模型的推广。图图 8 8 I IS SA AC CA A 数数据据治治理理框框架架(5)DGI 数据治理框架是一种逻辑结构,用于对企业数据进行分类、组织和交流涉及决策和采取行动的复杂活动

30、。26图图 9 9 D DG GI I 数数据据治治理理框框架架(6)Gartner 对于数据治理的定义:“数据治理”(Data Governance)是“一种技术支持的学科,其中业务和 IT 协同工作,以确保企业共享的主数据资产的一致性、准确性、管理性、语义一致性和问责制”。Gartner 认为数据治理对于数据管理计划是必不可少的,同时控制不断增长的数据量以改善业务成果。越来越多的组织意识到数据治理是必要的,但是他们缺乏实施企业范围的治理计划的经验,具有实际的、切实的结果。Gartner 提出了数据治理与信息管理的参考模型,将数据治理分为四个部分:规范、计划、建设和运营。Gartner 数据

31、治理模型的四个部分定义了企业数据治理的四个阶段重点应关注的内容。规范。主要是数据治理的规划阶段,定义数据战略、确定数据管理策27略、建立数据管理组织以及进行数据治理的学习和培训,并对企业数据域进行梳理和建模,明确数据治理的范围及数据的来源去向。计划。数据治理计划是在规划基础之上进行数据治理的需求分析,分析数据治理的影响范围和结果,并理清数据的存储位置和元数据语义。建设。设计数据模型、构建数据架构、制定数据治理规范,搭建数据治理平台,落实数据标准。运营。建立长效的数据治理运营机制,坚持执行数据质量监控和实施,数据访问审计与报告常态化,实施完整的数据全生命周期管理2 2.2 2.2 2 标标准准目

32、前,我国的时空数据治理的标准主要为时空大数据标准和数据治理标准。表表 4 4 我我国国时时空空数数据据治治理理相相关关标标准准汇汇总总标准类型GB/T 42528-2023 时空大数据技术规范国家标准DB 3711/T 138-2023 智慧城市时空大数据平台通用规范地方标准TD/T1073-2023 国土空间规划城市时空大数据应用基本规定土地管理标准28DB 1310/T 279-2022 时空大数据平台服务元数据规范地方标准(廊坊)T/ZKJXX 00027-2022 数字化城市时空数据标识编码规则行业标准T/CITSA 10-2021 城市交通时空大数据格式标准行业标准GB/T34960

33、.5-2018信息技术服务治理 第 5 部分:数据治理规范国家标准GB/T36073-2018 数据管理能力成熟度评估模型国家标准2 2.3 3 关关键键技技术术2 2.3 3.1 1 时时空空人人工工智智能能时空人工智能包含从感知、计算、挖掘、推理、预测、解释、决策的过程。其中,计算、挖掘成为目前的重点方向。(1)时空数据计算时空大数据计算就是在时空大数据采集、接入、存储、管理、分析等各个流程环节中,处理时空大数据的计算方法、技术选型、实现框架、性能分析等的总称。这些计算,有些是为了实现时空大数据的数据整理、准备和流式服务,有些是为了计算结果的规整合并和可视化,有些算法是为了计算加29速,有

34、些是基于流式时空数据的机器学习模型训练、校验和应用。时空大数据计算框架时空数据计算一般基于地理坐标系的球面网格或基于多面体剖分的球面网格进行时空剖分,使用支持动态调整的平衡树索引或基于静态空间划分的哈希索引对海量时空数据建立索引,并结合索引与数据特性和管理平台特性设计时空数据编码方案,以优化时空范围查询和时空最近邻查询等时空查询算法。在格网剖分的框架下,任何时空数据的属性都空间化到每个格网,进而构建了结构化时空数据阵列。遥感图像就是天然的数据格网化数据,非常容易构架机器学习的框架。时空数据的分布式计算时空数据因其数量大、类型多的特点及存储模式的变化,使得传统的集中式时空分析平台以及串行算法存在

35、很大的局限性,难以满足实际应用的规模与高效需求。分布式并行技术充分利用和发挥集群构架资源的优势,将计算分析任务分解成若干子任务,分发到计算机集群中进行处理,大大提高了计算吞吐量和计算效率。传统的时空分析算法大多为集中式单机算法,通过对其进行分布式并行扩展,即可利用计算机集群完成对时空大数据的高性能计算分析任务。时空数据流式计算时空数据流实时产生,具有较高的时效性价值,在物流配送、车客匹配、指标监控等方面具有广阔的应用场景。不同于静态时空数据的处理,时空数30据流具有逐步到达、乱序、时空分布不均、未来状况难以预测等特点。时空数据流的计算需要状态、时间窗口、容错等一系列技术的支持。(2)时空数据挖

36、掘分为时空数据预处理、深度学习模型选择与设计、根据应用场景解决问题三个步骤,其中主要介绍时空数据预处理、深度学习模型选择。时空数据预处理时间索引技术是一种关键数据管理方法,用于加速和优化时间序列数据的查询。它通过对数据按时间进行排序、分区以及采用特定索引结构来实现,从而使在时间范围内迅速定位和检索数据成为可能。分为网格索引、四叉树、R 树、空间索引曲线等。时序压缩技术采用多种方法和策略,以降低存储占用。其中一种关键方法是 Delta-of-delta(二阶差分编码)编码,通过存储实际数据值,连续数据点之间的变化,从而有效减少数据存储需求。时序数据分级存储是将时序数据分成不同层级的策略,每个层级

37、使用不同存储介质和策略,用以最优化存储资源的使用和查询性能。热数据,即频繁访问的数据,通常存储在高性能介质如固态硬盘(SSD)或内存中,以确保快速读取和查询响应时间。深度学习模型选择CNN 模型主要用于处理空间地图数据,也可以用来处理轨迹数据。GraphCNN 模型则专门用于处理图数据。31RNN 模型用于轨迹、时间序列和空间地图的处理。RNN 和 CNN 的混合模型 ConvLSTM 通常用于处理空间地图。AE 和 SDAE 主要用于从时间序列、轨迹和空间地图中学习特征。Seq2Seq 模型用于时间序列和轨迹的处理。2 2.3 3.2 2 数数据据可可视视化化(1)描述型可视化描述型可视化即

38、人们通过观察图表直接接收图表所表达的规律价值信息,该可视化类型特点是不需要进行操作,仅仅通过直观视觉接收信息。依托于如今的高速网络和大数据背景,数据的时效性尤为重要。可视化技术与互联网技术的融合基于 Web 的便捷性,基于地图形式的可视化方式与 GIS、地图等行业的结合具有较好的视觉效果,能够非常直观地展现数据中的群组信息(图 6),与地图结合的可视化有散点及聚合可视化、线性可视化、分级设色可视化 3 种形式。(2)挖掘型可视化可视化技术与数据挖掘是相互驱动的,数据挖掘与数据可视化结合目前有 3 种方法:一是将可视化技术应用到信息领域,通过数据挖掘从数据库中提取出有用的信息;二是先进行数据的可

39、视化,然后应用到数据挖掘工具中;三是把数据可视化用作补充和完善数据挖掘的一种方法。时空大数据挖掘常用的方法有分类、聚类、关联规则、神经网络、Web 数据挖掘、深度学习等。(3)交互型可视化32交互过程其实是一系列特定任务的集合,用户根据需求,与可视化界面中的图形元素进行交互式、响应式设计分析,加强用户对数据的控制力,建立起良好的人机关系,包括二维场景中的一些交互操作,还包括三维场景及虚拟现实场景中的一些交互操作,接收用户的交互反馈,并根据反馈生成新的可视化结果,实现查询、检索等需求。随着三维可视化、虚拟现实、3D 互联网等技术的不断发展和深入,人们可以利用计算机去处理图形、图像、视频、声音、动

40、画等,产生交互式的三维动画、动态仿真,对真实物理效果的模拟和较强的视觉冲击力加强用户对数据的感知能力。近年来,交互可视化方面的成果主要分为以下两个方面:一是对时空数据进行动态可视化及可视性分析;二是运用虚拟现实技术对地形环境仿真,进而开展交互和分析。如让用户可基于城市 3D 模型进行人口管理、交通规划和城市建设等任务的高效智慧化人机交互操作,实现现实与虚拟的完美结合。2 2.3 3.3 3 数数据据库库引引擎擎(1)数据处理引擎数据处理引擎是时空信息云平台的核心部分,负责处理和存储大量的时空数据。它采用先进的数据库技术和大数据处理框架,如 Hadoop 和 Spark,来处理海量的数据。这个引

41、擎确保数据的快速、高效处理,支持复杂的数据分析任务。(2)实时分析引擎实时分析引擎允许用户对接收到的时空数据进行即时分析和处理。它利33用流处理技术,如 Apache Storm 或 Flink,提供实时数据处理和分析的能力。这一引擎在交通流量监控、环境监测等领域尤为重要,可以及时提供决策支持。(3)地理信息系统(GIS)引擎地理信息系统(GIS)引擎是处理地理空间数据的关键部分。它提供了数据的地理编码、地图创建和空间分析等功能。GIS 引擎可以帮助用户理解数据的地理分布和空间关系,对于城市规划、资源管理等领域至关重要自定义应用引擎允许用户根据特定需求开发和部署定制化的应用程序。这个引擎提供了

42、强大的 API 和开发工具套件,支持用户开发特定功能的应用,如定制化的数据分析工具和报告系统。2 2.3 3.4 4 知知识识图图谱谱时空知识图谱将地图、遥感影像、GIS、气象水文、电磁、网络等领域知识通过建模、抽取与关联,实现文本、图形、图像、音频、视频等多模态知识的融合,形成大规模地理知识库,进而实现多模态地理知识的分析、推理、演化和利用。(1)时空知识抽取是构建大规模时空知识图谱的重要环节,其目的在于从多源异构时空数据中自动抽取出实体、关系及属性等知识要素,并将其组织成三元组形式存入知识图谱中。时空知识获取分为时空数据获取与质量评估、时空信息抽取与对齐融合、时空知识认知与分类、时空知识表

43、达框架等内容。时空数据按存储类型可分为结构化、半结构化和非结构化数据。面向34不同类型的数据源,知识抽取涉及的关键技术有所不同。针对结构化数据(如地图、地名库等),通过建立数据库中概念与知识图谱中本体的映射关系以及基于规则的推理,从数据库中自动抽取空间实体、属性及其关系;针对半结构化数据(如网站的表格、列表型数据),可建立相应的模板抽取器实现知识抽取;针对非结构化数据(如网页文本或其他文本信息、微信、微博、图片等数据),主要利用已有的知识图谱知识,通过远程监督的方式来构建训练集,并利用深度学习的方法学习出抽取器,进而进行知识抽取。(2)时空知识融合与关联:不同数据来源的时空知识描述存在一定的互

44、补性和差异性,如分类体系不统一、地理空间实体歧义、特征描述详略不同、实体关系冲突等信息冗余和不一致问题。知识融合是将不同数据中不同标识实体的语义理解,关联到同一实体上,实现对同名、多名和缩写等多种实体语义的消歧和共指消解,是解决知识图谱异构问题的有效途径。时空知识的融合包括模式层(即概念层)和实体层的融合。模式层的融合主要是基于地理空间本体库的地理本体知识扩展,进行新旧本体的融合;实体层的融合包括实体的指称、属性、关系以及所属类别等,主要避免实例以及关系的冲突问题,造成不必要的冗余,主要用到实体链接技术。除此之外,基于逻辑推理和知识发现等技术,用时空数据产生过程中所反映出的用户行为、状态和偏好

45、等语义信息来丰富单纯的地理空间信息,即进行语义标签化扩充;反之,也可对外部单纯的语义信息予以时空关联。(3)知识推理是指基于已知的事实或知识推断得出未知的事实或知识的35过程。在知识图谱中,推理主要用于对知识图谱进行补全和知识图谱质量的校验。时空知识图谱除具备知识图谱常用的本体推理、规则推理以及常识推理能力外,还具备时态推理和空间推理能力。时态推理能够对目标查询辅以时间约束,使得推理结果符合时间需求,即可以看作是约束满足问题,其中变量表示时态对象,变量之间的约束对应于对象间的时态关系。与时态推理类似,空间推理过程产生多种空间对象及对象嵌入空间属性的理解,空间推理包含多种空间关系的推理,如拓扑、

46、方向、距离等。363 3.时时空空数数据据治治理理应应用用案案例例3 3.1 1 城城市市治治理理3 3.1 1.1 1 统统筹筹与与规规划划自然资源部修订完成并印发智慧城市时空大数据平台建设技术大纲(2019 版)(简称技术大纲),对智慧城市时空大数据平台建设的目标、思路与原则、主要内容、重点任务、技术路线等作出明确。3 3.1 1.2 2 构构建建与与运运行行一是在时空大数据方面,将原有基础地理信息数据、公共专题数据、空间规划数据和智能感知数据等四类数据,按其来源进一步整合,并面向智能化需求和本地特色进行扩展,形成现有的五类数据,即基础时空数据、公共专题数据、物联网实时感知数据、互联网在线

47、抓取数据和根据本地特色扩展数据。二是在平台建设方面,将原有通用、专业和个性三类平台中的共用基础的资源池和引擎,构建形成云中心,统一提供各类服务。针对不同应用场景,将平台重新划分为桌面平台和移动平台两类平台,除原有公共平台的功能和性能要求外,扩展任务解析模块、物联网实时感知模块、互联网在线抓取模块和可共享接口聚合模块等,以体现系统开放性和自学习等智能化服务能力。三是在示范应用方面,围绕确权登记、空间规划、用途管制、生态修复等自然资源管理的核心职能,重点解决变化发现的及时性和基层数据的真实性问题。同时面向公安、交通、环保、城管等经济社会发展各领域,坚持需37求牵引、问题导向,找准切入点开展示范应用

48、建设。通过应用带动,完善平台功能,保持数据鲜活,建立长效机制,促进各类信息资源的共建共享。图图 1 10 0 时时空空大大数数据据平平台台构构成成38图图 1 11 1 时时空空大大数数据据平平台台架架构构3 3.1 1.3 3 监监控控和和评评价价国家自然资源部对地方智慧时空大数据平台建设试点进行验收并进行长期监控。以徐州、海淀智慧时空大数据平台为例,介绍地方智慧时空大数据平台。(1)徐州智慧徐州时空信息云平台是数字徐州地理空间框架的升级和提档,是智慧徐州建设的重要组成部分;开展智慧徐州时空信息云平台建设,是提升徐州城市治理能力的重要手段。智慧徐州时空信息云平台具有以下特点:39构建了具有唯

49、一标识的地理实体理论规范和配套机制,并研发配套工具,提升了实体数据落地与应用服务能力开发了动态业务引擎,结合全面图形化工作方式,极大提升了时空信息云平台计算能力;实现了云平台底层集成和贯通模式,形成了一体化云应用体系,极大缩短应用更新时间,提高效能;搭建了时空信息云平台,在国土、地质、环保等领域建设了 6 项示范应用,并在 37 家政府部门和企事业单位取得了实际应用成效。(2)北京海淀“海淀区时空一张图”是海淀城市大脑的核心三大支撑平台之一,承载着未来“孪生海淀”的建设任务,可视化还原城市变化和空间形态,仿真和推演城市未来发展走向。“海淀区时空一张图”涵盖海淀全区 17 万多幢既有建筑物信息,

50、1.9 亿平方米建筑面积,1 万多个摄像头点位,249 个数据图层,百万级图层调用。“海淀区时空一张图”实现了数字空间和物理空间的智能关联,这张图通过城市级二三维引擎、遥感影像、三维建模等方式,承载了海淀区“人、车、地、事、物”的时空动态信息,为公众和政府提供海量的地理空间服务,初步实现现实城市运行在数字世界的实时动态呈现,为城市治理提供时空资源支撑。在城市交通领域,基于时空信息对各类重点车辆进行研判与分析,固40化违法证据,为交通提供时空智能化分析服务。在城市管理领域,基于可视化城市部件基础信息图层,高效支撑大城管、接诉即办等业务,赋予城市案件时空分析预警能力。在公共安全领域,通过物联网传感

展开阅读全文
部分上传会员的收益排行 01、路***(¥15400+),02、曲****(¥15300+),
03、wei****016(¥13200+),04、大***流(¥12600+),
05、Fis****915(¥4200+),06、h****i(¥4100+),
07、Q**(¥3400+),08、自******点(¥2400+),
09、h*****x(¥1400+),10、c****e(¥1100+),
11、be*****ha(¥800+),12、13********8(¥800+)。
相似文档                                   自信AI助手自信AI助手
百度文库年卡

猜你喜欢                                   自信AI导航自信AI导航
搜索标签

当前位置:首页 > 研究报告 > 信息产业

移动网页_全站_页脚广告1

关于我们      便捷服务       自信AI       AI导航        获赠5币

©2010-2024 宁波自信网络信息技术有限公司  版权所有

客服电话:4008-655-100  投诉/维权电话:4009-655-100

gongan.png浙公网安备33021202000488号   

icp.png浙ICP备2021020529号-1  |  浙B2-20240490  

关注我们 :gzh.png    weibo.png    LOFTER.png 

客服