面向数字孪生基于CIM平台的数据治理研究.pdf

第 15 卷 第 3 期2023 年 6 月Vol.15 No.3Jun.2023引言数字孪生（Digital Twin）是用数字化方式建立物理实体的虚拟模型，通过实体空间与虚拟空间的交互反馈、融合分析、决策迭代等手段，提高物理实体的精细化管理能力1。Grieves 教授2于 2003 提出了数字孪生实体产品、虚拟产品以及二者间的连接的三维模型。陶飞等3对该三维模型进行了扩展，引入孪生数据和服务两个新维度，提出了数字孪生五维模型，并对数字孪生模型构建与交互进行了研究，提出了“四化四可八用”的构建准则，从“感知通信映射联动融合”五方面提出了数字孪生交互理论4,5。张晨源、杨帆等6,7对数字孪生模型或孪生体可信度评价指标进行了研究。李琳利等8对数字孪生系统信息安全框架及技术进行了研究。赵鹏、陈健等9,10分别对电力行业、岩土工程行业数字孪生的关键技术与进展进行了阐述。张超等11对行离散型智能车间提出数字孪生制造单元系统新理论模型与参考框架，并进行了建模与验证。冷柏寒等12提出了面向可重构制造的数字孪生映射建模与监控仿真一体化平台架构，对虚实映射进行了针对性研究。康孟珍等13研究实现了从单向的三维展示的圆明园到虚实互动的平行圆明园，将虚拟空间的圆明园应用于物理空间的圆明园管理模式创新、生态重构及改善体验等。郭丞皓、尚可、张宇琳、张科等14-17分别在飞机起落架健康管理、智慧停车场、异质交通流安全、空气污染扩散等具体点上进行数字孪生应用研究。面对数字孪生，多空间（实体空间、虚拟空间）、多领域、多时域和多类型全域数据治理成为数字孪生的重要支撑与关键，数据治理是数字孪生物理实体与虚拟实体交互融合的核心18。张宁等19对数据治理的概念、体系、内容和应用的相关研究进行了述评。安小米等20通过对三大国际标准化组织 ISO(国际标准化组织)、IEC(国际电工委员会)、ITU T(国际电信联盟电信标准局)数据治理相关标准的分析，提出了数据治理宏观关注政策法规与组织机制，中观落脚点在数据资产规划、设计与管理，微观主要关注数据质量与数据安全的数据治理框架。如何对数字孪生的物理空间、虚拟空间以及连接与互动的数据进行治理的研究与验证，成为加速推进数字孪生城市建设，促进数字孪生深层应用的急为迫切的问题。在物理空间中，与物理空间位置相关的信息占90%以上，空间位置信息已成为多源信息组织与融合的核心。城市信息模型 CIM 基础平台是管理和承载城市空间三维数字模型，集成 GIS、BIM 与 IoT 数据的【基金项目】上海市 2021 年度“科技创新行动计划”社会发展科技攻关项目超大城市“空间数字底座”关键技术研究（编号：21DZ1204104）；上海市住房和城乡建设管理委员会“揭榜挂帅”科研项目城市信息模型（CIM）基础平台关键技术研究与应用示范（编号：沪建科 2022-ZD-009）【第一作者】汪枫（1967-），男，高级工程师，主要研究方向：城市管理信息化研究与项目建设。面向数字孪生基于 CIM 平台的数据治理研究汪 枫汪 枫（上海市城乡建设和交通发展研究院，上海 200032）【摘 要】【摘 要】数字孪生是数字化转型的重要落脚点，数据治理是数字孪生物理实体与虚拟实体交互融合的核心，城市信息模型CIM平台是面向数字孪生的数据治理的重要支撑平台。本文分析了面向数字孪生数据治理的范围与内容，基于 CIM 平台提出了数据治理框架，对基于工作流的数据治理与基于分层分级的多源数据可视化等技术进行了研究，提炼出上海市 CIM 平台数据治理建设成果。通过研究与实践证明，本文提出的数据治理框架具有可行性、扩展性和开放性，可为数字孪生背景下数据治理研究与应用实践提供参考。【关键词】【关键词】数字孪生；数据治理；城市信息模型；工作流；可视化【中图分类号】【中图分类号】TU17 【文献标识码】【文献标识码】A 【文章编号】【文章编号】1674-7461（2023）03-0001-06【DOI】【DOI】10.16670/11-5823/tu.2023.03.012综合性基础平台，支撑城市规建管用，是智慧城市的基础性和关键性信息基础设施21，CIM 平台也是数字孪生城市的支撑平台22。本文分析在数字孪生背景下数据治理的范围，研究提出基于 CIM 平台面向数字孪生的数据治理框架，并对基于工作流的数据治理与基于分层分级的多源数据可视化等技术进行研究，给出上海市 CIM 平台数据治理建设成果，并对后续研究与实践工作进行讨论。2 面向数字孪生数据治理框架2.1 数据治理内容面向数字孪生，数据治理范围包括物理空间与虚拟空间两大空间的数据，物理空间包括物理数据、服务数据、知识数据与衍生数据，虚拟空间包括虚拟数据、服务数据、知识数据与衍生数据。其中物理数据包括体现实体规格、功能及性能等的物理要素属性数据与反映实体运行状况的 IoT 数据，虚拟数据包括三维模型以及仿真、验证、评估、分析与预测等的仿真数据，服务数据包括业务应用算法与行为结果，知识数据包括专家知识、行业标准、规则约束与推理推论等，以及数据处理中的衍生数据等3。数据治理内容包括两个空间宏观、中观与微观三个层次。物理空间与虚拟空间的数据治理内容如表 1 所示。表 1 物理空间与虚拟空间的数据治理内容宏观中观微观物 理空 间政 策 法规、组织、机制数据资产规划、设计与管理数 据 质 量 与数据安全虚 拟空 间政 策 法规、组织、机制数据资产规划、设计与管理数 据 质 量 与数据安全数字孪生CIM+应用业务中台数据中台数据中心基础设施CIM平台门户数据存储数据接入物理数据数据资产与质量管理流程管理数据共享交易方式管理数据审计与保障数据交易管理数据服务平台开发接口服务二三维模型数据可视化数据分析二三维模型空间分析数据融合物理/虚拟知识数据管理物理/虚拟服务数据管理虚拟数据管理（二三维模型管理）物理数据管理（IOT与业务数据）用户中心鉴权中心数据服务日志中心支撑工具上海城市CIM平台（政务外网）上海城市CIM平台（互联网）城市体检与信评估数字孪生大气“一网统管”城市精细化治理“一网通办”改善营商环境数字孪生交通统一用户管理统一身份认证模块管理模块权限管理数据权限管理空间服务日志共享交换日志工具访问日志平台日志数据审计日志政务服务日志统一消息推送智能报告工作流引擎空间数据目录业务数据目录元数据信息管理数据血缘分析分类编码数据治理标准治理任务治理记录治理统计治理规则治理报告质量考核数据采集监控数据服务监控数据库监控软件部署监控数据影响分析数据归集标准数据生命周期管理数据同步治理监控数据申请数据受理数据授权数据审核数据确权数据估值数据交易数据共享API协议接口代理文件数据库表数据审计服务发布 服务运行 服务监控服务注册 服务验证 服务统计资源访问类控件类地图类BIM类模拟推演类IOT类数据交换类服务算法类接口管理地质模型可视化IOT数据可视化二三维模型一体化地上地下一体化缓冲区分析通视分析日照分析叠加分析空间统计绿地分析地上地下一体化空间查询地下空间基础分析BIM数据与IOT数据融合BIM数据与业务数据融合二三维模型数据融合二三维模型数据与视频融合业务数据与仿真数据融合 知识数据与服务数据融合物理/虚拟空间知识库管理物理/虚拟空间服务数据管理模型检查模型轻量化模型入库模型检测模型抽取影像切片模型对比IOT数据分类数据推送理管理指标统计与分析云资源（虚拟机、网络、存储空间）数据库IOT/AI中间件GIS/BIM软件GIS数据BIM数据IOT数据业务属性数据结构化数据接入非结构化数据接入算法模型数据接入IOT数据接入知识规则数据接入三维空间模型接入关系型数据库空间数据库分布式结构化存储非结构化文件存储业务标准行业标准信息化政策法规和标准规范数据访问控制数据加密处理数据脱敏处理数据审计能力数据安全数据标准资源编目元数据管理数据标准数据质量数据监控运行监控虚拟数据物理空间/虚拟空间服务数据物理空间/虚拟空间规则数据物理空间/虚拟空间规衍生数据服务保障业务数据管理业务数据分析IOT数据分析仿真数据分析知识数据分析服务数据分析物理数据可视化业务数据可视化图 1 基于 CIM 平台的数据治理框架3面向数字孪生基于 CIM 平台的数据治理研究2.2 基于 CIM 平台的数据治理框架城市信息模型 CIM 平台是数字孪生数据中、微观数据治理的载体与环境，是数据治理的容器。基于CIM 平台可融合实现的物理空间与虚拟空间的数据治理功能包括：（1）数据资产管理，包括数据分类分级、数据资产归一化、目录管理、元数据管理；（2）数据交易管理，包括数据确权、数据估值、数据定价、数据共享、数据交易、数据授权、数据销售、数据审计以及数据服务保障；（3）数据融合与分析，包括虚实数据融合、时空数据融合、空间数据与业务数据融合、时空数据分析、业务数据分析以及数据可视化等；（4）数据质量管理，包括考虑数据一致性、可用性、安全性与可及性的数据收集质量、数据组织质量、数据表示质量以及数据应用质量管理；（5）数据安全管理，包括考虑机密性、完整性以及可及性的数据隐私安全管理；（6）标准管理，包括数据标准管理与平台建设标准管理等。基于 CIM 平台中的数据治理框架如图 1 所示。整个框架包括基础设施、数据中台、业务中台、数字孪生应用、数据安全及标准规范六部分，可对物理空间与虚拟空间的五大类数据进行融合治理。基于 CIM 平台的数据治理框架是可扩展的框架。广义的数据治理包括数据全生命周期各个阶段的所有涉及数据处理与应用的全过程，数据治理是一个循序深入的过程。基于 CIM 平台的数据治理框架，可以逐步丰富数据治理内容，通过原子化与模块化，把数据治理内容作为流程节点，通过动态组合，快速实现不同的数据治理需求，并能在现有基础上实现动态柔性扩展与深化。基于 CIM 平台的数据治理框架是开放的框架。五大类数据可逐步进入治理平台，并能以三维空间模型为基础，通过全实体对象的唯一编码，把该对象的全域数据进行关联整合，形成该实体对象历史、现在与未来的全生命周期数据集，进一步支撑数据分析与融合，提供应用服务。基于 CIM 平台的数据治理框架是可视化的框架。数据治理工作涉及大量的计算，数据治理的效果与监控需要可视化展示。通过 CIM 平台的全对象实体可视化能力，可以动态叠加对比分析数据治理效果，比如BIM 模型的轻量化数据治理、数据质量管理可视化监控等，通过可视化比对与监控分析动态调整数据治理参数，进而实时动态掌控数据治理过程与效果。2.3 数据质量与安全治理工作流科学工作流技术已广泛应用于科学研究、城市管理以及办公自动化OA等活动，它是将数据管理、计算、分析及可视化等一系列工作变成原子服务，通过数据流、业务流将原子服务组合在一起，通过流程化定制与任务调度执行，解决大规模数据自动化计算问题23。基于工作流理念，马文臻等24设计实现了自动、高效、实时和标准化的空间科学卫星工作流数据处理系统，完成了多卫星任务、多载荷数据源的大规模数据的高度复杂的处理。科学工作流为解决具有流程性的复杂的数据治理提供了有效的手段。数据质量管理与安全管理，涉及数据接入、质检、清洗、标签及安全等环节。把这些数据治理环节功能分解为原子模块，通过动态组合，定义工作流节点、流程与任务，实现数据资源动态规划与治理。数据治理核心是建立知识库，通过建立目录发布、数据同步、数据质检、数据清洗、数据标签、数据安全、数据融合以及数据服务发布知识库，结合可视化界面动态配置工作流任务，实施数据质量与安全的自动化治理。基于工作流的动态数据治理，同步保持动态扩展能力，随着知识库的丰富、数据治理功能或模块的增加，将实现虚实空间二三维空间地理数据、IoT 数据、业务管理数据的统一快速治理。图 2 是基于工作流的数据质量与安全治理流程框架。治理工作流治理环节任务知识库基本规则治理任务质检类型清洗类型标签类型安全类型审计类型环节类型基础字典同步规则质检规则清洗规则标签规则安全规则流程模板数据字典提供治理环节组织模板归集任务质检任务清洗任务标签任务安全任务图 2 数据质量安全治理工作流框架2.4 BIM 数据分层分级动态可视化数据可视化是多源数据治理展示与数字孪生应用的窗口，这要求数据可视化要具有流畅性与沉浸感。边根庆25对 IFC 格式的 BIM 模型重构进行了研究。陈静等26对三维模型纹理烘焙和多尺度可视化 GPU绘制方法进行了研究。刘北胜27提出了基于云渲染技术的三维 BIM 模型可视化方案。饶平平等28基于模型轻量化技术，建立 BIM 模型轻量化平台，并应用于BIM 工程信息分析与应用。4本文在数据可视化过程中，为解决不同场景可视化问题，设计按照市、区、街镇不同的空间范围，分别对应白模、精模、BIM 三维模型数据，单栋 BIM 数据按照先外立面再内部细节，研究建立了空间范围与精细度相互配合的分层分级可视化方案，并基于乐高标准构件可插拔理念，通过可插拔技术，构建分层分级可视化能力，实现不同场景三维数据动态加载与分析。3 上海市 CIM 平台数据治理上海市 CIM 平台建立了空间地理信息云环境，集成了二三维空间地理数据、BIM 数据、IoT 数据与业务管理数据，实现了空间数据、业务数据、IoT 数据的统一接入管理、目录管理以及元数据管理，以及数据质检、数据清洗、数据标签、数据安全、数据融合，数据分析、数据共享交换、数据服务及应用支撑。基于工作流实现了数据自动化归集、流程化管理、定制化服务与可视化监控；数据可视化实现了二三维数据一体化、动静态数据一体化、地上地下数据一体化以及 BIM 数据分层分级可视化。3.1 数据质量与安全治理在上海市 CIM 平台中，作为数据中台，通过前置数据库、数据接口和流文件三种方式，连通了 17 条数据归集与同步通道；设计了非空、数据范围、长度、唯一、数据格式、数据字典、文件验证、截取验证以及节点验证等 10 类质检类型；定义了逻辑错误（去重）、格式内容清洗、缺失值清洗、逻辑错误清洗等 6 类清洗类型；设置了信用、行政许可、行政处罚、电子档案、自然人和法人等 8 类标签；实施 MD5 处理、数据裁切、数据模糊化与AES 4类安全审计；并建立了证件类型、城市体检指标类型、实施机构、业务状态等约 50 个基础数据字典；按照数据质量与安全治理需求，设置数据编目、归集、质检、清洗、标签及安全 6 个节点，定制了通用数据处理、简易数据处理、一网通办数据处理、信用数据处理以及电子档案处理等五类数据治理模版；基于工作流编制数据治理流程并实施数据治理任务，每天动态处理约 100 万条数据；并对数据治理的六个节点按照红、绿、灰三种状态的进行动态可视化监控（红：异常；绿：正常；灰：没启动）。通过工作流自动化数据治理，大大节约了人力成本，提高了数据质量管理与安全管理的效能。数据治理总体界面如图 3 所示。图 3 数据治理监控系统总界面3.2 BIM 数据融合可视化基于上海市 CIM 平台实现了二维地图服务与三维模型服务的动态叠加，即二三维地理空间数据一体化；实现了交通实时路况、船舶实时位置与城市三维模型的动态叠加，即动态静态数据一体化；实现了地下管线、构筑物以及轨道区间与车站、城市地质等地下三维模型与地上三维模型的叠加，即地上地下三维数据一体化；实现了全市白模、精模以及 BIM 模型的分层分级可视化。其中 BIM 数据的动态可视化加载与查询分析如图 4 图 7 所示。图 4 全市白模加载图 5 拔下白模数据图 6 插上 BIM 数据5面向数字孪生基于 CIM 平台的数据治理研究图 7 BIM 内部细节数据动态加载4 结语数字孪生背景下的数据治理是一个持续深入的过程。本文提出了一个基于 CIM 平台的数据治理框架，对基于工作流的数据治理与数据可视化二个具体问题进行了初步研究，给出了数据治理成果，这可为相关数据治理研究与实践提供参考。后续研究重点包括：（1）传统的二维空间地理数据的组织管理方法已经很难适应数字孪生背景下的三维数据管理与应用，需要建立面向实体对象的数据组织理论与方法，以有效支撑多源数据融合、抽取与分析；（2）目前三维空间模型数据与业务管理数据、社会活动数据集成融合正在研究应用中，但是面对数字孪生，仿真数据与业务数据交互融合成为发挥数字孪生应用的关键；（3）目前数据安全的理论、政策和技术的研究与突破尤其迫切，区块链技术的研究与应用将可更进一步推进数据安全管理29,30，因此研究数据上链技术，成为数据安全管理的重要方向。参考文献参考文献1 陶飞，刘蔚然，刘检华，等.数字孪生及其应用探索 J.计算机集成制造系统，2018，24(1)：1-14.2 APRISODigital twin:manufacturing excellence through virtual factory replicationEB/OL.(2014-05-06).http:/.3 陶飞，刘蔚然，张萌，等.数字孪生五维模型及十大领域应用 J.计算机集成制造系统，2019，25(1)：1-18.4 陶飞等.数字孪生模型构建理论及应用 J.计算机集成制造系统，2021，27(1)：1-15.5 陶飞等数字孪生连接交互理论与关键技术 J/OL计算机集成制造系统，2023,29（1）：1-10.6 张晨源,陶飞.数字孪生模型评价指标体系 J.计算机集成制造系统，2021，27(8)：2171-2186.7 杨帆，马萍，李伟，等.数字孪生体可信度评估过程及指标研究 J/OL.系统仿真学报，2023,35（2）:350-358.8 李 琳 利，顾 复，李 浩，等.仿 生 视 角 的 数 字 孪 生系统信息安全框架及技术 J.浙江大学学报(工学版),2022,56(3):419-435.9 赵鹏，蒲天骄，王新迎，等.面向能源互联网数字孪生的电力物联网关键技术及展望 J.中国电机工程学报,2022,42(2):447-458.10 陈 健，盛 谦，陈 国 良，等.岩 土 工 程 数 字 孪 生 技术 研 究 进 展 J.华 中 科 技 大 学 学 报（自 然 科 学版）,2022,50(8):79-88.11 张超，周光辉，李晶晶，等.新一代信息技术赋能的数字孪生制造单元系统关键技术及应用研究 J.机械工程学报,2022,58:1-15.12 冷柏寒，唐夏斌，孙贺，等.面向可重构制造的数字孪生映射建模与监控仿真 J.浙 江 大 学 学 报(工学版),56(5):843-855.13 康孟珍.平行圆明园：从数字孪生园林到元宇宙智慧遗址公园 J.智能科学与技术学报 J，2022，4(3):301-306.14 郭丞皓，于劲松，宋悦，等基于数字孪生的飞机 起 落 架 健 康 管 理 技 术 应 用 J/OL.航 空 学 报:1-182022-07-15.https:/ 尚可，张宇琳，张飞舟，等基于数字孪生技术的智慧停车场总体架构研究 J/OL北京航空航天大学学报:1-112022-03-05.https:/doi.org/10.13700/j.bh.1001-5965.2021.0624.16 张宇琳，尚可，张飞舟，等.基于数字孪生技术的异质交通流安全性研究 J.北京大学学报(自然科学版),2022,58(5):888-896.17 张 科，张 照 杰，李 娜，等.数 字 孪 生 生 态 环 境 下空气污染扩散应急监测方法研究 J.地理信息世界,2022,29(4):107-111.18 Christian Meske,Karen S.Osmundsen,Iris Junglas.Designing and Implementing Digital Twins in the Energy Grid SectorJ.MIS Quarterly Executive,2021,20(3):183-198.19 张 宁,袁 勤 俭.数 据 治 理 研 究 述 评 J.情 报 杂志,2017,36(5):129-134.20 安小米,许济沧,王丽丽，等.国际标准中的数据治理:概念、视角及其标准化协同路径 J.中国图书馆学报,2021,47(255):59-79.21 住房和城乡建设部办公厅.城市信息模型（CIM）基础平台技术导则（修订版）S.2021.6Research on Data Governance Based on CIM Platform for Digital TwinResearch on Data Governance Based on CIM Platform for Digital TwinWang Feng(Shanghai Urban-Rural Construction and Transportation Development Research Institute,Shanghai 200032,China)Abstract:Digital twin is an important foothold of digital transformation,and data governance is the core of the interaction and integration of both physical and virtual entities of digital twin.The City Information Model(CIM)is an important platform which supports for data governance facing digital twin.This paper first analyzes the scope and content of digital twin-oriented data governance,proposes a data governance framework based on the CIM platform,and then studies the technologies of data governance on the basis of workflow and multi-source data visualization through hierarchical classification and other technologies,which finally obtains the results of data governance construction and application services of the CIM platform in Shanghai.Through research and practice,it has proved that the framework proposed in this paper is feasible,extendible,and open,which can provide reference for data governance research and application practice under the context of digital twin.Key Words:Digital Twin;Data Governance;City Information Model(CIM);Work Flow;Visualization22 田颖,杨滔,党安荣.城市信息模型的支撑技术体系解析 J.地理与地理信息科学,2022,38(3):50-57.23 黎建辉，李跃鹏，王华进，等.科学大数据管理技术与系统 J.中国科学院院刊,2018,33(8):796-803.24 马文臻，邹自明，黎建辉，等.空间科学卫星数据处理框架研究与系统实现J.系统仿真学报,2022,34(7):1605-1618.25 边根庆,陈蔚韬.面向 Web 的建筑三维模型可视化方法研究 J.图学学报,2021,42(5):823-832.26 陈 静,吴 思,谢 秉 雄.面 向 GPU 绘 制 的 复 杂 三维模型可视化方法 J.武汉大学学报.信息科学版,2014,39(1):106-111.27 刘北胜.基于云渲染的三维 BIM 模型可视化技术研究J.北京交通大学学报,2017,41(6):107-113.28 饶平平，赵思凡，张学亮基于 Web 流式加载的 BIM轻量化技术研究与应用 J土木建筑工程信息技术，2022,14(5):31-36.29 Ramu,SP,Boopalan,P,Pham,QV,etc.Federated learning enabled digital twins for smart cities:Concepts,recent advances,and future directionsJ.SUSTAINABLE CITIES AND SOCIETY,2022,79.30 Teisserenc,B,Sepasgozar,S.Adoption of Blockchain Technology through Digital Twins in the Construction Industry 4.0:A PESTELS ApproachJ.BUILDINGS,2021,11(12).