武汉地铁线网数据共享平台建设及场景应用实践_吴凡.pdf

38Information信息化城市轨道交通，2023 年第 6 期优化网络化运营规模下轨道交通运营及服务的数据共享模式，通过数据驱动研究改变传统数据采集模式，推动学科理论发展和技术方法，支撑适应于轨道交通网络化新的发展格局，成为行业内愈发关注的焦点。武汉地铁通过线网数据共享平台，根据“建设、运营、经营”应用场景布局，建设完善的地铁业务应用体系，全面提升地铁集团建设、运营、经营全方位的管理和决策能力，促进地铁全面信息化建设、数字化转型、智慧城轨落地。一、线网数据共享平台建设目标（一）总体目标武汉地铁集团数据共享平台建设的核心目标是推动武汉地铁集团运营管理的全面提升，从线网运营层面支持武汉地铁集团应对超大规模客流和超大规模网络的挑战，并从企业经营管理层面推进武汉地铁集团管理转型发展的需求，从业务上数据共享平台应实现对武汉地铁集团全业务流程的覆盖，从能力上应支持“智慧地铁”的构建。数据共享平台是面向武汉轨道交通运营全过程，实现各系统生产数据、运营核心主数据、领域知识数据的梳理，数据的抽象提炼、集成、分析、关联挖掘和重构，统一数据标准，武汉地铁线网数据共享平台建设及场景应用实践文：吴凡，杨享，刘文沛丨武汉地铁集团有限公司高凡丨北京经纬信息技术有限公司熊斌丨武汉烽火信息集成技术有限公司武汉地铁通过线网数据共享平台，布局“建设、运营、经营”应用场景，建设完善的地铁业务应用体系，全面提升地铁集团建设、运营、经营全方位的管理和决策能力，促进地铁全面信息化建设、数字化转型、智慧城轨落地。打破数据孤岛，进行数据的统一汇聚和管理。建立武汉轨道交通数据共享平台，提供在多源数据、大数据量情况下的存储、综合调用、分析挖掘以及相应的计算能力，提升武汉地铁运行安全，提高工作效率，支撑服务的智慧化升级。一是助力数字化管控：通过数据共享平台统一管理企业生产网数据资产，并进行数据的分析利用，可以有效加强武汉地铁集团运营管控，有利于网络化运营的规范化管理。对设备资产以及工程项目等的预测性分析，可以使维修和建设资源和技术得以共享，有效规避运营和建设风险。二是促进数字运营安全：通过统一的运营管控分析，可有效识别客流拥堵现象，并及时疏导；有利于安全事件的监控和及时处置；有利于与市政府的沟通协调，确保市民出行的安全。通过对设备资产进行预防性维修，可以帮助线路和站点对安全隐患进行可预见性的分析，从而确保轨道交通运营的安全。三是优化数字能力服务：数据共享平台建成后，利用大数据技术分析乘客对地铁运营的评价和建议，可为服务水平改进提供有效方案。通过大数据和移动互联技术可以为乘客提供及时的信息和良好的地铁体验，数据共享平台将整合集团的 IT 资源和技术，提供统一的 IT 服务窗口，从而整体提升 IT 服务水平。（二）功能定位数据共享平台是武汉地铁集团基于统一整合的数据平台，一方面为武汉地铁集团业务部门提供数据应用服务，另一方面也是集团 IT 建设的重要基础设施，也将作为武汉城市公共交通管理组织的重要信息源，为不同组织部门、不同管理层级的用户提供多样化的服务，数据共享平台主要功能定位：一是武汉地铁集团战略决策的辅助支持中心。数据共享平台整合集团经营管理数据、线网运营数据、人力、财务等企业管理数据，并通过数据整理，历史数据分析，为集团领导的综合决策提供数据支持。二是武汉地铁集团经营状态的综合展示中心。通过数据共享平台展示集团的全面经营状态，通过“领导驾驶舱”“经营分析”“财务管理”等专题数据展示，为武汉地铁集团各层管理经营人员提供掌握集团综合信息数据渠道。三是武汉地铁集团精益管理的数据分析平台。为武汉地铁集团领导经营决策、线网运营指挥效率的提升、维保管理修程修制的优化、投融资效率的评估等方面提供高级的分析应用，如：综合对标评DOI:10.14052/ki.china.metros.2023.06.00239信息化城市轨道交通，2023 年第 6 期Information估、线网客流预测、车辆预测性维修等，为集团业务专家、数据分析专家提供数据分析环境。四是武汉地铁集团经营指标的权威发布平台。通过信息数据共享平台的数据开发，按照武汉地铁集团管理约定，提供定期的、临时的以及特定需求的经营指标统计，作为集团经营指标的权威发布，形成统一的数据发布路径。五是武汉地铁集团数据资源的标准管理平台。建立数据质量管理标准、配置相关的岗位和人员，按照既定的数据质量标准和数据治理机制，对武汉地铁集团数据上报质量、数据规范进行统一管理，确保数据真实可用。六是武汉地铁集团统一的对外数据服务平台。以指标体系为基础，作为武汉地铁集团对外数据服务的技术平台，一方面对交警、公交、交通、铁路、民航等方面提供统一的武汉市轨道交通信息，协助交通指挥组织；另一方面通过数据产品的设计开发，形成轨道交通有价值的数据产品，创新数据价值。（三）业务需求一是为“建设、运营、经营”提供数据标准化服务。数据共享平台为项目建设管理、经营管理、维护保障管理、资源开发管理提供数据服务，为企业管理提供数据服务。二是为“多样、异构数据源”提供数据流程化共享服务。将数据从异构的、多样的数据源采集到能够支撑大数据架构的环境中，数据采集以便后期对数据的二次加工，实现数据的价值分析。三是为“核心指标分析”提供智能化。将按照武汉地铁集团“三驾马车”发展战略，挖掘建设、运营、经营三大板块的业务KPI、业务指标。二、线网数据共享平台建设方案数据共享平台立足于全集团的数据资产汇聚和服务平台，主要侧重于数据的获取、存储、治理及价值挖掘，为其他业务系统和部门提供数据和分析服务。其主要功能是汇总、存储数据，并对数据进行融合治理，按照制定的数据规划和标准存储数据，为大数据的业务应用系统提供数据、计算支持。同时，大数据综合管理系统平台为已有各业务应用系统提供丰富多元化的大数据应用支撑工具和组件，可有效拓展各业务应用系统的应用开发升维。（一）线网数据共享平台总体架构数据共享平台构建在统一的云平台之上，数据集成、数据存储、应用支撑等数据共享平台软件，以及数据应用软件均以云化方式部署，统一由云平台运维管控。数据共享平台（图 1）将构建一整套城轨数据治理标准体系，提供从数据采集、数据融合、数据治理、数据分析、数据服务端到端数据治理参考规范。按照数据源、数据集成、存储与治理、应用支撑、数据应用五层架构设计，在安全生产网、内部管理网、外部服务网三张网域分别构建相对独立的大数据平台，为三网内的应用提供数据服务，对于需要跨网域数据的应用可以通过数据共享模块实现跨网域数据流转，利用数据安全工具平台以及数据安全标准对从数据采集到数据服务的各环节提供数据安全保证。（二）线网数据共享平台数据架构武汉地铁大数据共享平台数据架构参照行业相关信息系统技术规范，结合武汉地铁实际需求建设了面向主题的、整合的、随时间变化的湖仓一体数据架构，包含贴源数据区（STG）、操作数据层（ODS）、基础数据明细层（DWD）、数据汇总层（DWA）和数据集市层（DM）层逻辑模型，模型分工及加工数据流。贴源数据区主要是临时存储缓冲从源系统抽取的数据，抽取源系统数据时一般不做任何修改。操作数据层定时从贴源数据区全量或增量抽取数据，并存储在基于 HDFS 的分布式文件存储上。图 1 线网数据共享平台总体架构40Information信息化城市轨道交通，2023 年第 6 期基础数据明细层是明细细节数据的长期存储，面向武汉地铁的业务主题域存储地铁全量的细节数据，支撑后续分析类应用的实施。基础数据明细层遵循第三范式进行数据建模，主要对操作数据层的数据进行整合、标记、转码，去重等操作。数据汇总层主要是对明细层数据的轻度汇总，按照相应的业务逻辑构建指标、算法、标签画像模型。数据集市层主要是面向应用的宽表模型。另外针对实时数据处理，可以直接从基础数据明细层、数据汇总层获取数据进行实时处理。同时实时处理结果也可以反向在基础数据明细层、数据集市层落库。整合过程需要同步开展数据治理活动。（三）线网数据共享平台部署架构线网数据共享平台本期建设按照“三网三平台”设计思路，在三个业务网域搭建三套大数据集群，实现各自网域的数据共享平台建设。在“三网三平台”中，以内部管理网数据共享平台作为主平台，各平台内部的数据融合、数据分析的业务在各自数据平台完成，跨域的数据融合、数据分析在内部管理网的数据共享平台完成。跨域的数据流转以及数据共享通过数据共享层完成网间数据传输，为上层应用系统提供数据支持。（四）线网数据共享平台跨域数据共享在安全生产网、内部管理网和外部服务网三个网络环境中分别部署的方式，实现各网络中的数据接入、存储、处理、分析能力。在三网边界配置隔离网闸、防火墙等安全防护设备，并制定访问控制策略。不同级别的应用系统通过边界安全防护和访问权限的差异化管控进行数据交换，高安全级网域数据向低安全级网域数据流动时不需安全控制，但低安全级向高安全级流动时，需经过安全策略控制。在数据明细层通过数据治理平台配置数据调度作业，按照主题库的元数据标准对数据进行调配、汇聚及整合；按照外部服务网与内部管理网，安全生产网与内部管理网之间的数据交换安全策略，实现数据的跨网域安全交换，在逻辑上对主题库进行统一管理。（五）线网数据共享平台治理体系框架线网数据共享平台的数据治理思路，采用建设规范、流程、组织一体化标准体系，支撑数据治理体系建设并落地运行，重点是数据管理体系设计、数据管理规范设计两个体系的建设，数据治理体系架构见图 2。数据管理规范设计主要结合武汉地铁对数据管理的需求，包括数据标准管理规范、数据共享管理规范、元数据管理规范、数据服务管理规范、数据接入管理规范、数据开发实施规范、数据质量管理规范、数据安全管理规范等。三、线网数据共享平台场景应用线网运营指挥数据共享应用：线网数据共享平台针对行车、车辆、客流、供电及专业系统设备等数据进行实时监视及处理，帮助用户更好地进行武汉市轨道交通各线路运营状态的全面监视，支撑行车调度、客流调度、设备调度、供电调度、车辆调度、视频调度、联动功能。线网应急指挥数据共享应用：线网数据共享平台在应急事件处置及协调系统中也发挥着数据快速响应、决策支撑作用。根据日常监视和应急处置的需要，依托应急值守、应急资源管理、应急指挥、总结评估、培训演练、运营信息监视、数字化预案管理、报警管理、应急数字化处置、应急地理信息系统等功能，实现高效、快捷、可扩展、易维护的应急数字化应用。线网指标分析数据共享应用：线网数据分析基于业务大数据分析进行数据挖掘，并建立、管理和发布相应的指标体系，实现线网化运营指标的精细化、可视化、智能化管理，为城市线网轨道交通系统运营决策提供数据支持。多场景数据分析模型应用：数据共享平台依托短时、短期、预知大客流、新线开通等场景客流预测，以及车站仿真、线路仿真和线网仿真、线网运输计划编制与运营、线网运营信息服务等不同主题模型，为运营管理提供技术支撑。资源经营决策引擎及应用：地铁商业业态多种多样，数据共享平台可针对地下商业街、购物中心、所有站厅广告、商铺，通过对车站属性分析、客流属性分析、乘客画像、车站周边商业数据分析，为提高招商营运能力、提高广告资源竟争力、提高商铺的出租率、降低商铺的空置率提供决策建议。资产分析决策引擎及应用：数据共享平台可利用资产分析决策、数据台账、标准规范等资产41信息化城市轨道交通，2023 年第 6 期Information管理模型，对地铁资产数据进行管理管控，形成数据计划管理、计划监督、计划追踪追溯和审核。四、线网数据共享平台建设成效武汉地铁的线网数据共享平台，主动解决了轨道交通网络化运营数据采集服务面临的相关技术难点，推动了数据采集共享平台的技术进步，在数字经济促进产业数字化、行业数字化转型背景下，对于充分发挥数据要素、实现资源整合、拓宽数据共享深度、推动多业务融合优化、大数据分析应用等发面发挥着数字红利作用，综合达到降成本增效益、提升管控能力、提升质量水平、提升共享服务、生态数字应用的综合效益。具体的建设成效包括：按照“三网三平台”设计思路，在三个业务网域搭建三套大数据集群（MRS+DWS）搭建大数据基础平台，支持多源、异构、多种接入方式的城轨系统数据汇聚及数据采集，实现了统一数据标准，提高数据服务质量，管理数据使用的数据治理，构建了提炼固化武汉地铁城轨行业数据模型（主题库、专题库）的数据治理体系，通过融合数仓、数据应用支撑提供数据挖掘、多维分析、数据可视化、知识图谱等数据应用支撑服务，形成支持 API、消息、数据多种集成方式，实现数据共享与交换的数据集成平台，并在线网运营指挥系统、线网应急指挥系统、线网有指标统计分析系统、客流预测系统、运营仿真系统、线网运输计划编制与运营评估系统、线网运营信息服务系统、可视化系统、资源经营决策引擎及应用、人力绩效评价引擎及应用、资产分析决策引擎及应用、企业知识图谱化管理应用等业务应用方面发挥数据共享作用。武汉地铁数据共享平台建设按照“三网三平台”设计思路，按照数字安全、数据共享、数据生态服务的理念，在三个业务网域搭建三套大数据集群，实现各自网域的数据共享平台建设，在“三网三平台”，以内部管理网数据共享平台作为主平台，通过数据共享层完成网间数据传输，在内部管理网统一储存三网各自清洗、分析后的结果，为上层应用系统提供数据支持。主要建议包括：一是安全生产网的数据共享平台实施建设，建议包含测试平台和正式平台，按照各线路数据量进行建设，并为业务系统提供应用支撑。二是内部管理网的数据共享平台建设，建议在满足接入、存储、处理、分析管理信息系统的能力的同时，完成各应用数据服务以及数据标准制定。数据共享平台应支持企业信息化各业务系统打通数据壁垒，实现企业级的管理信息的共享。三是外部服务网的数据共享平台建设，建议在满足接入、存储、处理、分析乘客服务管理系统（包括乘客服务、智慧出行、智慧商务）、以及互联网数据（商业、广告、天气、温度、突发事件、重要新闻、重点网站讯息、相关舆情）的能力的同时，完成各应用数据服务以及数据标准制定。图 2 数据治理体系架构