郑州地铁大数据的实践和认识.pdf

郑州地铁大数据应用的实践和认识2022RT轨道交通线上交流会李昱见郑州地铁集团有限公司信息管理部负责人CONTENT01Chapter one02Chapter two04Chapter four03Chapter three地铁行业特点大数据工作思路展望大数据应用若干成果亮亮见见新新数数字字智智慧慧城城市市微微信信：W Wy yu up pe ei i7 77 77 7【亮见新数字智慧城市】【亮见新数字智慧城市】创办者，12000余名智慧城市领域从业者关注，建立12个头部设计院、30个资方伙伴、50余个央企国资集成公司、30个地方平台公司+600余个智慧城市领域厂家生态。传播数字中国新型智慧城市+数字新科技大数据、数字经济、数字要素、数字乡村、元宇宙、双碳等新技术建设知识。Chapter 01地铁行业特点郑州地铁集团有限公司于2008年2月成立，2018年改制为集团公司，主要负责轨道交通项目工程投资、建设、运营，资源经营等等。员工超1万人，资产超2000亿元，内设20个部室，下设2个分公司和多家子公司。郑州地铁概况1号线、2号线等共7条线路运营，210余公里、152座车站。正常情况日均客运量150余万人次，公共交通分担率达45%。在建8条线路211.7公里124座车站。5郑州地铁建设和运营情况城市轨道交通的行业特点：双模业态双模业务形态Model 1工控生产域1号线通信和信号、供电、牵引、控制中心和线网级应急指挥等生产自动化Model 2非 生 产 域 业 务企业管理、工程建设、运营生产辅助性质、大数据挖掘分析等信息化应用安全效率专业多：智慧运营维护站台门站台门EHM项目FAS气瓶间智能巡检信号5G车地通信信号智能运维车辆走行部在线监测车顶异常动态监视通信通信智能告警PIS播控新技术工建隧道结构三维扫描轨道钢轨稳定性监测接触网热滑视频智能分析电扶梯电扶梯智能监测7数据多：地铁大数据一体化管理信息平台的人力、财务、合同、物资资产、OA等大量数据各运营线路提供的车辆、供电、机电设备、车站视频等个专业海量数据线网清分中心提供的客流和票务数据手机扫码等云购票平台的乘客数据工程项目建设管理的数据线网级指挥应急中心提供的应急和综合数据地铁大数据城市轨道交通的行业特点：若干标签集团化国企城市骨干社会影响大资金密集型资产密集型工程建设线网化运营业务版块多合法合规安全可靠应用型创新、流程创新、数字化基础设施能力专业多、数据类型多、数据量大工业化、信息化两化融合场景多各地地铁建设和运营业务相近，相互借鉴信息化数字化提升空间大，大数据应用场景多Chapter 02大数据工作思路城轨高质量发展离不开大数据等先进技术 以5G+ABC（人工智能、大数据、云计算）为代表的新兴通信信息技术飞速发展，促进城轨交通行业数字化、信息化、智能化、智慧化进入快车道。终端：即终端和远端采集和展示能力，如智能传感器、智能手机、物联网（IOT）、边缘计算（Edge Computing）通信：即无线、有线连接技术能力，如5G、物联网（IOT）、WIFI-6云端：即新基建之信息基础设施容量能力，如云计算（Cloud Computing）、大数据（Big Data）、区块链计算：即快速计算和分析能力，如人工智能（AI）、大数据（Big Data）、云计算（Cloud Computing）+地铁网络化运营和管理信息化的总体愿景核心理念大规模、高可靠、高弹性分配大数据快速计算、秒级查询资源共享、降低 IT成本统一的云计算资源统一的大数据资源数据即资产、数据即生产要素大数据智能分析应用降低网络化运营成本DT时代对大数据平台建设的需要数据即资产视频数据精细化管理人才经验海量数据智能化应用网络化运营对大数据平台建设的需要预计日客流150万人次日均每站服务人员9-15人客流换乘多样化大客流应急处置更复杂运营管理和应急压力更大客流预警仿真更必要依据数据决策更必要紫荆山燕庄会展中心民航路黄河南路农业南路东风南路郑州东站博学路市体育中心龙子湖文苑北站河南大学新区人民路二七广场郑州火车站医学院绿城广场碧沙岗五一公园秦岭路西三环西流湖铁炉兰寨梧桐街郑州大学郑大科技园河南工业大学天山路大河广场固城黄河迎宾馆金洼英才东刘庄柳林沙门北三环东风路关虎屯黄河路东大街陇海东二里岗南五里堡花寨南三环战马屯南四环十八里河沙窝李双湖大道小乔华南城西华南城华南城东孟庄港区北康平湖兰河公园恩平湖综合保税区新郑机场机场东站场四街机场南路郑州南站冯庄京广南路市第二人民医院嵩山南路工人路市中心医院陇海西路淮河西路月季公园沙口路海滩寺郑州人民医院省人民医院姚寨众意西路中央商务区市儿童医院祭城金水东路康宁街省骨科医院经北二路经开中心广场经开第三大街中原福塔七里河航海广场城东南路从自动化到物联网：IT与OT的两化融合自动化监控监控设备实时状态（强调系统稳定可靠）实时和短期数据在车间或某个系统范围内与互联网物理隔离的专网物联网应用（自动化+信息化）关注于设备数据的分析与应用实时数据和大量历史数据各类型设备数据融合、数据赋能、辅助决策智能终端访问、与互联网和公有云连接大数据规划实践过程：智轨小组、智慧规划、大数据科研验证、大数据一期项目20082011信息化建设规划（2011-2016年）2014.6.62021一体化管理信息平台一期启动2020.12综合管理部（含信息中心）2014年信息中心（宣传和IT）2017年，信息管理部大数据一期项目上线运分信息管理部2021年 信息管理部智慧地铁十四五规划2018公司智轨小组成立数字化移动智能化信息化、规范化电子化大数据规划：数据融合、数据赋能智慧地铁规划万物互联+全息感知+数据融通+数据赋能生产数据湖（Data Lake）应用层智慧服务数据魔方（Data Cube）生产域数据企管域数据采集层基础设施层企业数据湖（Data Lake）外部数据湖（Data Lake）智慧运营智慧管理智慧建设系统名称数据库计算资源历史数据量时间窗口备注AFC1号线LCOracleCPU1.5%、Mem68%121G00：00-05：00生产数据库保存9个月、历史数据库全量2号线LCOracleCPU2.3%、Mem54%49G城郊线LCGBaseCPU0.7%、Mem53%63GACCDB2CPU 10%、Mem 80%17T日切结束运营至今数据全量ISCS1号线LCSystematICSCPU 30%、Mem 30%942G可以同步历史库生产库与历史库2号线LCOracleCPU 30%、Mem 30%189.7G城郊线LCOracleCPU 30%、Mem 30%暂无ACS1号线LCSQL ServerCPU 30%、Mem 30%24G可以同步历史库生产库与历史库2号线LCSQL ServerCPU 30%、Mem 30%147M城郊线LCSQL ServerCPU 30%、Mem 30%168MSCADAOracleCPU:5%-15%、Mem：30%-60%20G传输系统SQL ServerCPU 5%、Mem 75%2.74G00:00-4:00查询库、生产库、历史库公务电话SQL ServerCPU 3%、Mem 88%12.3G00:00-4:00查询库、生产库、历史库专用无线SQL ServerCPU 5%、Mem 20%382.2M00:00-4:00查询库、生产库、历史库PISSQL ServerCPU 50%、Mem 90%15.4G00:00-4:00查询库、生产库、历史库CCTVMysqlCPU 2%、Mem 30%2.16G00:00-4:00查询库、生产库、历史库大数据科研实战验证：郑州地铁各线路生产信息系统数据现状ACC客流数据存量大、数据面全，数据规范。其他系统数据量较小，可分析数据面小，数据标准不统一。19l 1号线潮汐规律l 2号线早聚晚散规律l 周五、周末客流高于 其他天l 老城区居住为主l 东区办公为主l 一卡通用户数和使用情况呈“二八”规律l 紫荆山换乘段客流较拥堵l 市体育中心云购票使用最高l 客流成长规律研究l 2018跨年夜会展中心客流分析大数据实验室实战研究：客流大数据主题（结构化数据）数据采集数据加工数据治理数据模型数据展示数据整合数据可视化展现平台分析和决策支持数据集市（可供上层应用系统分析）数据采集、数据ETL、手工上传线网层的应用系统秒级查询秒级查询数据报表数据报表OLAP多维分析多维分析数据管控平台数据管控平台平台系统管理平台系统管理元数据管理数据质量管理主数据管理数据标准管理数据安全管理统一的资源分配管理行车监察行车监察供电监察供电监察运营评估运营评估客流监察客流监察设备监察设备监察客流预测客流预测结构化数据半/非结构化数据实时流数据大数据人员项目管理人员多源异构大数据存储（企业级数据湖）原始数据池原始数据池清洗加工数据池清洗加工数据池整合加工数据池整合加工数据池数据分析人员统一的运维监控管理客流客流ACC数据数据供电系统供电系统行车行车SIG数据数据设备设备ISCS数据数据视频数据视频数据系统运维数据系统运维数据有大型项目管理经验熟悉大数据、云计算、人工智能熟悉大数据、云计算、人工智能数据java、python等开发语言熟悉算法熟悉业务大数据科研实战其它成果：解剖麻雀以小见大，可以更深入认识全局和人员需求大数据一期项目启动1234信息化发展必要提高管理水平需要海量数据分析需要资源信息共享需要数据中心 必要性u 郑州地铁第三轮轨道交通规划与建设；u 由单线建设逐步向网络化建设和运营；u 采用信息化促进城市轨道交通发展战略；u ABC等新一代技术应用u 对上级部门提供定期数据为制定宏观政策提供数据；u 为综合交通发展，交通结构分析结构提供数据支持；u 为突发事件和重大事件的预案管理提供数据支持；u 充分利用数据资源、避免资源配置的浪费和闲置。；u 加强数据共享，进行标准化，模块化数据分析；u 轨道交通之间的线路越来越密切；u 构成轨道交通运营网络，协同市民出行服务；前台公司各单位各部门人员，自主数据分析、数据挖掘创新后台感知层数据采集、源数据接入互通共享机制存储全量数据快速计算能力模型算法创新存通用（中台）发挥大数据云平台的普惠和长效作用，数据中台和技术中台的作用大数据规划定位：数字化基础设施能力大数据顶层设计的基础要义、基本原则 先进性采用基于Hadoop的大数据云平台，摈弃传统数仓和小型机方式支持结构化、非结构化数据能力、流视频处理能力、和人工智能分析。全局性汇总所有数据，提供可扩展的分析计算能力，提供按需按权限的数据服务，是地铁的数据和平台基础，服务于网络化建设、运营、企管、资源等。高安全性大数据平台故障瘫痪不影响OCC、NCC、ANCC、ITP等生产云承载工控网，单向传递数据给大数据平台。高性价比易维护性：大数据云平台需具备易维护和升级特性。建设成本：采用X86机器，较一体机、小型机显著降低。运维成本：大数据云平台市场成熟、稳定成熟，IT技术运维人员极少。全场景规划，小场景启动演进式，敏捷数据中台设计阶段横着走落地阶段竖着切构建大数据云平台（数据中台）的原则大数据|数据采集 客流数据 列车运行数据 CCTV数据 企业管理数据 乘客数据 天气数据地面公交数据数据汇总分析客流数据13.6亿条数据需约20物理服务器节点，每节点约8万 综合监控数据 设备智慧修数据 供电数据大数据应用|提供通用的大数据分析工具 数据仓库 源数据 客流等不同主题的数据模型 调用模型实现灵活查询和预测 结果可视化分析大数据应用|数据共享数据交换平台大数据湖（Data Lake）集群域企业数仓结构化集群域视频等非结构化大数据集群域开发/测试/培训集群域大数据分析服务实验室集群域大数据资产目录需要得到共享部门/系统提供共享部门/系统查询获取发布数据通过大数据中台，建立统一的数据标准体系，提供可产生价值的数据实体；解决各应用分析系统的共性问题，即 有什么数据、数据在哪，数据谁可用。IaaSI-PaaS资源池化CPU资源内存资源存储资源网络资源基础设施X86服务器X86服务器X86服务器网络设备安全设备大数据云平台（由多台廉价X86服务器组成的超级计算机）其它虚拟机房（VDC）PaaSSaaS数据库服务aaS数据仓库aaSDevOps开发套件人工智能aaS数据集市aaS实时处理aaS搜索引擎aaS大数据服务大数据服务Web中间件数据流转服务人工智能微服务开发框架人工智能微服务开发框架A-PaaS分布式大数据平台及服务层业务应用板块工程建设管理应用企业管理应用OA系统合同系统财务系统人力系统运营应用智慧检修能耗分析行车监察线网非生产类大数据云整体架构大数据云平台具有可扩展的架构、高性能的计算能力。业务应用（虚拟数据中心VDC）就会逐步叠加，而这些业务应用都应该按需申请资源，各自独立，互不影响，且做到底层资源共享，大数据云平台是这种方式的最佳架构。Chapter 03大数据应用的若干成果客流智能预测TIPS系统-定位和建设范围客流预测多源数据融合站内客流分布乘客画像分析灵活查询1、多源异构数据(AFC刷卡/天气/活动/事件)实时接入融合分析；2、采用机器学习算法实现多场景预测(日期/节假日/突发事件等)，不断自我学习提高准确性；3、实现车站内车各风险点位客流聚集、行人流量等进行分析，结合评价标准进行风险预警；4、重点客流（通勤）的分布和主要流量流向精准统计，重点时段的各类乘客构成分析，区域重点客流的分布和流向分析；5、实现客流指标的多种维度灵活配置统计分析。实现客流主题的大数据分析应用，利用数据建模和挖掘分析，实现站、线、网的客流动态展示和综合查询，为车站服务人员提供更合理调配建议，辅助优化完善行车计划，实现站、线、网的客流预警，结合应急预案，提前准备，提前动作，提升应急水平，决策和调度心中有“数”，降低站务中心服务人员工作压力和人员成本。TIPS系统建设面临难点1234数据安全生产、管理网数据集成；数据完整性；数据访问安全性海量数据56亿条客流数据刷卡/码数据：813058103条清分进出站数据：360187588条路径数据：593317114条断面信息数据：3921263125条ANCC历史+实时数据气象数据站务系统数据预测准确性线网规模每年变化疫情、停运、特殊日等不定性因素多，对预测准确性影响较大5微服务架构创新技术架构高效快速敏捷开发一键发布、统一运维高效协作集团信息管理部、分公司线网管控中心、客运中心成立客流分析小组集中办公客流智能分析预测TIPS系统-功能展示01 调度模式02 站务模式线网区间断面拥挤度、客流分布进站量排名全天的预测走势预测的指标、预警信息早高峰来向、去向分布相邻上下行断面预测指标上下行换乘指标当前车站5分钟预测、预警信息客流智能分析预测TIPS系统-功能展示03 领导看板本周客流主要指标本周线路客流排名及上周同期对比本周车站进站排名及上周同期对比本周换乘量排名及上周同期对比本周分时段客流及上周同期对比本周的客流量的预测本周票卡占比分析本周公共交通的出行占比近三年客运量的走势客流智能分析预测TIPS系统-功能展示预测指标预测场景、算法模型配置预测日历预测指标多种场景预测模型实例、预测结果展示客流智能分析预测TIPS系统-功能展示及时掌握不同时间粒度未来客流为列车运行组织和车站客运组织提供重要依据；站、线、断面的实时客流预警信息的实时客流预警信息推送，让决策者和调度人员心中有“数”；断面拥挤度预测的实时推送，辅助优化完善行车计划；动态掌握线网乘客出行特征、乘客出行偏好等信息，更好的为乘客提供舒适的乘车体验、灵活的出行方式推荐；以动画的方式实时显示本站客流的来源地和目的地，为线网联动客流控制提供数据依据业务现状大数据价值断面满载率的滞后反馈，线网实时客流信息掌握不及时站务人员仅掌握本站客流，对客流的来去向掌握不明确，不能实现客流的源头控制大客流情况下，采用经验值的方式进行行车调度，导致部分情况下的加车、减车不合理充分调研分析调票中心/站务中心的业务现状和需求，实现从“经验”到“数据”的转变经验数据客流智能预测系统-提升地铁运营调度业务能力价值1.客流分布热力图区域划分增加交叉流线区这一区域风险点及闸机组客流分布区域。2.车站进站客流预测统计粒度各个闸机组的分布预测，时间未来最小粒为15min。3.系统考虑实现上一断面当列车到站后，实时的满载率数据，根据实际满载率数据灵活安排客流进站客运组织及是否限流。4.将客流预测结果数据推送到站务系统，分时预测结果可以为站务人员灵活排班提供数据支撑。5.在展示线网图预测指标值时，考虑增加每个车站当日总值班人数。客流去向分布分析客流预警www.transwarp.io 2022 Transwarp.All Rights Reserved.客流智能预测系统-站务客运组织变被动为主动 客流运营数据日常查询统计：客流指标的多种维度灵活配置统计分析，提前做好准备应对工作。客流预测：重大节假日车站进站量、换乘量的预测数据、未来7天客流预测数据 客流分布：相邻站上下行断面、来向去向分布。面向客运中心早高峰来向、去向分布相邻上下行断面预测指标上下行换乘指标当前车站5分钟客流预测预警信息历史客流数据查询统计 客流运营数据日常查询统计：利用数据建模和挖掘分析，实现站、线、网的客流动态展示和综合查询。行车调度辅助：重要节假日预测、短时、短期的预测，日常行车调度和运行图计划提供依据。运行图编制依据：基于客流预测数据调整编制日常、节假日的运行图计划。运营日报：每日运营客流日报数据统一大数据平台统一提供；ANCC数据大屏：当日客流动态分布、OD、断面数据实时呈现ANCC日常运维监视大屏；线网管控中心节假日预测大屏数据领导看板-客流日报 郑轨通：客流运营数据、近三年客流趋势、票卡数据和最近客流预测数据等；利用已上线的预测模型，针对2021年国庆假期进行了手动和自动跑批预测，预测准确率均值为97.37%，预测准确率最高值为99.62%，最低值为93.04%。时间段2021-09-302021-10-012021-10-022021-10-032021-10-042021-10-052021-10-062021-10-07出站量95.33%98.52%98.27%96.84%98.15%99.06%97.41%99.62%换乘量95.66%95.85%96.60%95.83%95.78%95.94%95.44%95.71%客运量95.16%99.05%98.83%97.72%98.61%98.40%98.51%98.62%进站量93.04%98.25%99.06%98.55%97.86%97.52%97.39%99.14%2021国庆节预测结果2021年节假日、日常预测结果日常预测时间段 2021-10-08 2021-10-09 2021-10-10 2021-10-11 2021-10-12 2021-10-13 2021-10-14 2021-10-15 2021-10-16 2021-10-17 2021-10-18出站量 98.73%92.80%83.31%98.37%97.22%97.17%92.19%99.23%99.66%98.31%98.43%换乘量 98.10%92.80%86.89%97.23%97.77%97.42%98.77%98.07%95.27%93.65%95.36%客运量 99.44%93.99%83.75%99.26%99.33%99.10%94.09%99.41%98.50%98.75%98.28%进站量 98.69%93.43%84.03%99.92%99.92%97.76%93.41%99.48%98.19%97.19%97.78%2021年清明节预测时间段2021-04-022021-04-032021-04-042021-04-05出站量92.24%95.52%75.50%78.47%换乘量99.37%88.94%83.78%75.59%客运量94.37%95.11%77.93%75.90%进站量91.78%98.60%75.40%79.35%2021年五一预测时间段2021-04-30 2021-05-01 2021-05-02 2021-05-03 2021-05-04 2021-05-05出站量73.31%74.42%89.12%84.94%95.25%82.31%换乘量70.05%73.70%85.49%87.32%91.53%77.15%客运量72.47%95.12%62.36%87.60%92.28%80.75%进站量73.57%74.42%85.71%86.30%94.89%82.49%平均准确率为86.12%平均准确率为82.19%平均准确率为96.15%模型算法-创新特点精细化客流预测模型的预测结果是全天所有OD信息(每个OD进出站），通过客流清预测路径生成预测日全时、全过程、全指标的预测客流数据结果。每日运营完成后，模型自动对比预测结果与实际客流，通过自学习更新OD规律，根据实际客流与预测结果的差异修正预测模型，应用于下一次客流预测中。针对预测日期的不同客流特征，建立常规日期、节假日、突发情况和新线接入客流预测模型，满足多场景客流预测，保证精细化客流预测系统的持续运行。外部单位数据气象局 公交、大铁、机场、网约车、共享单车数据湖 ANCC事件数据站务系统企管数据现有业务系统.消息队列调度爬虫.演唱会体育赛事T+0 T+1分布式大数据云平台结构化存储半结构化存储非结构化存储数据原始池数据清洗池数据应用池数据归档池数据治理数据资产目录存储计算多源异构数据归集共享交换系统互联网数据.多源数据融合生产、办公网融合调度大厅大屏ancc控制中心ANCC7楼大屏管理域访问工作站运营管理人员大数据云+人工智能平台大数据云+人工智能平台客流分析应用调票中心办公室站务中心办公室车站控制中心市大数据局商易行校灵通办公电脑终端数据接口手机终端办公电脑接口管理层能直观地看到核心的生产经营数据看的见管理层随时查看数据，增强公司管理制度管得住自主开发物资系统大数据应用 网络化运营管理模式下，物资管理将以”服务、监管、降耗、增效“为工作宗旨，紧紧围绕运营生产大局，以“智慧运营”为引领，以公司云平台、信息化建设为前提，利用大数据、互联网等信息化手段，不断完善物资计划、采购、仓储管理体系，持续提高物资保障服务水平和能力，实现“智能化、集约化、精益化”的“智慧物资”管理，为运营生产保驾护航。建 设 意 义：1、通 过 展 示 计 划、采 购、仓 储 各 环 节 的 关 键 指 标 数 据，及 时 掌 握 物 资 管 理 的 实 时 进 度，保证 运 营 物 资 的 及 时 性，提 高 工 作 效 率。2、通 过 可 视 化 的 数 据 展 示，可 从 整 体 上 掌 握 每 年 度 的 物 资 管 理情 况，如 计 划 的 整 体 情 况、采 购 的 整 体 情 况 以 及 各 环 节 的 工 作 量 情 况，为 下 一 年 度 的 物 资 管 理 工 作 提 供必 要 的 数 据 支 撑。源数据需求计划执行情况采购分包数据分析需求计划提报情况合同执行情况分析数据模型数据看板数据分析运营服务采购申请执行情况合同计划执行情况需求计划线下数据主数据系统HAP系统OA系统 需求计划需求提报需求执行入库采购申请 采购分析采购入库采购下达采购分包合同计划 合同分析历史合同合同签署当前合同未付金额 支付情况实付金额应付金额支付次数需求计划年度部门线路需求计划金额采购计划金额采购订单金额完成入库金额领出金额采购计划年度部门线路采购订单金额采购申请金额已入库金额自动分包采购分包合同分析合同时间采购员合同计划类型合同计划金额合同签署金额下达订单金额合同入库金额合同支付金额支付情况年份月份编制人已审批支付金额本期实付金额应付金额已付金额支付金额订单执行情况分析支付情况分析待办统计计划运营采购运营仓储运营提高效率简洁方便辅助决策提前预警计划需求-需求计划提报情况展示AI赋能，实现智能化减少人力投入，实现降本增效训练模型，提升准确率定位为通用视频分析平台，遵循“流程可复用、模型可插拔、场景多样化”理念，实现降本增效建设目标。智能视频分析平台-面向运营安全Chapter 04展望09 利用大数据云平台对35T的宽表数据离线分析达到分钟/小时级别。应用统一在云平台PAAS层上架。相较于同等服务器配置的传统应用计算架构计算能力提高90%，硬件成本降低了55%。运维成本降低80%。生产效率 以线上各应用系统数据为基础的，部门画像、人员画像。跨职能协作 调度、站务人员传统方式获取客流运营指标数据需要48小时，通过TIPS系统查询时空维度的流运营指标只需要5分钟。调度/客运组织 数据服务受众范围；数据查询响应；经验+数据支撑线网运营调度大数据应用：让数据多跑路，让数据促变革，让数据产价值2022RT轨道交通线上交流会谢谢大家对郑州地铁的关心和支持！