边缘计算与大数据湖在上海轨交的应用.pdf

1上海地铁边缘计算与数据湖在轨道交通的应用2上海地铁目 录01数据湖的思考03边缘计算实践与应用02上海地铁边缘计算的探索数据湖与数仓的融合043上海地铁边缘计算的定义边缘计算边缘计算是在网络边缘给用户提供IT服务环境以及云计算能力的分布式开放平台。边缘计算中的“边缘”边缘计算中的边缘则是相对的概念，是指从数据源到云服务器之间的数据路径上的任意计算网络以及存储资源。计算机网络的“边缘”计算机网络的“边缘”计算机网络中的边缘是指互联网中的所有主机的集合。4上海地铁边缘计算的特性2435位置感知边缘设备与终端设备处在同一个局域网中或统一总线上，甚至局域网路由器或网关就是边缘设备。隐私保护数据本地采集，本地分析，本地处理，有效减少了数据暴露在公共网络的机会，保护了数据隐私。低带宽运行将工作迁移至更接近于用户或是数据采集终端的能力能够降低站点带宽限制所带来的影响。尤其是边缘节点服务减少了向中枢发送大量数据处理的请求时。实时响应边缘计算的核心理念是“边缘计算应当更靠近数据源，更靠近用户“，低延迟。1可扩展性系统处理变化的应用请求的能力具有较高的扩展性。5上海地铁目 录01数据湖的思考0302上海地铁数据湖与数仓的融合04边缘计算实践与应用边缘计算的探索6上海地铁边缘计算在轨道交通的应用边缘计算在轨道交通的应用十分普遍，特别在一些对现场安全要求高、并可在断网条件下也可正常工作的场景，边缘计算是云计算的补充和延伸，能实现智能化的实时数据处理等功能。例如：在轨道交通的信号系统和自动售检票系统中均有较为广泛的应用。边缘计算的架构边缘计算是指能够在网络边缘执行计算，以使得计算发生在靠近数据源一侧的新型计算模式。7上海地铁边缘计算实践信号系统与车辆ATS外部接口:Mimic,COCC,SCADA,主时钟,Radio,FAS,BAS,PISPMIMAUZC道岔、信号机、紧急停车按钮、计轴区段、车辆段PMIMAUZCVOBC(ATP/ATO)VOBC(ATP/ATO)APAPATS发送:进路排列命令MAU发送:信号机状态、报警边界状态、交权/接权消息PMI发送:信号机状态MAU发送:旁路命令、联锁进路命令站台屏蔽门/安全门道岔、信号机、紧急停车按钮、计轴区段、车辆段站台屏蔽门/安全门ATS发送:进路排列（后备模式）PMI发送:信号机状态、报警MAU发送:LMA根据道岔、信号机、计轴区段等数据进行测算，将最终移动闭塞结果发送给区段车辆。车辆系统会根据接收的数据自行计算出开行速度、距离等参数。车辆系统信号系统8上海地铁边缘计算实践信号系统与车辆ABD列车1ATS 进路MAU 预留C过冲防护区段LMA列车1LMA延伸至延伸至MAU进路的进路体进路的进路体:信号机显示绿灯信号机显示绿灯LMA延伸至覆盖延伸至覆盖MAU进路的过冲防护区段进路的过冲防护区段:信号机保持红灯信号机保持红灯列车前端进入列车前端进入LMA:信号机变成红灯信号机变成红灯列车1根据道岔、信号机、计轴区段等数据进行测算，将最终闭塞结果发送给区段车辆。车辆系统会根据接收的数据自行计算出开行速度、距离等参数。车辆系统信号系统9上海地铁边缘计算实践信号系统与车辆LMAABD列车1ATS 进路请求MAU 预留C过冲防护区段LMA列车1 104号PMI进路MAU进路覆盖进路覆盖PMI进路进路:MAU请求请求PMI执行执行104号进路号进路MAU建立建立LMA:由于由于104号号PMI进路还未被授权，它是一个障碍物进路还未被授权，它是一个障碍物104号进路被授权号进路被授权:MAU将将LMA延伸至越过延伸至越过PMI进路进路列车1当道岔区段出清时，当道岔区段出清时，MAU可以请求可以请求PMI进路解锁进路解锁PMI保持防护保持防护(区段锁闭区段锁闭)列车1区段锁闭区段锁闭根据道岔、信号机、计轴区段等数据进行测算，将最终闭塞结果发送给区段车辆。车辆系统会根据接收的数据自行计算出开行速度、距离等参数。车辆系统信号系统1 0上海地铁边缘计算实践自动售检票系统MCCACCSCSLE票卡状态监控进出站 进出站：闸机读取票卡中进站信息，实际计算票价、扣款，整个过程基于RFID技术及密钥保护，实现在脱机条件下，实现乘客的快速通行及票务资金的安全。黑名单判断：通过读写器，完成票卡的验签，打标签、锁卡。票卡更新：授权票卡读写、更新判断。数据监控：将交易数据上传，状态数据监控、分析，辅助决策。参数分发：对不同线路不同SC，发送不同参数，减少中央压力1 1上海地铁目 录01边缘计算的探索03边缘计算实践与应用02上海地铁数据湖的思考数据湖与数仓的融合041 2上海地铁数据湖(DataLake)以集中式存储各种类型数据，包括:结构化、半结构化、非结构化数据。数据湖无需事先定义Schema，数据可以按照原始形态直接存储，覆盖多种类型的数据输入源。数据湖无缝对接多种计算分析平台，对Hadoop生态支持良好，存储在数据湖中的数据可以直接对其进行数据分析、处理、查询，通过对数据深入挖掘与分析，洞察数据中蕴含的价值。数据湖特性1 3上海地铁对比项数据仓库数据湖支持数据类型有限的数据类型支持，以结构化为主支持结构化，半结构化和非结构化数据数据采集方式过程开始于业务流程识别，通常由数据管理者和业务负责人基于数据和业务的某种假设在数据湖世界里，没有关于已经取得的数据假设。一旦数据发生，即开始在细粒度级别收集数据，业务流程发现基于数据与输入数据数据处理能力写入模式，建立模型对数据进行处理，为了减少数据的复杂性，比较难于实现上卷(Rollup)和钻取(Drill down)分析读取模式，接受原始形式的数据，在数据细粒度级别收集探索和分析非常简单架构重建能力需要对原有数据进行重构不存在结构问题，支持复杂数据类型，便于重置数据模型查询和应用，并具有简单的重建关系的能力动态性敏接性差，采用静态圈定配置，基于业务流程驱动而设计系统高度敏捷，动态灵活配置，基于数据的业务流程定义扩展性提供预定义的业务需求点燃创新和新的商业机会数据利用率数据利用率高，按数据优先级和数据可用性，可以快速定位所需数据数据类型较多，缺少数据优先排序，查找和分析前的准备数据时间较长响应能力与安全性具有较高的需求响应能力，可保证平稳高效的数据访问和保护数据的能力数据响应延迟较高，安全性较高数据湖特性1 4上海地铁数据湖+数据仓库湖仓一体大数据发展趋势分析大数据发展趋势分析数据服务数据应用数据分析数据质量数据湖+数据仓库深度数据开放，针对方案制定数据服务数据应用数据治理数据平台以更加深度的数据开放，跨专业大数据关联。以更多样的应用能力，构建针对性不同场景解决方案。数据分析智能应用，基于AI与机器学习分析，个性化服务提供。应用快速构建，基于数据湖进行细粒度的收集、探索和分析。从深度学习到机器学习，从机器学习到人工智能。基于数据湖的大量的原始数据，深度训练，快速分析。针对性对数据源系统输入数据制定。标准数据驱动治理规范，以数据为核心实时制定治理规范。数据平台存储方式向数据湖模式转变，多数据汇聚。支持结构化、半结构、非结构化数据应用更加智能，构建更加快速人工智能分析，直引湖中数据数据驱动规范，入湖标准制定随着理念与技术的更新迭代，基于上海轨道交通的现状，数据湖+数据仓库的模式更适合实际的情况和业务场景拓展。1 5上海地铁目 录01边缘计算的探索03边缘计算实践与应用02上海地铁数据湖的思考04数据湖与数仓的融合1 6上海地铁湖仓一体数据全生命周期管理1 7上海地铁数据安全管理权限管理安全接入数据加解密日志审计数据分级统一认证数据资产管理数据标准数据质量元数据管理数据地图数据资产平台资源实时采集离线采集结构化数据采集统一监控调度共享开放服务APISDK微服务JDBC/ODBC数据处理数据分析数据迁移模型算法库机器学习可视化建模任务发布调度管理任务管理资源监控调度配置非结构化数据采集关系型数据库分布式存储系统NoSQL数据库MPP数据库人工智能训练平台数据清洗数据业务管理湖仓一体数据全生命周期管理架构1 8上海地铁1 8上海地铁湖仓一体数字底座展示层指标看板、可视化大屏五大应用集群（建管、运管、维保、企管、资源经营）数据关联分析专业型算法库客流实时预测线网停运评估通用型算法库智能语义分析图像解析财务资金平衡物理模型数字孪生设备故障预警生命周期管理AI智能自主学习能力分布式数据存储消息队列RDBRedis块存储统一运维数据运维平台运维统一分布式存储图数据库分布式文件存储数据开放管理沙箱服务权限管理数据图谱图片、语音数据CCTV视频数据车载设备视频数据离线数据区归集层整合层指标层6大主题库业务场景专题库数据资源池实时数据区实时处理实时指标实时事件结构化数据池调度日志文本办公文档报表、HTML资产总览标准建设数据清单资产地图数据架构管理数据关系管理数据异常管控数据流程管控数据分级分类管理数据运维管理数据可视化工具数据分析探索工具数据分析及可视化数据共享服务批数据计算流数据计算计算区元数据管理数据质量主数据管理规则计算数据挖掘设施设备专业车辆、信号、机电、供电、工务等企管专业人事、财务等专业系统及OA数据资产经营专业经营、开发、广通商数据外部数据天气、灾害、政策、政府建设专业建设、建筑、施工、工程类数据感知层运营专业票务清分、行车调度、客运服务数据离线采集实时采集流媒体采集数据导入上报准实时采集文件数据非结构化数据池资源服务目录标准数据接口开发报表指标输出联机数据分析数据调度管理数据资产管理多场景数据应用算法归集数据建模预测性数据服务统一资源管理层大数据平台湖仓一体存储管理层计算层1 9上海地铁谢谢