北京地铁线路限界数据管理平台开发技术要求.docx

北京地铁线路限界数据管理平台开
发技术要求
一、 系统功能和技术要求
基于检测系统对北京地铁运营公司所辖13条线路进行限界检测所获得的检测数据，围 绕平台应用的业务逻辑需求和非功能型需求，建立限界检测数据库，并提供可视化数据应用 平台。
2建设目标
以限界检测业务为起点，全面、高效、完整的采集检测过程产生的数据，在充分消化、 理解检测数据的意义及价值的基础上，通过科学的设计方式，实现海量数据的存储。与此同 时，围绕北京市地铁运营相关要求，充分利用先进的信息技术手段，建设软件应用 平台，对海量数据进行深度挖掘、分析及展示，为业务评估提供准确的、全面的数据支撑, 为城市轨道的建设开展保驾护航。
3建设原那么
— —夯实基础。全面的、完整的完成数据采集工作，通过精细化的算法，确保数据在 落地过程中无丧失、无转义，为限界检测业务分析打下坚实的基础。
— —融合开展。以当前限界检测业务的覆盖范围为基础，充分考虑北京市轨道交通未 来的开展趋势及规模，通过科学的技术手段，进行数据库的设计，确保数据库既满足当下业 务需求，又可通过少量的投入快速满足未来的业务开展需要。
— —平安可控。建立平安防护标准体系，对数据、数据库、数据库环境等内容进行严 格管控，对任何形式的访问均要加以记录，确保一切事物可追溯。
— —创新驱动。打破传统的数据分析思路和展现形式，通过大数据应用技术手段，深 层次的获取数据价值，并以更加直观、生动的展现形式呈现数据所反映出来的信息。
4建设方案
在建设范围内，围绕着平台建设目标，并以建设原那么为指导，对检测数据库的建设思 路进行了勾勒，主要从数据来源、数据分类、数据体量、数据存储、数据应用、数据平安、 数据维护7个方面描述整体建设方案。
数据库主要包含以下几个特性：
1）海量存储：将满足跨线运行条件且需要进行限界检测的北京地铁13条线路所产生 的海量检测数据完整的、清晰的进行存储；
1.1 时响应:通过科学的、合理的设计，保障平台应用在进行数据访问时快速、准确；
1.2 可用性：以集群及其他先进的技术手段，使数据库能够7*24小时提供服务；
4）可扩展性：数据库可通过快速的水平扩展，以保障限界检测业务的开展需要。
4.1 数据集成
数据来源主要分为车辆线路基础数据和隧道限界检测数据，隧道限界检测数据通过解 析数据内容得到检测结果，经过清洗、加工，进而存储到数据库中，为平台应用提供数据支 撑。
当前地铁线路共有13条，以过去某条地铁线路检测结果文件的大小为参考标准，上行 27.59G,下行为29.78G, 1条线路的检测结构数据约60G, 13条线路总共约有近800G的 检测数据文件。
基于解析后的文件内容，约有20种数据项，每一个数据项的内容字节长度较短，以 int、double、datetime为主。因此，按照400M数据文件=100万行结构化数据的公式进行 计算，800G数据文件转换为结构化数据存储到数据库中，约有20亿行数据。
工程采用数据文件上传的方式进行数据集成，依据数据编码格式编写检测数据解析过 程代码，将数据自动化解析并上传至数据库。
4.2 数据存储
鉴于数据库涉及的数据体量较大，且在数据应用时需先完成复杂计算后再进行展示， 同时，考虑到数据变更频率较低，结合当前主流数据库的成熟度和平安性，最终数据库选型 为关系型数据库Oracleo数据存储思路主要内容如下：
1）分表：根据业务数据的来源及分类，结合数据应用场景的需求，将每一条线路的检测数据存到一个分区表内。
2）水平分区按照本线路的行别创立分区，即上行一个分区，下行一个分区。
3）垂直分区：根据检测文件解析结果字段内容的类型和长度，将有必要进行结构化存储但在数据应用时不常用到的字段单独划到一个分区。
4）索引：根据数据应用需求，结合前台查询的逻辑进行分析，通过创立单索引、组 合索引、分区索引等索引的方式，利用Orcale有自动信息提供的机制，提高数据 检索效率。
另外，为了保证数据访问的稳定性和数据存储的平安性、时效性，数据库将以RAC的 方式进行集群部署，Oracle RAC示意图如错误!未找到引用源。所示：

User connections
图1 Oracle RAC示意图
数据应用平台
围绕检测文件解析后的数据，以断面、历程为展示维度，以扫描点位横、纵坐标为展 示内容，绘制出点位分布图。同时，基于算法，勾勒出不同型号的车体模型轮廓，与点位分 布图进行整合并在web平台页面进行展示。展示示意图如错误!未找到引用源。所示：
•正常点 -侵限点15号线隧】i区间车辆隔界
图2检测数据展示示意图
4.3 数据平安数据访问控制
数据的权限需要控制到数据级，通过数据级的权限管理，可以更好的实现大数据的管 理，以满足不同用户访问数据的需求。
所有数据库的访问须经过严格的授权审核。根据数据库用户的特点不同、分类进行权 限范围管理，如分别授权实体表或视图的〃增、册h改、查〃权限，确保授权各用户正常使用 的最小集权限。对普通用户不进行资源进行限制，但进行口令的限制。限制用户登录失败5 次，锁住一天。密码可以被使用半年，三个月后才可使用同一密码。
4.3.1 数据库平安
数据防护平安解决由于人为错误、病毒、自然灾害、电源故障或是磁干扰等引起的数 据丧失，制定数据备份策略以保护数据的存储平安。数据备份工具采用大数据备份工具，它 能够高效保证备份与恢复操作。还根据具体情况采用手工备份等其它的备份方式，以保证数 据的平安。
1）用户访问需要认证，用户操作需要鉴权，所有操作记录审计日志；2）支持ACL授权、policy授权、角色授权、跨project授权多种权限管理方法，满足多 种场景的需求；
3）同时提供DAC和MAC的平安管理方案，满足对于局部敏感数据的管理需求，可以 提供精确到列级别的数据管理；
4）对于平安等级较高的数据，提供工程保护模式，防止数据泄露；5）所有计算在受限的沙箱中运行，多层次的应用沙箱、系统沙箱配合请求鉴权管理机 制，保证数据的平安。
4.3.2 数据维护
支持数据维护管理，实现数据恢复、数据备份、垃圾数据清理等常用平安功能。日常 备份操作由备份系统自动完成，系统管理员按照要求在备份服务器上制定备份策略，备份由 备份服务器统一管理，各客户端也可以自行手工启动备份。通过垃圾数据清理，实现数据的 汇聚、清洗、融合，将原本碎片化的数据信息变成一个统一的整体。
1）数据备份：为了在主机、数据库、软件系统发生故障时，能够迅速、有效的使系统 得到恢复，需要对主机、数据库、应用软件系统进行备份。在主机、数据库、应用 软件安装调试完毕后，定期对主机、数据库、应用软件系统进行全备份。备份完全 通过后台程序定时自动完成，无须管理人员人为参与；2）数据恢复：当操作系统或应用软件出现问题时导致不可用时，后台备份软件通过心 跳机制自动进行系统数据的恢复，在应用支撑平台中，数据的恢复策略可以根据不 同的情况进行自定义配置；
3）垃圾数据清理：指系统工作时所过滤加载出的剩余数据文件，虽然每个垃圾文件所 占系统资源并不多，但是经过一定时间没有清理时，垃圾文件会越来愈多。过多的 垃圾文件会影响系统的运行速度、影响数据分析的准确性。系统默认支持自动清理 垃圾数据，同时也支持手动人工清除垃圾数据。
二、交货期：合同签订后的180个工作日内。