交通运输数据资源共享交换体系探究与实现.docx

交通运输数据资源共享交换体系探究与实现摘要：随着交通运输信息化应用的不断丰富更新，行业 内外应用间高效协同需求强烈，为进一步提升群众办事服务 与行业管理质量和效率，迫切需要建设高效率高质量的交通 运输资源汇聚治理与交换共享体系。本文基于四川省交通运 输行业信息化的现状与问题，梳理了数据流需求，介绍了数 据汇聚与治理机制和数据中心存储设计，针对行业内外数据 交换共享需求提出了数据交换共享平台逻辑架构，最后对数 据资源汇聚治理与交换共享体系在实际项目中的应用情况 进行了简要说明。随着信息化技术在交通运输行业的深入推广，各级交通 运输管理部门为满足行业发展管理需求积极建设了相应信 息系统，包括公路建设、路网管理、水路、运管、航空、铁 路等许多业务应用系统，应用协同数据需求越来越多，数 据协同的效率和质量直接关系到应用的使用效率和准确性, 更关系到交通运输行业公众服务和政务管理的质量与效率。 为满足交通运输数据资源交换共享需求，进而提升数据资源 利用效率和业务应用协同效率，推进交通运输行业的公众服 务、政务管理，综合分析的高质量发展的关键在于发展对应 用传统的etlT具来实现。对数据实时性要求高、采集频度 较高的数据（如GPS、传感器、移动终端发送数据等），采用 实时数据接入方案。（三）数据融合层数据融合层为工程数据 提供持久化存储和访问的场所。通过“一体机数据库+分布式 数据库+Hadoop大数据库”的混合架构形成平台的数据融合 层。其中核心生产系统结构化数据存储查询等通过一体机数 据库提供，实现高并发的数据查询分析能力；非结构化数据 通过分布式存储架构的存储节点上部署的数据库提供。（四） 服务管理层主要包括目录管理、资源管理、服务管理、交换 管理等功能。目录管理提供目录编制、目录维护、目录变更、 目录审核、目录发布等操作功能，能够方便快捷检索到交通 行业不同分类信息资源目录情况。资源管理部分主要是进行 资源注册，根据已编制完成的信息资源目录，在进行了数据 接入后进行资源的注册操作，将目录编目时录入的“标准化” 信息项与数据接入时的实际信息项建立的匹配信息进行注 册以便发布服务使用。服务管理提供服务发布，服务启用/停 用，服务监控，服务调用日志，统计分析等管理能力，实现 服务的全生命周期管理，从开发、测试、发布、调用、注销， 到服务监控、安全等的管理。交换管理提供资源服务共享申 请，交换管理，任务监控等功能，通过接口、数据库、文件 等不同方式提供数据服务以满足不同数据需求，对共享任务 动态监控告警方便跟踪数据链路的联通性。（五）服务门户 层通过服务门户和接口支持，提供标准化服务给应用系统调 用，满足各种场景下应用系统对数据的使用和共享交换需求。六应用实例本文以四川省交通运输政务信息资源交换共享与开放 应用平台为例，通过两个基础应用平台、一个存储中心、多 个数据交换节点形成全省交通运输数据交换共享与开放应 用体系。四川省交通运输数据交换共享与开放应用平台逻辑 架构如图5所示。11省交通运输物说公共信息平台 四J |曾交通运行监删与应急指挥亲充其它四川省道路运输运行监刑慌统 四川省伺i旅游大数据试点项目文数路输据水运数S路网据 公路数州交据市公数州租据市出数数据交换节点图5四川省交通运输数据交换共享与开放应用平台逻辑架 构图两个基础支撑平台：一是共享交换平台，依据四川省交 通运输行业资源现状完成数据资源目录体系建设，形成数据 资源交换标准编制规范，并提供目录管理、资源注册、资源 服务、共享交换等功能，完成数据中心各库之间、与大数据 平台之间、与行业业务局之间等的数据共享交换，并向所有 业务应用系统提供数据服务支撑；二是大数据平台，一方面 提供大数据量的存储服务，包括非结构化、半结构化、结构 化大数据存储；另一方面一方面是提供大数据组件计算服务 以及数据挖掘分析功能。一个数据存储中心：由大数据平台 存储计算服务器与oracle 一体机存储服务器共同组成厅数 据存储中心。数个省级数据交换节点：即数据采集平台，采 用了东方通交换共享平台，根据交通行业数据和应用特征, 定制开发数据采集方式、转换方式，并对现有各类行业数据 进行汇聚整合，打通各业务单位间不同数据结构、不同网络 环境的数据交换工作。数据工程：主要通过数据交换节点, 结合共享交换平台，完成数据资源接入，依托大数据平台存 储服务器和oracle 一体机形成的数据中心完成资源存储， 通过数据融合处理，形成交通运输行业数据资产，支撑数据 资源目录体系建设以及上层的业务应用。四川省交通运输政 务信息资源交换共享与开放应用平台：通过数据工程整合基 础支撑平台、数据存储中心、数据交换节点为一个整体平台, 实现从数据资源采集汇聚、数据资源编目、数据治理管控、 数据服务发布、数据交换共享等数据全流程的监控服务与分 析，通过信息资源目录提供统一的数据视图，为行业各级管 理部门、行业相关企业、其他政府部门以及社会公众提供文 件、接口、数据库表等方式的标准数据服务，形成高效的数 据交换共享体系。在采集汇聚资源成果方面，采集行业内数 据主要包括厅公路局、省航务海事中心、厅运管局、厅高管 局、省交通质监站、路网中心、厅监控结算中心、厅信息中 心、物资储备中心共9个相关业务单位的28个业务系统， 合计超过600项资源。在管理治理成果方面，通过数据管控 治理，整合形成公路基础数据，包括经营业户、从业人员、 营运车辆、资质证书；水路运输基础，包括船舶、船员、船 公司、渡口、码头、航道；空间地理信息等基础库；养护数 据、工程建设、道路运输、信用数据、行政审批、隐患上报 等业务库；公众出行、综合分析、应急指挥、动态数据、统 计分析、电子证照等主题库；形成目录资源服务259项。在 共享交换成果方面，通过四川省交通运输政务信息资源交换 共享与开放应用平台向交通运输部政务信息交换共享平台、 四川省政务信息共享网站、四川公共数据开放网、四川省“互 联网+监管,，平台提供行业相关数据；向省大数据中心、省公 安厅等其他十多个省直单位提供行业相关数据；向全省22个 市州交通运输局共享所属区域交通运输行业数据；通过政务 公开、高德等行业企业对接等方式向社会开放提供各类数据 查询服务。七结束语交通运输数据资源共享交换体系在进一步发展过程中， 本文提出的交通运输数据资源共享交换体系在四川省交通 运输应急指挥与运行监测系统工程（二期）中完成了建设实 践，有效支撑了四川省交通运输行业当下政务信息资源共享 工作，促进了行业政务服务和行业协同监管能力的提升。为 进一步推进政务信息资源共享工作，满足新的政务服务和协 同监管需求，将继续深入优化交通运输政务资源共享交换体 系，加强交通运输数据资源共享交换体系在数据质量管控和 共享效率等方面能力，促进交通运输管理部门政务服务和行 业监管能力与效率的提升。参考文献1郭明多，魏彬.交通运输政务信息资源目录编制方法及 应用J.交通运输研究,2018,4(2)： 37-43. 2刘天须，王 子昂，张雪扬.交通运输行业数据治理体系研究J.交通与 信息化,2020,10:135-136.3王永明，王林，李聪，岑春.数据采集交换体系及其 在交通运输数据中心建设中的应用研究J.交通信息与安 全,2013,3(31):108-112.的高质量高效率交通运输数据资源共享交换体系。现状及问题随着近年来信息化建设的不断深入，四川省交通运输各 级业务部门根据自身业务管理需求已经建设了相应的信息 系统，涉及行业包括公路交通、路网运行、道路运输、水路 交通、综合服务管理等。不过，这些系统的建立只服务于独 立的业务部门，且在不同时期完成，缺少统一的管理规划， 业务系统各自掌握的数据不能及时有效提供给相关需求单 位，在数据交换共享方面仍然存在问题。通过四川省交通运 输厅数据中心的建设，已对现有交通运输省直部门业务系统 数据进行了汇聚，包括公路交通、水路交通、道路运输、城 市交通、综合管理等。通过对以上汇聚数据资源进行分析， 发现基础类数据资源存在数据标准不统一、一类数据存在多 个数据源、数据质量不高、数据更新不及时等情况，导致在 业务系统间无法有效互联互通，业务数据协同应用效率不足, 质量不高。数据流需求为提高交通运输数据资源交换共享效率，首先需要掌握 数据中心交换共享整体需求，从数据生产源到数据需求端进 行了全面梳理。全省行业交通运输数据流如图1所示。图1交通行业数据流示意图1、底部为数据生产源，包括四个部分，分别是省级云上信息系统、省级云外业务单位信息 系统、行业外信息系统、市州交通运输局数据分中心；2、各 个环节数据交互通过省级数据交换节点实现；3、汇聚数据分别根据结构化与非结构化属性将行业内外各类数据采集到 省级数据中心和大数据平台；4、通过省级数据资源交换共享 平台将数据中心汇聚数据进行数据管控，通过融合治理、元 数据管理等，构建行业人车户路四类基础数据库、建管养运 四类业务数据库，形成包括公众出行、电子证照、空间地理、 应急指挥等行业主题数据库；5、省级数据资源交换共享平台 通过编制目录、对接数据、注册资源、形成数据服务，对外 依申请共享或直接开放；6、省级数据资源交换共享平台通过 交换管理实现对数据服务状况；7、最后到达顶部数据需求端, 包括交通运输部、省大数据中心、省级其他单位、省级云上 （外）信息系统、市州交通运输局、交通运输行业互联网企 业。数据汇聚与治理（一）数据汇聚为实现高效率汇聚数据，主要通过大数 据ETLX具实现数据汇聚，大数据ETLX具功能丰富，涵盖 了数据库、各类数据文件、接口等多种数据对接方式，是比 较主流高效的数据汇聚工具。大数据ETL具体功能如图2所 不O功能模块表输入1：表输出：位本文件输入）Excel输入（Excel输出）Json输入ETL设计器输入组件,，转换组件:输出调度管理平台:资源库管理1作业管理1服务器管理图2大数据ETLX具功能示意图（二）数据治理数据治理主 要从目录管理、数据管控两方面入手，通过运用数据治理规 则建立一套数据准入和准出机制，以保障数据准确性、一致 性、完整性和可用性，从而提供高质量的数据资源用于交换 共享支撑应用协同。1、目录管理目录项管理：根据交通运 输部行业资源分类及目录编制指南，对汇聚的数据资源编制 行业资源目录。创建的目录项结构中一级目录对应六大行业 分类，包括：公路交通、道路运输、水路交通、城市交通、 综合管理、行业外管理；二级目录对应各个一级目录下的业务分类。目录信息项编目：对目录进行信息项各项内容进 行编目、并进行审核后发布，保持对目录信息更新维护。数 据标准：形成我省交通运输行业标准数据模板。提供标准数 据模板的查询、新增、编辑、删除、保存、取消、启动/停用、 下载模板等功能，保持标准数据模板的更新维护和使用。2、 数据管控元数据管理：实现不同数据源情况下的元数据汇聚, 进行元数据编码，实现数据关联，提供对元数据增删改查及 批量导出等功能；质量审计：提供审计规则制定、审计方案 制定（多个规则生成一个方案）、审计质量分析、审计质量报 告的数据质量管理全过程的功能。根据数据质量审计结果， 判断数据是否准入。数据清洗：对已汇聚数据按照数据清洗 规则进行转换、清洗、融合等处理。数据清洗规则包括非空 检查、非法代码、非法值、格式核验、逻辑错误、关联性验 证等数据融合：主要有递增、覆盖、全量三种方式。多源数 据处理：针对相同数据资源，具有多个业务系统来源，各自 业务系统相对独立，数据规则不统一，仅满足自己业务需求 应用，无法实现数据同步统一更新。以收费站基础信息为例， 公路局、高管局及监控结算中心相关业务系统均有一份收费 站数据，以满足各自的业务需要。从3个业务数据采集汇聚 后的数据质量、数据结构均不完全一致，采用的收费站编码 规则也不一样。建议一是采纳由实际业务应用最广泛最频繁 业务系统为基础；二是统一采用JT/T132-2014公路数据库编目编码规范针对公路网基础设施定义编码规范；三是制定 融合规范，进行数据升级，定义设施设备唯一标识，实现对 不同业务系统同样设施设备进行数据升级，并逐步实现其他 差异消除。四数据存储设计数据资源经过汇聚治理后需要分门别类进行储存以便 进行提高数据读写效率，提高数据可用性，一致性。数据中 心存储设计如图 3 所示。四川省交通运输厅Oracle 体机Oracle 体机省级业务系统数据库结构化海量数据两危定图3数据中心存储设计图核心生产系统结构化常量增量数 据（非海量增量数据）可以通过oracle 一体机进行采集存 储，根据标准数据资源目录模型进行数据存放，存放数据形 式为清单级数据。同时利用其性能优势，支撑高并发、时效 性要求高的应用场景。生产系统海量数据以及非结构化数据 可以直接进入大数据平台进行数据存储。利用大数据平台计 算组件选择多样、多租户模式提供各应用租户大数据加工和 分析能力。五数据交换共享平台设计数据资源交换共享与开放应用平台按数据的流向自下 而上分为五层，分别为外部数据资源层、数据汇聚层、数据 融合层、服务管理层和服务门户层。数据交换共享平台系统 架 构 如 图 4 所 示。资源管理资源注册资源服务服务 门户层服务 管理层数据 融合层数据 汇聚层外部 资源层目录管理目录项管理目录变更服务目录 服务发布 服务运维31服劣al元数据采集数据源管理数据管控数据标准管理清洗、汇聚结构化数据（ORACLE）行业内系统共享数据非结构行业外系统共享数据图4数据交换共享平台系统架构图（一）外部数据资源层外 部数据资源层即源数据库，为系统外部数据的来源，其主要包括行业内系统共享数据、行业外系统共享数据及互联网数据。（二）数据汇聚层数据汇聚层主要实现对外部数据源层的数据整合，其主要根据获取数据的特性不同而采用不同的采集方案。对离线批处理数据，实时性要求不高的情况下，采