基于大数据应用的十八点统计系统优化研究.pdf

2023 年 9 月（总第 443 期）48研究与交流STUDY AND COMMUNICATIONS第 51 卷Vol.51第 9 期No.9铁 道 技 术 监 督RAILWAY QUALITY CONTROL收稿日期：2023-07-01基金项目：中国国家铁路集团有限公司科技研究开发计划项目（N2022X022）作者简介：卫宁，高级工程师；刘丹，工程师；陈浩，工程师；保鲁昆，副研究员0引言既有十八点统计系统是中国国家铁路集团有限公司（以下简称“国铁集团”）统建系统。自2000 年开始，系统在国铁集团、铁路局集团公司、车务段和车站 4 级应用，系统每日采集、处理、生成全路各级统计数据，全面反映运输生产经营状况，成为调度指挥和经营决策的重要依据1。但是，随着业务需求的快速变化和大数据应用等信息化技术的不断发展，既有十八点统计系统的技术架构、数据模式、安全防范措施等已经无法满足铁路精细化管理的需要。1既有十八点统计系统现状分析1.1技术架构兼容性较差既有十八点统计系统（以下简称“既有系统”）是基于 2000 年的信息环境构建研发并推广的系统，技术架构、部署方式等已经不适应现行信息化，特别是大数据应用的发展需要。例如，既有系统存在的铁路局集团公司、车务段，甚至大量的一站一部署的分散部署方式，严重影响业务需求响应速度；既有系统使用的 BusinessObject 报表工具早在十几年前就已停止维护升级，导致报表展示与新操作系统的兼容性存在较大问题；既有系统有多版本同时应用，铁路局集团公司级有全路统一推广基于大数据应用的十八点统计系统优化研究卫宁1，刘丹2，陈浩2，保鲁昆3，4（1.中国国家铁路集团有限公司运输调度指挥中心，北京 100844；2.北京经纬信息技术有限公司，北京 100081；3.中国铁道科学研究院研究生部，北京 100081；4.中国铁道科学研究院集团有限公司运输及经济研究所，北京 100081）摘要：针对铁路既有十八点统计系统推广应用时间较长，已无法适应现行信息化运行环境及运输生产精细化管理需要，急需升级改造的现状，在整合现有各层级多个版本应用的基础上，充分利用大数据技术，提出新十八点统计系统优化升级方案，实现程序一体化、数据一体化、字典配置一体化。明确优化升级后的新十八点统计系统建设目标、物理架构和逻辑架构，重点分析国铁集团级、铁路局集团公司级、车务段级和车站级业务功能应用。新十八点统计系统已在昆明局集团公司全面推广应用，受到各级用户的一致好评。关键词：铁路统计；十八点统计；系统设计；大数据；优化；系统功能中图分类号：F530.34文献标识码：B文章编号：1006-9178（2023）09-0048-05Abstract：In view of the fact that the existing railway 18:00 statistical system has been promoted and applied for along time,which can no longer meet the current information operating environment and the needs of fine managementof transportation production,and is in urgent need of upgrading and transformation,the optimization and upgradingscheme of the new 18:00 statistical system is proposed to achieve program integration,data integration and dictionaryconfiguration integration on the basis of integrating multiple versions of existing applications at various levels andmaking full use of big data technology.The paper defines the construction objectives,physical structure and logicalstructure of the new 18:00 statistical system after optimization and upgrading,and focuses on the analysis of the business function applications at China State Railway Group Co.,Ltd.level,railway bureau group company level,train depot level and station level.The new 18:00 statistical system has been fully promoted and applied in Kunming BureauGroup Company,and has been praised by users at all levels.Keywords：Statistical of Railway;18:00 Statistical;System Design;Big Data;Optimization;System Function49铁道技术监督第 51 卷第 9 期的 2.0 和 3.0 版本，车站、车务段级除了统一推广版本，也有铁路局集团公司自行研发的系统，由于版本的不统一，制约了对既有系统的有效管理。1.2数据采集方式无法满足精细化管理需要目前，既有系统通过采集车站现车、货运站等生产系统的原始信息，按照相应的统计规则加工计算，形成各类十八点统计报表，再通过网络逐级上报。既有系统中只保留了统计报表数据，缺乏各个生产环节的源点信息，数据利用率低，无法进行多维度、深层次的挖掘与分析。例如，为提高全路车辆检修作业效率，需要分析检修车从车站扣车至车辆段或车辆厂修竣全流程各个阶段所消耗时间。但是，既有系统中只保留了各车站的检修车总数，并没有相关过程源点信息数据，导致相关分析无法进行。1.3自动化程度无法适应改革发展需要既有系统采用车站车务段铁路局集团公司国铁集团逐级上报模式，涉及系统多、环节多、过程繁琐，各层级需配备大量专职或兼职统计人员对数据进行人工校核及处理，自动化程度低、工作效率低2。特别是 2022 年以来，部分铁路局集团公司，由车站货运部门分散制票改为铁路局集团公司集中制票，货运作业模式的改变给十八点统计工作带来巨大挑战，现有系统已经无法满足业务快速变化的需要。1.4既有系统安全防范措施有待提高由于既有系统建设实施较早，受限于当时的信息技术条件和安全要求，相关等级保护措施无法达到网络安全等级保护第三级要求。数据库及中间件、FTP 服务器、用户身份鉴别等方面存在的安全问题突出，特别是既有系统共享接口不规范，对外提供的数据库直连、FTP 接口文件、WebServices等各式各样的接口服务，每个接口都是独立程序，数据安全和数据一致性存在隐患，不符合网络安全管理规定。2基于大数据应用的新铁路十八点统计系统总体方案设计2.1建设目标对既有系统优化升级，整合现有国铁集团、铁路局集团公司、车务段、车站多个应用版本，充分利用大数据应用技术，解决既有系统兼容性差、安全性低、数据颗粒度粗等问题，实现程序一体化、数据一体化、字典配置一体化，构建一套国铁集团、铁路局集团公司两级一体化的新铁路十八点统计系统（以下简称“新系统”）3。（1）采用大数据应用技术，提高统计智能化水平。基于从铁路数据服务平台、运输信息集成平台和客运、货运、机辆等相关业务系统采集的海量原始数据，汇聚整合形成十八点系统数据基础。通过云计算等先进技术，按照规范的作业流程和统计规则算法，自动生成、校验、汇总、收审各类统计数据，提高自动化程度和统计时效性，降低基层统计人员的工作强度4。同时，在原有一岗一站的作业模式基础上扩展，支持统计人员集中作业，实现一岗多站的统计模式，打造安装简单、维护方便、流程简化，易理解、易学习、易操作的新系统。（2）运用主流技术框架，提高系统稳定性。运用微服务、前后端分离等主流技术框架，采用云部署方式，有效控制故障范围，将单点故障对整体的影响降至最低；降低各服务间的耦合度，支持国铁集团统推服务及铁路局集团公司个性化服务扩展，提高系统的可靠性、容错性、可扩展性5。（3）汇聚、整合数据，实现多维度数据分析。汇聚 95306 和 12306 电商平台，以及运输信息集成平台和相关业务系统的原始数据和过程数据，清洗、整合形成可用、有用、实用的数据资产6。通过多种数据处理方法、模型对数据进行挖掘、钻取、加工、展开，并进行多维度、多视角的分析。在满足日常统计需求的同时，及时监测铁路运输过程，提供有针对性的专题分析服务，提升统计服务质量，为国铁集团、铁路局集团公司、站段各级管理者提供决策支持。（4）提升系统安全性，加强对应急响应的技术支撑。新系统按照网络安全等级保护第三级的防范要求，从网络安全、信息安全、应用安全等多个角度设计。网络安全方面，通过内部服务网进行所有数据交换，不涉及外网传输；信息安全方面，在数据录入、数据存储过程中加强安全手段，对传输数据进行加密处理；应用安全方面，通过身份识别、权限控制、密码、日志和会话等来提升安全性。同时，通过核心数据自动备份及恢复功能、历史数据定期备份功能、设置临时报送通道功能、铁路局集团公司核心配置异地备份功能，以及丰富的日志查询分析功能等，加强系统对应急响应的技术支撑。（5）提供统一数据服务目录，规范共享管理。50基于大数据应用的十八点统计系统优化研究研究与交流部署应用国铁集团部署铁路局集团公司部署电子确报统计报表采集审核综合处理岗位交班自动处理审核汇总在途车查询分析系统维护铁路局车务段车站数据收审汇总应急处置审核汇总自动处理专项分析综合查询系统维护服务层报表维护服务数据采集服务数据源数据同步数据监控任务监控数据格式报表维护汇总公式表间校验表内校验表项定义任务监控数据管理权限管理传输任务数据监控需求审批服务目录国铁集团级接口铁路局级接口数据传输服务数据共享服务数据资源站名字典线路字典车种车型现车系统货运站系统箱管系统调度 TDCS 系统95306 平台12306 平台HMIS 系统生产信息系统主数据平台图 1新系统总体架构铁路综合信息网服务器主机网络设备操作系统数据库系统软件平台硬件平台网络平台基础设施层数据层服务层应用层用户层数据库缓存服务文件存储全文搜索应急处置车站统计查询分析用户报表服务数据传输数据共享数据采集车务段统计统计用户系统管理人员国铁集团统计系统配置人员铁路局集团公司统计图 2新系统逻辑架构新系统建设将从数据共享、数据整合的原则出发，在全方位、超细颗粒度获取原始信息的基础上，构建统一整合的数据存储，从数据的视角对相关各类数据资源进行关联整合。通过数据关联分析，梳理各类指标逻辑关系，规范数据服务审批、开通流程，管理数据服务用户范围和数据范围，构建完整的业务数据管理、存储和应用环境。2.2新系统架构（1）总体架构。新系统采用“2 级部署、4 级应用”的部署方式，数据库服务器、应用服务器等分别部署在武清主数据中心和各铁路局集团公司。国铁集团、铁路局集团公司、车务段和车站 4级用户通过内部局域网访问系统并操作。新系统基于铁路大数据应用，共享各业务系统原始信息，以数据采集、报表维护、数据传输和数据共享 4 个服务层为基础，构建一套国铁集团、铁路局集团公司两级一体化的铁路十八点统计系统7。新系统总体架构如图 1 所示。（2）逻辑架构。新系统的逻辑架构分为 5 个基础层级，通过分层划分为基础设施层、数据层、服务层、应用层和用户层。通过各层级结构的划分可以全面地体现整体应用系统的设计思路和逻辑架构。新系统逻辑架构如图 2 所示。51铁道技术监督第 51 卷第 9 期3新系统功能分析3.1国铁集团级功能分析（1）数据审核汇总。在接收铁路局集团公司报表及基础信息的同时，完成统计报表表内、表间关系校验，完成统计报表与源点信息的逻辑校验，汇总生成国铁集团级统计报表，并形成基础源点信息库；对分界站货车出入报表与局间分界站电子确报，从部企、运非、重空等内容进行校核，根据全路 100 多个局间分界站的电子确报，生成按现在车车辆日口径统计的各铁路局集团公司现在车（运用车）车辆日及周转时间等指标，并作为考核各铁路局集团公司货车使用费的依据。（2）数据自动处理。梳理从 12306 电商平台、铁路运输集成平台、调度 TDCS 系统、集装箱管理系统和运统 1 电子化传递等处获取的客票、货物运单、集装箱、动车组和现车等基础信息，加工生成以车站为单位的旅客发送量、承运旅客发送量、货物发送量和现在车等基础统计报表数据，并反馈至各铁路局集团公司，与车站生成数据进行校核。（3）专项分析。利用大数据应用技术，关联货车车号、运单号等基础信息，形成每辆货车从本次装车完了时起，至再一次装车完了时止的全周转过程中的业务信息和过程信息，可追溯每辆货车从新造至报废全生命周期中每一时间节点、每一状态变化的源点信息8。通过对源点信息的深度挖掘和汲取，实现对主要线路运量、编组站（区段站）列车到发、集装箱运输效率效益和主要车种车型使用效益效率等各种专项分析9，满足运输生产精细化管理需要。（4）综合查询。建立全部统计报表的历史数据查询功能，用户可从时间、单位等不同维度查询统计报表及相关源点信息；提供自定义查询、模糊查询和数据明细查询等不同查询方式，满足用户个性化需求；引入客货运量、收入等指标的月度、年度精密数据，提供“精密+速报”年累计数据查询；提供同比、环比和与计划比等简要对比查询功能，并具备可视化图表展示和数据导出功能。（5）系统维护。新系统共享主数据平台相关业务数据，通过自行维护、统一升级 2 种方式对站名字典、车种车型、品名字典、线路字典、区间区段、指标库、业务字典、数据采集配置、角色权限和系统维护等基础数据进行维护操作。国铁集团将统一配置下发到铁路局集团公司，两级用户共用 1套基础配置；各铁路局集团公司可根据实际需要，自定义配置采集数据源和自定义报表维护，以满足个性化业务需求。3.2铁路局集团公司级功能分析（1）在途车统计。以车务段或统计台管辖车站作为一个统计范围，获取所辖车站货车出入登记薄（运统 4）中的货车车次和车数等信息。信息与列车运行图甩挂信息和电子化运统 1 匹配后，自动完成当日货车动态表推定工作，经调度所统计室与车站统计共同确认后，最终形成各站现在车和在途车相关信息及统计报表。当出现列车运行线与电子化运统 1 的绑定或甩挂作业标记有误时，可人工补录、修改相关原始数据，解决运行线的异常问题。（2）数据审核汇总。新系统接收车务段上报、国铁集团反馈及在途车统计功能生成的各类统计报表及源点信息。通过表内和表间关系式校验统计报表，根据统计报表数据自动审核源点信息的完整性、逻辑性和合规性，对异常数据报警，允许人工解锁并重新接收。审核正确形成有效数据后，汇总各类报表，除生成铁路货车统计规则中规定的基础报表外，还可根据铁路局集团公司个性化需求，自定义生成相关统计报表。（3）数据自动处理。新系统采集现车系统、货运站系统、调度 TDCS 系统、HMIS 系统和95306 系统相关原始信息，通过关联货车车号和运单号等关键信息，形成铁路局集团公司级有效数据源，并开展相关业务统计工作。例如，可根据货物运单信息、客票信息，自动完成财收相关报表统计；根据装卸七甲数据，自动完成货运相关报表统计；根据现车系统数据及货车动态分布，自动完成车站运转及局间分界站相关报表统计。（4）综合查询分析。主要包括各类统计报表日、月、旬报的生成、查询及打印，可满足不同业务部门、不同单位按照车务段、货运中心、合资公司、统计台和线路名等汇总查询；提供定制指标查询服务，能根据查询内容自动生成相关报表；提供同比、环比、与计划比和年进度完成比等简要对比查询功能。（5）系统维护。主要包括报表维护及字典维护。其中，基础报表与国铁集团共用报表需要维护配置，个性化报表的数据项、表内关系、表间关系52基于大数据应用的十八点统计系统优化研究研究与交流和汇总公式等需要自行配置。涉及全路统一的站名、车种车型、线路和区间区段等字典共用国铁集团级配置；铁路局集团公司所属车务段和货运中心所辖车站，车流径路等需要自行配置，还可根据实际需要自定义配置采集数据源，作为生成相关报表的基础原始信息。3.3车务段级功能分析（1）数据收审汇总。审核各车站生成和补录的统计报表及源点信息，对有错误的数据解锁，允许车站重新上报。审核正确后，可按照车站、报表2 个维度进行报表汇总，形成车务段当日主要生产经营指标，并提供查询、打印、上报等功能10。（2）应急处置。遇车务段管辖车站系统故障等特殊情况时，提供应急手工输入界面，包括运输收入、客货运量、工作量等主要运输生产指标。在假日期间，还提供委托运营管理的地方铁路及非控股合资公司客货运量等指标输入界面。该功能可对录入数据进行校核，满足表内、表间等逻辑关系。3.4车站级功能分析（1）数据采集审核。从现车、货运站和电子化运统 1 等生产系统中，获取车站现在车分布、接发列车确报、运非转变记录、装卸车作业和 HMIS检修车等源点信息，并从数据重复性、合法性和逻辑性等方面对信息进行清理和审核，形成车站有效数据源。（2）统计报表。根据车站有效数据源，按照相关统计规则自动生成货车出入登记薄（运统 4）、非运用车登记薄（运统 7）、号码制货车停留时间登记薄（运统 8）和结存车等基础台账，并依据基础台账生成车站的现在车报表（运报 2）、十八点现在重车去向报表（运报 3）、货车停留时间报表（运报 4）、装卸车报表（货报 1）和货物分类装车报表（货报 2）等车站十八点统计报表11。新系统同时提供手工录入功能。（3）分界站电子确报。此功能应用于铁路局集团公司间的分界站，系统收集车号自动识别系统中的 AEI 报文，并与电子化运统 1 进行匹配，形成分界站电子确报报文信息12，并根据电子确报报文形成分界站货车出入报表（运报 1）。（4）综合处理。新系统提供报表上传、打印和查询等功能，并能满足不同用户不同场景的个性化需求；提供自定义指标查询及同比、环比等简要分析查询。（5）岗位交班。操作员完成本班全部操作后进行交班过表处理。交班后，统计操作人员不能再修改本班的台账和统计报表等信息。4结语自 2021 年开始，铁路十八点统计项目组（以下简称“项目组”）在中国铁路昆明局集团有限公司（以下简称“昆明局集团公司”）开展了分界站统计、车站统计及车务段统计的软件编制和测试。特别是 2021 年 7 月，昆明局集团公司进行了货运集中受理改革，新系统及时作出设计调整，实现了车站货运统计一岗多站统计模式，满足了货运改革后的统计业务需求。从 2022 年 8 月开始，新系统在昆明局集团公司全面推广应用，统计工作自动化、智能化水平大幅提高，统计数据质量显著提升，受到各级用户的一致好评。现阶段，项目组正在中国铁路太原局集团有限公司、中国铁路上海局集团有限公司和中国铁路济南局集团有限公司继续开展试点工作。待程序全面优化升级后，将在全路推广应用，更好地为全路调度指挥、运输生产和经营管理提供决策支撑服务。参考文献1 中国国家铁路集团有限公司运输十八点统计工作管理办法：铁调2020127 号S 2 李恩胜铁路运输十八点统计及其存在的问题分析J 现代国企研究，2019（6）：102，1043 中国国家铁路集团有限公司“十四五”铁路科技创新发展规划：铁科信202254 号S 4 庄红男大数据驱动的铁路统计综合信息体系研究及应用D 北京：北京交通大学，20165 何明光.大数据应用调度系统的设计与实现D 北京：北京交通大学，2019.6 王瑞斌铁路运输信息集成平台技术方案研究J 铁道运输与经济，2019，41（2）：43-49.7 马建军，李平，马小宁，等铁路一体化信息集成平台总体架构及关键技术研究 J 中国铁道科学，2020，41（5）：153-1618 马长青，林玉红基于源点信息集成的铁路运输统计分析体系优化研究J 铁道货运，2019，37（11）：1-79 胡思继指标分析理论与铁路运营指标分析M 北京：中国铁道出版社，201010 李慧兰州局集团公司车务段运输统计集中管控探索J 铁道运输与经济，2020，42（9）：40-4411 中国国家铁路集团有限公司铁路货车统计规则：铁发改2020184 号S 12 中国国家铁路集团有限公司分界站电子确报管理办法：铁调202188 号S（编辑尹红）