数据中台在集装箱租赁系统中的应用_王浩然.pdf

电子技术 第 52 卷 第 4 期（总第 557 期）2023 年 4 月 49Computer Engineering计算机工程或客户，不同的供应商及客户对于同一类数据存在不同的编码规则，从而导致集装箱租赁企业自身数据归集口径存在不一致的情况，缺乏从业务系统录入、系统间对接的数据规范与标准。（3）数据及时性问题。对于集装箱租赁行业来说，除了企业内部进行业务信息录入之外，集装箱动态，物流动态等第外部数据亦至关重要。由于当前信息多通过邮件，电话进行交互，无法及时体现在业务系统中，导致业务层面无法及时有效的获取需要的数据分析处理结果，无法进行快速的业务响应。（4）数据提取及可视化问题。由于集装箱租赁行业本身的信息化系统实施时间较早，在设计之初并未考虑提供便捷易用的数据看板及数据分析工具，亦未根据相关业务域构建数据维度，导致在业务用户进行数据分析时不仅取数难度高，同时还依赖分析人员自身对于各业务字段的熟悉程度。不可避免，形成大量重复冗余的查询Query，耗费了大量原有系统的资源，从而使系统性能大为削弱。（5）数据准确性问题。过往集装箱租赁行业的业务系统的定位偏向信息录入及信息归集，多为作者简介：王浩然，中波轮船股份公司，硕士；研究方向：企业信息化与数字化。收稿日期：2022-11-27；修回日期：2023-04-12。摘要：阐述集装箱租赁企业现存数据资产管理中的数据断点、数据一致性、数据及时性、数据提取及可视化、数据准确性、数据服务复用问题，探讨数据中台建设思路，包括整合现有业务数据、数据中台管理体系、数据服务中台的设计，数据接入模块、数据处理模块、数据管理模块、数据服务模块、数据应用模块的应用。关键词：计算机系统，数据资产管理，数据一致性，数据中台管理体系。中图分类号：TP311.13文章编号：1000-0755(2023)04-0049-03文献引用格式：王浩然，朱文康.数据中台在集装箱租赁系统中的应用J.电子技术,2023,52(04):49-51.数据中台在集装箱租赁系统中的应用王浩然，朱文康（中波轮船股份公司，上海 200002）Abstract This paper expounds the issues of data breakpoints,data consistency,data timeliness,data extraction and visualization,data accuracy,and data service reuse in the existing data asset management of container leasing enterprises.It explores the construction of a data center,including the integration of existing business data,data center management system,design of data service center,data access module,data processing module,data management module,and data service module The application of data application modules.Index Terms computer systems,data asset management,data consistency,data center management system.Application of Data Center in Container Rental SystemWANG Haoran,ZHU Wenkang(Chinese-Polish Joint Stock Shipping Company,Shanghai 200002,China.)0 引言目前国内集装箱租赁企业在十三五期间已经完成了大部分的信息化建设目标。但由于行业上下游链条长，系统建设相对零散，导致出现了数据孤岛。同时，随着新型技术的不断兴起，企业获得信息化能力的成本不断降低，与之相应配套的要求也正同步发生着变化，半结构化、非结构化数据逐步出现在集装箱租赁行业上下游的数据交互中，数据交换量大，数据实时性高，也给集装箱租赁行业对数据的治理和使用带来了新的挑战。通过结合集装箱租赁行业面临的数据资产管理痛点，提出一个面向集装箱租赁行业建设数据中台的方案，从而破除数据孤岛，实现数据赋能。1 研究背景集装箱租赁企业现存数据资产管理问题。（1）数据断点问题。在目前集装箱租赁行业的业务系统中，部分数据交互存在部分的人工整理修改，线下纸面保存的模式，导致业务系统中数据缺失，影响对业务状态和变化的监控、分析。（2）数据一致性问题。基于集装箱租赁行业的特性，在日常业务中一般需要对接上百家供应商50 电子技术 第 52 卷 第 4 期（总第 557 期）2023 年 4 月Computer Engineering计算机工程先做再录，由于在录入时缺少质量参考标准，导致严重依赖手工录入数据的准确性，无法高效、自动化的进行准确性稽核，使整体数据质量无法保证。（6）数据服务复用问题。当前国内集装箱租赁企业正在使用的业务系统多包含集装箱采购模块，集装箱管理模块，集装箱租赁模块，集装箱租售模块，物流管理模板，CRM模块等，各模块各业务系统间为烟囱式架构，各系统间相对封闭，接口难以打通，导致数据无法复用，不仅导致大量重复的数据接口开发，也最终形成了一个个封闭的数据孤岛。2 数据中台建设思路 2.1 整合现有业务数据搭建数据中台的目的是解决当前集装箱租赁行业中数据管理体系较弱，数据对业务赋能不足的问题，因此数据中台建设的第一步是针对当前现有数据的现状进行调研和整理，收集企业全业务周期的数据资产，覆盖从融资、采购、管理、租赁、出售、处置等核心流程，形成相对容易见成效的业务域（数据维度）。同时，在进行现有业务数据的梳理过程也是对当前数据断点问题的一次回顾，考虑到当前集装箱租赁行业中，部分业务由于线下处理导致线上业务数据缺失的情况，需要在数据盘点中增加相应的数据来补足缺失数据，既可以考虑增加人工录入的数据源，亦可以通过添加IoT传感器等设备的方式，实时提供集装箱动态信息，或直接与客户及供应商进行数据对接（API/EDI），保证线上数据的连续性及完整性。2.2 定义数据中台管理体系数据中台的定位是帮助集装箱租赁企业实时追踪资产动态，了解业务变化趋势并通过大数据为未来的业务发展进行指导，因而数据本身的可靠性及安全性是保证数据中台持续运营，优化提高的先决条件。集装箱租赁行业内的企业涉及资产规模都相对较大，对数据资产的流通范围，管理权限及安全合规都有着较高的要求，为此结合集装箱租赁行业的业务实际，数据中台的质量体系管理要求如下：（1）数据标准管理流程：包括数据标准的制定、审核、发布、修订、关停的全生命周期管理机制和关键环节角色的职责和工作标准。（2）数据质量管理流程：质量是数据治理的重要组成部分，目的是通过对数据质量管理工作流的制定和推行，规范数据产生、采集加工、问题响应等各环节的工作标准，推进数据的客观、真实、准确，从而保障数据能力的及时、完整、一致等工作能力。（3）数据安全管理流程：数据安全是数字化转型工作的基础保障，数据安全管理流程包括安全检测流程、安全加固流程、安全审计流程，覆盖了从数据采集、传输、存储、访问、销毁的全生命周期的管控和审计。确保数据在生产经营和管理等各方面工作中安全合规、可管可控。2.3 搭建数据服务中台结合数据中台的技术特性及集装箱租赁行业自身的需求，数据中台将在数据基础管理、数据资产管理、数据体系治理、数据服务应用四个层面为集装箱租赁企业进行赋能，实现集装箱租赁业务数据统一化、标准化管理，并通过一系列对业务数据的应用，辅助商业决策。面向集装箱租赁业务的数据中台架构如图1所示。面向集装箱租赁行业的数据中台包含数据接入，数据处理，数据管理，数据服务及数据应用五大模块，对数据资产进行全生命周期的管理，从而向上支持智能应用，提供统一、通用的数据服务，向下收集集装箱租赁业务的全生命周期数据，通过图1 基于集装箱租赁业务的数据中台架构电子技术 第 52 卷 第 4 期（总第 557 期）2023 年 4 月 51Computer Engineering计算机工程数据集成，进行多源数据整合，实现企业内外部多系统多数据源打通，消弭各系统间的数据孤岛，实现集装箱租赁业务的全流程数字化管理。数据中台各模块可分解如下。2.3.1 数据接入模块数据接入模块旨在通过技术手段，将企业内部繁杂的数据源进行整合，并同步至数据中台1。受限于集装箱租赁企业的业务复杂度，在数据接入层可以通过构建ETL来直接对接不同的底层系统数据库，通过数据抽取的形式进行数据同步，此方法多用于对数据实时性要求相对不高的数据进行非实时同步；对于实时性要求比较高的业务数据，可通过搭建消息队列或Kafka,由数据源主动推送至数据中台，实现实时同步；同时，针对部分在线下手工维护的数据，亦可以通过文件上载或实时填报的途径，使业务用户手工上传数据至数据中台，保证数据的完整性。2.3.2 数据处理模块数据中台是一个三层结构的中间层2，分别是数据贴源层（ODS）、数据细节层（DWD）、数据服务层（DWS）。其中，数据贴源层需要与底层数据源保持同样的数据结构，方便后期进行溯源分析，DWD及DWS用于分析某一个主题域的数据服务层。数据处理模块通常对数据贴源层汇总的所有业务数据进行清洗、转换、加工、汇总，并通过数据模型，将处理好的数据按照不同的业务领域，数据用途构建出相应的维度表（DWD/DWS）进存储，打标，通过数据服务模块对外提供相应的数据服务。2.3.3 数据管理模块数据管理模块通过提前定义好的数据管理体系，监控中台整体的数据质量，通过构建相应的血缘分析，数据资产地图，数据使用日志等功能，帮助业务用户或IT用户在日常工作中快速定位到某些脏数据或新增数据影响到的业务功能及数据服务。2.3.4 数据服务模块数据服务模块的功能集中于对历史数据和经验的沉淀及复用，通过提炼数据信息，直接赋能企业的业务发展3。根据下游用户及系统的不同需求，集装箱租赁行业的数据中台提供的数字服务可以分为三大类：（1）直接面向其他系统的数据服务，包括提供统一、通用的接口对接或报表导出，将以往的点对点系统集成变成了点对面的系统集成，企业内部其他业务系统或第三方外部系统仅需要对接至企业数据中台，改善了以往某个应用为了获取数据。需要对接多个其他系统，并存在多种对接类型的问题；（2）基于内外部数据，利用机器学习、人工智能、模型算法等技术进行深度挖掘，实现数据智能，提供决策辅助建议，以数据驱动替代经验管理，提高集装箱全生命周期运营管理水平；（3）通过定义业务人员的需求，在数据清洗和转换中，针对数据的不同特性进行打标，使其标签化。在集装箱租赁业务中，集装箱租售业务面对的客户多为散客，除了客户数量较多以外，不同客户存在多样性的需求，所以了解不同客户的偏好，进行精准营销，则是数据中台在集装箱租赁行业的一大实践，通过预设的标签逻辑，帮助业务部门在库存发生变化后，快速识别到潜在的客户进行沟通跟进，大大提供的营销的效率及成果。2.3.5 数据应用模块同时，数据中台作为一个中间件，其另一个核心的价值是覆盖了所有业务数据，通过对接至BI（BusinessIntelligence）平台，即可从数据全流程监控，变成业务全流程可视，大大提升了业务部门及管理层对各环节各流程的管理能力，实时监控，并向通过对预设的重点对象的行为进行感知（例如客户起/退租行为、客户租/买箱箱行为），及时发现流程中的关键问题，改进工作流程或模式；监控事中应对、事前预防风险的落实情况，实现向集装箱租赁数字化运营管理模式的转变。4 结语通过对数据中台在集装箱租赁行业实践的探讨，可以发现数据中台通过高集成，高复用的特点，妥善解决了该行业数据量大，数据源繁杂，数据对接需求多的问题4-6，为后续集装箱租赁行业未来发展中数据中台的建设提供了一个思路提，即通过优化利用集装箱租赁行业业务历史数据价值，并结合外部行业上下游数据，以具体业务场景为切入点，构建相应数据资产管理体系，消弭数据孤岛，以数据驱动辅助业务人员进行决策分析，提升企业运营效率。参考文献1 张贝贝,王子同,吴清财,刘镇洋,李一,苗圃.船舶制造企业数据中台建设研究J.舰船科学技术,2022,44(10):171-174.2 郑金辉.数字化转型背景下的数据中台建设探讨J.数字通信世界,2021(11):56-57+65.3 张庆龙.以数字中台驱动财务共享服务数字化转型J.财会月刊,2020(19):32-38.4 崔恒志,王翀,吴健.基于数据中台的数据资产管理体系J.计算机系统应用,2021,30(03):33-42.5 刘淑梅,杜彬,云桂桂,杨宏伟.基于数据中台和流程平台的业务中台建设与实践J.现代电子技术,2022,45(20):65-68.6 缪翀莺,谭华,易学明.数据中台的定位和架构分析J.广东通信技术,2019,39(12):57-62+70.