收藏 分销(赏)

商业银行数据模型白皮书 2023.pdf

上传人:Stan****Shan 文档编号:1266645 上传时间:2024-04-19 格式:PDF 页数:50 大小:11.87MB 下载积分:25 金币
下载 相关 举报
商业银行数据模型白皮书 2023.pdf_第1页
第1页 / 共50页
商业银行数据模型白皮书 2023.pdf_第2页
第2页 / 共50页


点击查看更多>>
资源描述
商业银行数据模型白皮书CCSA TC601 大数据技术标准推进委员会2023年12月前 言中共中央国务院发布关于构建数据基础制度更好发挥数据要素作用的意见提出要“完善治理体系,压实企业的数据治理责任,保障安全发展”,对企业参与数据要素市场建设提出了明确的要求。“十四五”大数据产业发展规划中强调“构建行业数据治理体系,提升行业数据治理水平”,鼓励企业发挥技术驱动治理的作用,融合数据模型、数据分布、数据集成与共享等细分领域,应用于数据治理的全流程。人民银行印发金融科技发展规划(2022-2025年)中提出“高质量推进金融数字化转型,全面塑造数字化能力”,标志着银行业向推进数据治理管理的方向转变。数据治理是银行业高质量推进数字化转型的重要基础。随着监管部门对数据安全、数据质量要求的不断提高,银行机构亟需深化对数据的精细化管理,确保数据的准确性、安全性以及合规性。银行通过建立统一的数据标准,规范数据采集、处理、存储和使用等流程,提高数据的质量和价值,避免数据泄露、不合规使用等问题,为数字化转型提供可靠的数据基础。数据模型建设是推动高质量数据治理体系的核心环节。银行业作为早期开展数字化转型的行业,在取得了诸多显著的成果同时,也暴露出了一些问题。在银行的数据管理模式从粗放式扩张向集约式管理转变的过程中,出现了数据架构、数据质量等方面的问题。例如,数据质量无法满足运营安全要求,数据架构难以支撑业务创新需求等。构建企业级数据模型可以帮助银行厘清数据分布关系,优化数据架构,确保数据的一致性、完整性和易用性,进而提升数据应用效率,激发数据的业务价值。商业银行数据模型白皮书是由大数据技术标准推进委员会牵头,联合来自国有大型商业银行、IBM和数语科技的专家,经过共同深度探讨与总结而成的重要成果。白皮书从理论层面剖析了商业银行数据建模的模式及方法,从实践应用层面阐述了国有大型银行的建模思路和建模成果,旨在为银行业的数据建模提供参考框架和指引,也为其他行业在大数据建模方面提供参考和启示。商业银行数据模型白皮书目 录CONTENTS前言一、商业银行数据模型概述(一)商业银行业数据模型发展经历四个阶段(二)数据模型具有四大价值 0103(一)贯彻企业战略基于企业架构视角建模(二)穿透场景应用基于应用场景视角建模(三)两种数据模型建设模式对比 040607二、数据模型建设模式(一)数据模型设计的六项原则(二)概念数据模型(三)逻辑数据模型(四)物理数据模型 08091012三、数据模型设计原则与研发工艺(一)组织管理(二)流程管理(三)工具管理 141617四、数据模型管理保障措施五、国内大型银行数据模型实践案例(一)建设银行基于FSDM模型构建企业级数据模型(二)农业银行基于FS-LDM模型构建企业级数据模型(三)交通银行基于企业架构方法论构建企业级数据模型 182023(一)加速探索数据模型自主创新(二)加快适应新型数据管理理念(三)敏捷响应市场业务需求变化(四)加强构建数据模型评价体系 25252526六、银行业数据模型发展趋势商业银行数据模型白皮书(一)术语和定义(二)商业银行数据模型参考 2727附录 商业银行数据模型参考参考文献商业银行数据模型白皮书图目录图 1 流程模型、数据模型、产品模型三者关系参照图 图 2 数据应用场景视角数据模型参照图 图 3 两种建模模式对比分析 图 4 概念数据模型示意图 图 5 概念分类模型工艺图 6 逻辑模型框架示意图(参与人主题)图 7 逻辑模型实施工艺参考示意图 图 8 物理模型框架示意图(参与人主题)图 9 某银行数据模型管理组织示意图图 10 某银行数据模型管理制度和对应流程示意图 图 1 1 中国建设银行数据模型管控体系 图 12 中国建设银行数据模型建设阶段 图 13 中国建设银行C模型主题分类 图 14 中国农业银行DataOps数据设计研发流水线图 15 中国农业银行数据架构图 图 16 中国农业银行数据模型细化环节 图 17 交通银行数据模型双“T”架构 图 18 企业架构总体视图 0506070910101 11214151819202122222324表 1 数据模型相关人员主要职责 表 2 数据模型管理相关制度规范示例 表 3 数据模型管理平台的核心功能 151717表目录商业银行数据模型白皮书一、商业银行数据模型概述数据模型:是指使用结构化的语言将收集到的企业业务经营、管理和决策中使用的数据需求进行综合分析,按照模型设计规范将需求重新组织形成的结构化模型1。数据模型是银行数据架构管理的基础领域。如:基础数据标准体系建设需要依赖数据模型,数据分布需要依赖企业级逻辑模型,以明确主要实体的主辅应用;数据生命周期管理需要依据数据所属主题和功能判断数据的在线、离线和归档周期。完整、高质、稳定的数据模型有利于统一业务概念,促进信息整合和知识积累,维持数据库稳定,提高应用开发质量,同时也可以作为技术与业务之间沟通的工具。数据模型包括了三个部分2:数据结构、数据操作、数据约束。数据结构:数据模型中的数据结构主要用来描述数据的类型、内容、性质以及数据间的联系等。数据结构是数据模型的基础,数据操作和数据约束都基本上是建立在数据结构之上的。不同的数据结构具有不同的操作和约束。数据操作:数据模型中的数据操作主要用来描述在相应数据结构上的操作类型和操作方式。数据约束:数据模型中的数据约束主要用来描述数据结构内数据间的语法、词义联系、它们之间的制约和依存关系,以及数据动态变化的规则,以保证数据的正确、有效和相容。(一)商业银行业数据模型发展经历四个阶段银行业作为我国经济金融的基础,是我国金融体系的重要组成部分。改革开放以来,我国银行业持续根据市场以及国家总体情况进行探索与改革,逐步完成了从完全由国家接管,到相对独立的发展过程。我国银行业发展主要可概括为四个阶段3:011 数据管理能力成熟度评估模型2 银行数据治理(2016)3 中国银行业70年:简要历程、主要特点和历史经验商业银行数据模型白皮书第一阶段为1979年至1992年,为探寻市场化发展阶段,数据模型处于“无意识”管理状态。期间我国银行信用机制建立、设立了股份制银行,银行开始独立经营。这一阶段,我国银行业处于系统林立时期,数据分散存储于各类信息系统中,原始系统中的数据格式、数据模型、数据标准都很不统一。第二阶段为1992年至2001年,为市场化改革阶段,数据模型进入了集约化管理时期。期间我国银行专业化运营方向得以确定,银行的商业任务与政治任务进行了分离,此外银行的法制化建设持续推进,建立了银行间市场。1999年工商银行率先启动了数据大集中工程项目,随后国有银行纷纷推进数据的大集中建设,银行业信息化进入“大集约”时期。第三阶段为2002年至2017年,该阶段为国际化改革阶段,数据模型管理对标国际能力。期间我国国有商业银行通过股改上市,同时央行开始发行债券。银监会的成立使得银行业风险控制能力得到较大提升。2001年12月11日中国正式加入世界贸易组织(WTO),标志着中国对外开放进入了一个新的阶段,此阶段内我国多家银行设立了境外分支机构,国际化发展步入正轨。在“十一五”计划期间,国内银行业科技的重心从单一系统建设转向统一的数据模型和数据仓库的建设。许多银行选择引入或参考国际主流的数据模型方案(例如,国际商业机器公司(IBM)提出的FSDM模型和由天睿公司(Teradata)提出的FS-LDM模型)。第四阶段为2017年至今,我国银行业持续推进数字化转型、不断增强服务实体的能力,数据模型谋求本土化。近年来金融科技快速发展,依托云计算、数据库、区块链等计算机技术的银行业务持续创新,为银行带来新的成长动能。此时,大部分的商业银行都对行内数据进行了梳理盘点,尝试建立企业级的数据模型,并取得了一定的成果,但随着移动支付等一系列具有中国特色的业务的发展,国外的数据模型方案出现了“水土不服”。当前,我国经济处于发展的关键阶段,银行在这一阶段既要保证快速响应市场需求,也要坚守安全合规底线。如何建立起适应这一发展特点的企业级数据模型将成为进一步提升银行数据管理效率和质量的重点。02商业银行数据模型白皮书(二)数据模型具有四大价值在数据生产和管理过程中,数据模型发挥着关键作用,高质量的数据模型具有以下价值:构建业务与技术沟通的桥梁。良好的数据模型有利于统一银行内部人员对业务定义与术语的认知,提升银行内跨业务、跨团队的沟通效率。保障业务与数据架构的一致性。数据模型的研发需要依托于业务架构,良好的数据模型有利于从组织层面上,保障业务架构与数据架构的一致性,指导银行内系统建设与业务创新。优化数据成本。按照数据模型要求进行数据的研发应用,可以有效减少数据存储的冗余,增强数据的复用性,避免了孤岛式、烟囱式建设。优化数据的存储、建设和应用成本。提升业务决策能力。数据模型的建立有助于明确数据流向,保障数据的真实性,为行内业务决策者和数据使用者提供可靠的数据分析与应用,助力发挥数据价值。03商业银行数据模型白皮书二、数据模型建设模式通过对我国大型商业银行内模型领域专家开展广泛调研与讨论,我们发现,当前普遍存在两类数据模型建模方式,一是从企业架构视角进行建模,二是从数据应用场景视角进行建模。下面,我们将分别介绍这两种模式的建设流程及特点,并对二者进行对比,便于读者进行选择。(一)贯彻企业战略基于企业架构视角建模基于企业级架构视角的模型是以企业战略为核心,依托业务模型建立企业级数据标准,贯穿战略层面与系统应用层面。基于企业级架构视角的模型建设有助于打破组织内IT系统的孤岛式建设,核心任务是对银行内战略的分解、传导,帮助企业将零散的能力“聚沙成塔”,确保战略意图和绩效指标逐层落实到每一个流程步骤、程序模块、操作规范中。企业级架构中的业务模型从产品、流程及数据三个角度,对企业的业务运营进行精细化、结构化的描述。产品模型,主要包括产品分类结构、产品组件、产品条件和产品参数,以及可售产品实例化;通过对企业产品分类来优化和完善产品目录,确定与产品相关的业务规则、约束、价格等关键要素,并采用产品条件及参数的形式表达;在操作流程中由产品确定的相关业务规则形成企业级的产品模型。流程模型,是业务模型的主线,描述了客户端到端的业务操作流程;通过提取业务的变量(比如客户C、产品P、渠道C和合作方P),形成汇总的企业级流程,保证渠道、产品线之间业务流程的一致性以提供卓越的客户体验;流程模型能够包容客户、产品、渠道及合作方的差异,支持线上线下全渠道整合,体现端到端的完整业务处理流程,为客户提供跨渠道的、一致的体验和一站式的产品服务。数据模型,是将流程模型以及产品模型中产生的所有数据需求进行逻辑化和抽象化表示,反映企业的战略目标在实施过程中所用到的所有数据实体及实体之间的关系。集合每个操作流程需要进行读写处理的信息对象,流程规则需要读取或记录的信息项及其关联关系,构成了数据模型的基本输入。04商业银行数据模型白皮书产品模型、流程模型和数据模型从不同的维度还原了业务本质。产品模型体现业务创新,流程模型体现运营模式,数据模型体现业务模式。通过三者模型的对接,一方面交叉验证提升业务模型质量,另一方面为后续IT设计提供输入。基于企业架构视角建模流程主要分为五步:第一步,识别需求。通过研讨会、访谈、业务手册等方式,识别业务重点关注的内容。第二步,构造业务对象。提取相关名词形成候选核心实体,并基于核心实体形成业务对象。第三步,界定数据范围。提炼业务数据,界定系统的数据范围。第四步,划分主题域。对业务数据进行分类,抽象业务对象,最终梳理出业务实体,及实体间的业务关联规则。第五步,完善业务对象清单。结合流程模型验证已识别业务对象的正确性和完整性,识别完善与细化业务对象清单。05图 1 流程模型、数据模型、产品模型三者关系参照图产品模型产品线L1业务规则说明归属操作说明实体属性L1实体属性L2实体属性L3属性域实例L5属性域组属性域L4业务事件产品组L1基础产品L3产品组件L4产品条件L5数据模型业务领域L1价值流L2活动L3任务L4步骤L5流程模型业务组件商业银行数据模型白皮书(二)穿透场景应用基于应用场景视角建模基于应用场景视角建模是从业务驱动的角度,从具体业务场景出发,覆盖各方业务需求。核心任务是对具体业务场景的业务逻辑进行抽象,将业务与技术融为合力,为企业的战略规划、市场预测、产品研发等方面提供有力支持。基于应用场景视角建模流程主要分为四步:第一步,识别需求。明确需要建模的业务场景及模型应用诉求,例如风险评估、客户分析等场景。第二步,系统调研。对现有源系统进行信息调研,获取相关数据源、数据分布等信息。第三步,数据梳理。基于业务需求梳理数据项,包括数据指标、业务实体等,并逐步迭代定义实体关系,标识实体属性。第四步,建立映射。在实施过程中与底层库表建立完善的映射关系,持续优化建立描述各业务场景的数据模型。06图 2 数据应用场景视角数据模型参照图明确业务场景应用需求数据源系统候选实体业务主题框架分类业务对象定义业务对象L1数据模型业务实体L2实体属性L3属性域L4属性域组属性域实例L5业务组件清单业务实体清单业务活动商业银行数据模型白皮书(三)两种数据模型建设模式对比基于企业架构视角的数据模型建设方式,通常适合于跨部门或系统的业务需求较多的组织。这种方式主要是由组织层面发起,通过对数据的宏观把握和分析,梳理和整合不同部门和系统之间的业务逻辑和数据关系,通常实施开发周期较长,适合于组织重构数据模型或创新业务模式的时期。基于应用场景视角的数据模型建设方式,则通常适合于精细化分析的业务需求较多的组织。这种方式主要是从某个特定的业务场景出发,通过对数据的深入挖掘和分析,梳理和分析具体场景中的数据关系和业务逻辑,实施开发周期与业务场景及需求有关,适合于组织对已有数据模型进行改造或升级的时期。值得注意的是,数据模型构建的核心是为业务服务,在应用中企业需根据组织实际情况和需求,综合考虑企业数据现状、存储方式、处理效率与复杂度等情况,灵活选择或融合使用两种数据模型建设方式,以实现更好的数据分析和业务决策。07图 3 两种建模模式对比分析基于企业构架视角建模跨部门或跨系统的数据需求较多企业重构数据模型或创新业务模式企业重构数据模型或创新业务模式特定场景精细化分析的需求较多对已有数据模型进行改造或升级实施周期与业务场景有关基于应用场景视角建模业务需求适用场景实施周期商业银行数据模型白皮书三、数据模型设计原则与研发工艺企业级数据模型通常包含概念模型、逻辑模型和物理模型。建设数据模型是一套专业且规范的构建工序,包括对数据结构进行整理、分析、信息归类、裁剪与映射等一系列操作流程。本节将介绍企业级数据模型的建设原则与建设工艺,从各类数据模型的建模关键活动、设计指导原则及实施工艺(或工具)等角度进行说明。(一)数据模型设计的六项原则建设数据模型是一套专业且规范的构建工序,包括对数据结构进行整理、分析、信息归类、裁剪与映射等一系列操作流程。在企业级模型研发的过程中应遵守以下原则:完整性原则:在充分参考各类业界企业级数据模型的基础上,结合银行的实际情况,确保模型包含了正确的、全面的业务概念,涵盖现有业务范畴及数据范围如存款、贷款、投融资、营销等。其中涉及的重要实体、重要关系、重要分析维度等属性应保持完整。此外,还需要满足各模型间的参照完整性,支持相关的业务活动。继承性原则:指数据模型要遵循已有的概念,即所建立的模型应该在已存在主题的基础上进行细化。确保数据模型的全局一致,并保障数据可溯源,逐步形成企业统一数据模型。可扩展性原则:主题分类应具有高度的通用性,支持业务规则的多变性,保持数据模型的动态调整能力,以适应复杂的业务情况,并为后续拓展新的业务提供一定程度的技术支持。连贯性原则:模型中的数据与数据之间应有连贯性,由于单独的数据所体现的价值往往比相关联的数据少,数据间的连贯性可充分发挥数据的分析价值。前瞻性原则:企业应从业务的未来发展趋势看待模型,除了支持现有的业务与数据需求外,设计出来的模型应能够适应企业未来的业务发展,以支撑行业先进概念与企业未来需求。08商业银行数据模型白皮书可操作性原则:模型的应用可与日常操作和实例快速结合使用,易于让业务人员理解和使用,有助于科技和业务部门人员的沟通,便于指导项目研发。(二)概念数据模型概念模型也称为领域模型,是对数据的高级、抽象描述,概念模型的目标是捕获业务需求和数据的本质结构,通过模型帮助业务分析师和数据库设计师理解业务中的实体、实体间关系和数据分布关系,通常以实体-关系图形式呈现。设计工艺概念模型设计分为以下五步:第一步:明确建模范围;第二步:制定分类模板;第三步:识别分类模板;第四步:细化分类层级;第五步:定义各级分类。09图 4 概念数据模型示意图银行向用户销售的或提供给客户所使用的服务产品内部组织和业务单元,如分行、支行、营业网点、部门、机关组织单元参与人之间针对某种特定产品或服务而签立的契约关系合约参与人的所有资产,包括农行及客户拥有的资产资产各种与银行相关的活动的详细情况,包括金融性交易、非金融性交易事件银行服务的任意对象和感兴趣进行分析的各种对象参与人银行内部账务的组织模式,包括总账、科目、指标等财务记录来自外部的报表数据,这些数据是按多个主题交叉汇总的多维数据交叉记录各种参数、代码通用参数商业银行数据模型白皮书概念模型的主题划分是依据业务主体参与的业务活动特性来划分,建模人员需根据设计指导规则,梳理企业业务架构及业务实体,对业务概念或信息系统数据进行逻辑化,形成对数据模型分类框架的概念化结构。并按照“主体行为关系”(IBR)方法,建立数据域间的关联关系。通常对应银行业参考模型中的A(B)模型设计活动。(三)逻辑数据模型逻辑模型是对概念模型的进一步细化,描述业务实体、属性以及实体间的关系,可转化为数据库表结构的设计,通常使用实体-关系模型来描述数据的结构和关系。10图 5 概念分类模型工艺图 6 逻辑模型框架示意图(参与人主题)参与人参与人识别信息参与人识别信息生命周期参与人名称信息参与人他行账户信息参与人他行信息参与人纳税信息参与人生命周期参与人他行担保信息参与人他行贷款信息个人名称信息组织单元组织个人参与人外部编号信息参与人名称类型代码参与人类型代码参与人他行信息类型代码参与人名称信息生命周期参与人和位置关系位置黑名单资源项 参与人和黑名单关系参与人和资源项关系步骤1明确建模范围步骤2 制定模型分类模板步骤3识别模型分类模板步骤4细化模型分类层级步骤5定义模型各级分类商业银行数据模型白皮书逻辑模型是依据概念分类主题划分做进一步细化,建模人员需根据设计规范识别各概念主题下的候选实体,形成实体关系草图,对实体属性及实体间关系进行规范性描述。其中从“分配属性至候选实体”到“定义域和实例”的四个环节需要反复迭代以持续完善模型内容。通常对应银行业参考模型中的C/C模型设计活动。在由企业级逻辑模型(C模型)到应用级数据模型(C模型)设计过程中,C模 型 数 据 对 象 继 承 自 C 模 型 的 业 务 对 象,唯 一 的 核 心 数 据 实 体 和 属 性 应与 业 务 对 象 保 持 一 致。建 立 组 织 级 数 据 模 型 与 系 统 级 数 据 模 型 的 映 射 关系,形 成 模 型 的 同 步 更 新 机 制。设计工艺逻辑模型设计分为以下八步:第一步:识别候选实体;第二步:研发高阶实体关系草图;第三步:分配属性至候选实体;第四步:应用业务信息规范化原则;第五步:完善实体关系图(E-R图);第六步:定义域和示例;第七步:检查业务与流程的完整性;第八步:描述属性与业务规则。11图 7 逻辑模型实施工艺参考示意图持续迭代步骤1识别候选实体步骤2研发高阶实体关系草图步骤3分配属性至候选实体步骤4应用业务信息规范化原则步骤5完善实体关系图步骤7检查与业务流程的完整性步骤8描述属性与业务规则步骤6定义域和实例商业银行数据模型白皮书(四)物理数据模型物理模型是数据库的实施模型,用于详细定义数据的物理结构,形成对真实数据库的完全描述。物理模型定义了数据库在特定硬件和数据管理系统中的存储和性能细节。设计工艺物理模型是对逻辑模型的进一步细化,需要对数据库中的表、视图、字段、数据类型、主键、外键、索引等进行明确和定义。通常对应银行业参考模型中的D模型设计活动。12图 8 物理模型框架示意图(参与人主题)商业银行数据模型白皮书13物理模型的设计还需要遵守如下原则:一致性原则:主题分类及主要实体一致,继承逻辑模型灵活性,易于扩展等优点。差异性原则:从逻辑模型到物理模型的落地设计过程中,对于集中式数据库存储,通常实体和属性是一一映射关系,主要考虑按不同的数据库类型进行属性类型和索引等设计的差异。性能保障原则:从应用性能和分布式存储的设计考虑,物理模型落地时需从分库、分表及应用性能等方面进行设计规范,提高数据的处理性能。物理模型(D模型)需要一对一继承 C模型逻辑数据对象、实体和属性,并根据实际使用的数据库,设计相应的物理特性。此外还需保障物理模型(D模型)和企业级数据模型(C模型)、应用级数据模型(C模型)间具有同步更新机制,确保数据模型间的一致性。企业除了模型设计工作外,还面临着一系列的数据模型管理工作。总体来说,数据模型的管理包含组织(人)、流程与工具三个方面。在下一章中我们将针对这三个方面分别展开介绍。商业银行数据模型白皮书四、数据模型管理保障措施银行积累了大量敏感信息,包括交易数据和客户资料。考虑到国家相关部门对数据质量和数据安全的强力监管,数据模型的构建必须经过严格的模型管控,以确保数据的合规性和安全性。为了更好地推动银行内数据模型管理工作的开展,银行可以从组织、流程以及工具三个维度入手,协同保障数据模型管理工作的落实。(一)组织管理完善的组织架构保障模型管理沟通渠道畅通。银行需要根据数据模型涉及的工作范围设立企业级的数据管理工作组,并在各业务(板块)下设立数据模型接口人,便于银行进行管理沟通上的横向协同与纵向打通。组织层面设立专门的数据管理部门,负责建设数据治理体系,包含数据标准、数据模型、数据质量等治理规范的制定与落实管控。由具备专业知识和技能的数据模型管理员负责企业级数据模型的管理,包括指导数据架构相关的工作和决策。部门层面设立IT业务研发部门,统一负责设计、开发和维护行内各业务系统。数据架构师和模型研发工程师负责数据模型的设计和维护工作。其中,数据架构师根据银行的整体战略和业务需求负责设计数据架构的设计原则、开发规范和标准。模型研发工程师则负责数据模型的落地与维护,对接各业务条线的数据需求,并对模型进行定期地优化和更新。14图 9 某银行数据模型管理组织示意图业务部门A数据BP数据BP数据BP数据BP业务部门B业务部门B业务研发部数据管理部数据模型管理员数据架构师负责设计数据 架构的设计原则、开发 规范和标准。模型研发工程师负责数据模型的落地与维护负责对模型进行定期地优化和更新。负责企业级数据模型的管理,包括指导数据架构相关的工作和决策。数据模型管理组织业务条线分支机构.商业银行数据模型白皮书(二)流程管理为了推动银行内数据模型设计研发以及管理运维工作更规范化地开展,需要建立完善的数据模型管理制度及流程。银行通过建立并维护完善的数据模型管理流程,严格约束数据模型建设过程中的相关操作,指导员工有序开展数据模型研发管理工作,从职能驱动向流程驱动转型。为避免先污染、后治理的运动式建设模式,银行通过规范的工作流程可以保障企业级数据模型在跨部门、跨条线、跨系统场景下的统一维护。银行可以从模型设计、模型实施、模型管理等维度形成相关制度规范,规范数据模型在银行内的设计及应用,为数据模型的设计和管理工作提供参考依据。数据模型管理相关制度规范示例:通过这种分工明确的组织结构和职责划分,有效地保障了数据模型的质量和可靠性,为银行的数字化转型和业务创新提供了强有力的支持,有助于推动该行的数据管理和应用水平的提升。相关人员职责要求示例:15表 1 数据模型相关人员主要职责序号12345岗位名称 数据架构师业务分析师数据模型管理员数据研发工程师数据治理专家负责数据模型的整体规划、制定和落实数据模型管理制度;负责制定数据模型研发规范及相关数据治理工作;负责业务线调研,分析业务需求,持续反馈与完善数据模型;负责提升数据模型用户体验,提高数据模型应用覆盖度;负责宣贯、评估数据模型落地效果,检查数据标准落地的规范性、完备性;负责数据模型的日常运维与更新;负责数据采集、计算、分析处理等相关数据模型研发工作;负责数据模型研发、问题跟踪与解决;岗位职责负责协调梳理模型的数据标准,并参与模型评审环节,推动数据标准的落标;制定和实施数据质量管理策略、标准和流程,制定相关报告和分析,发现数据模型质量问题和趋势;商业银行数据模型白皮书某大型国有商业银行通过在实践过程中总结建模过程中使用的方法和规则形成企业级数据模型建模方法,明确企业级数据模型的设计原则和要求。通过制定应用级数据模型设计规范明确模型间的继承规则,保证组织级数据模型与系统应用级数据模型的一致性。通过数据模型管理方法明确数据模型管理相关部门职责以及模型管理工作流程,进一步保障应用级数据模型设计规范的落地实施。16表 2 数据模型管理相关制度规范示例序号12345制度/规范名称数据模型需求管理办法数据模型设计规范企业级数据建模方法指引应用系统数据模型设计技术指引数据模型管理细则主要覆盖从需求来源、需求撰写、需求提交、需求变更、需求分析与技术评审等方面的管理要求,及需求管理流程步骤和各部门的职责分工。主要明确数据模型体系、遵循原则、设计方法和步骤、管控流程、职责分工等内容。主要明确企业级逻辑模型分层及设计原则,根据业务域划分、业务需求、概念定义等内容。主要明确应用系统数据模型设计原则、数据模型继承关系、ER 图设计与布局、模型表、属性命名与描述等方面的内容。主要内容主要明确数据模型管理体系、模型管理流程、模型管理原则、职责分工等内容。图 10 某银行数据模型管理制度和对应流程示意图模型建设与管理流程数据模型设计 安全要求质量规范标准引用数据模型评审数据模型发布发布元数据企业级数据模型建模方法应用级数据模型设计规范数据模型管理数据模型管理方法数据字典模型知识库元数据管理标准商业银行数据模型白皮书这些规范的制定和实施,帮助银行在数据模型研发管理工作中更加标准化、规范化,同时保障了企业级数据模型的完整性和灵活性,助力该行构建企业级数字化经营体系。(三)工具管理为了保障数据模型研发管理工作的高效实施,企业离不开先进的工具支撑。银行借助统一的数据模型设计、管理工具,保障数据模型管理规范与研发的一致性,支撑数据模型管理的持续运营,协助数据模型研发管理人员提升工作质量与效率。数据模型设计、管理平台包括但不限于以下功能:当前,国内大部分银行业主要选择采购如Erwin、ER/Studio等外部数据模型研发、管理工具,帮助银行梳理业务和数据现状,实现多种数据模型的落地,支撑数据模型的统一管理和维护。未来,国内银行业将逐渐采用自研的工具平台,解决银行的个性化管理需求,优化银行数据模型的设计流程,推动数据开发与治理的敏捷化、标准化、一体化。17序号345678支持用户对物理模型进行管理,包括逻辑模型创建、修改、版本管理等功能,并支持物理模型落库、DDL导出等。支持与标准、质量、元数据等平台对接能力,支持数据建模过程中对标准引用、质量规则校验、与元数据映射比对等。支持模型评审流程,包括模型检查、线上审批流程、评审通知、评审意见区等功能。支持对数据模型进行版本差异分析、变更影响分析、关联分析等功能。功能项描述支持对模型管理平台进行权限管控,包括权限角色配置、权限分组设置、权限审批、模型目录操作权限等。支持对数据模型样例、数据模型规范、模型相关知识等进行管理和维护,供相关人员查询和参考。功能项物理模型管理平台对接能力模型审核模型分析权限管理模型知识库表 3 数据模型管理平台的核心功能支持用户对数据概念域进行创建、修改、删除和查看,支持对模型进行分类管理。支持用户对逻辑模型进行统一管理,包括逻辑模型创建、修改、版本管理等功能,并支持定义模型关联关系,模型物化及模型结构可视化等。功能项描述序号12功能项概念模型管理逻辑模型管理商业银行数据模型白皮书18五、国内大型银行数据模型实践案例(一)建设银行基于FSDM模型构建企业级数据模型中国建设银行构建了完善的企业级数据模型质量管控体系,包括数据模型建模方法论、数据模型建模规范、数据模型质量检查三个方面。在数据模型建模方法论方面,参考业界实践,总结形成标准化建模规范,保障整体架构的合理性、稳定性以及数据模型的完整性、准确性。在数据建模规范方面,通过对实体对象的命名规范、定义规范、取值规范和绘图规范,指导企业级数据模型建设。在数据模型质量检查方面,通过完整性检查清单、规范性检查清单和正确性检查清单对企业级数据模型进行程序性检查和内容性检查,保证企业级数据模型设计的执行规范性。图 11 中国建设银行数据模型管控体系商业银行数据模型白皮书学习和理解银行数据阶段,主要学习和理解IBM公司的FSDM模型,梳理最重要的13个业务系统数据字典,并按B级模型的结构进行数据项整理,一一映射和补充到FSDM模型中。数据模型初稿形成阶段,主要是依据FDSM数据概念分类模型中的概念分类、描述和关系演化成逻辑数据模型的实体、属性、关系及域等内容,并用ERWin图的形式予以表达。数据模型终稿生成阶段,主要工作是将业务架构的流程建模过程中整理的数据需求作为输入,对C模型再次完善补充而生成终稿。经过三个数据模型建设阶段,建行形成企业级C模型,C模型主题域及主要子域划分模型内容如下所示:19建设银行于2011年启动了新一代核心系统建设,由总行数据管理部牵头新一代数据线工作。中国建设银行参考了FSDM模型,基于企业架构视角并充分结合自身的业务特点,建立了具有建设银行自有知识产权的企业级B、C、C和D模型,建设银行的数据模型建设过程经历了现状梳理、数据模型初稿形成和数据模型终稿形成三个阶段。图 12 中国建设银行数据模型建设阶段现状梳理数据模型初稿现状模型对接系统数据现状梳理FSDM B Level 翻译讨论建立C逻辑模型梳理(Draft)信息互换信息输入信息输入信息输入信息输入信息互换信息输入B Level成果输出FSDM初级培训制定FSDM模型与现状映射与差异分析主题域模型(Draft)目标模型对接完成C逻辑模型梳理生成主题域模型数据模型终稿商业银行数据模型白皮书截至2022年底,企业级数据C模型形成了约200个子主题分类,沉淀5500余个数据实体。通过搭建企业级数据模型,建设银行实现数据资产的结构化定义和规范建设,统一了数据标准和数据语言,指导了应用系统和数据仓库的应用模型建设,起着承上启下、连接业务和技术的关键作用。(二)农业银行基于FS-LDM模型构建企业级数据模型中国农业银行将数据建模方法与DataOps全生命周期的标准化流水线相结合,从组织模式、管理制度、系统工具为数据模型结构提供全方位支撑。在组织模式方面,明确数据模型研发各环节的角色职责和人员分工,共同推动数据模型的建设和管理工作。在管理制度方面,梳理数据研发运营全链路中各类技术、业务制度和规范,发布可实施的技术标准,包括模型设计规范、测试规范等,形成管理“软规范”。20图 13 中国建设银行C模型主题分类商业银行数据模型白皮书在系统工具方面,通过平台工具将模型设计过程与数据标准、数据质量管理要求融合,建立质量门禁,形成“硬约束”,保障数据模型设计规范的落地执行。农行的大数据体系在经历了基础数据平台、大数据平台、数据中台1.0三个阶段后,迈入了数据中台2.0阶段。农行数据模型最初的框架主要参考了Teredata公司的FS-LDM的主题划分方式,采用三范式建模与维度建模相结合的方法;当前的数据模型在此基础上补充了业务领域视角,与农行产品目录的划分保持一致,形成了数据视角和业务主题结合的通用数据视图。农行基于企业架构视角以维度建模为主,结合三范式建模的设计方法,如存款、贷款、理财等实体的设计采取维度建模,参与人相关实体的设计采用三范式建模。采用以数据驱动为主,业务驱动为导向,通过双向结合的方式既保证设计的数据模型符合业务实际发展导向,又保证了数据模型建立在现有的真实数据基础之上,从而间接地保证了数据模型的易懂性与可用性。随着数据架构的演化,农行引入了数据湖的新技术,拓宽了数据底座,以数据湖为源对数据架构进行了优化,分为基础宽表、通用宽表、服务宽表三层逻辑架构。21图 14 中国农业银行DataOps数据设计研发流水线商业银行数据模型白皮书随后基于数据资产视角细化主题域模型框架,本着便于业务人员理解和技术人员实施的原则,细化模型框架时按照客户性质、业务条线、凭证类别、渠道类型等进行划分,将各个分支尽可能的细化。同时确保模型的可扩展性,具体步骤如下:22图 15 中国农业银行数据架构图图 16 中国农业银行数据模型细化环节步骤1概念模型细化步骤2分类遵循标准步骤3基础表与属性分类步骤4设计维度表/事实表步骤5设计关系型维度表步骤6设计历史表步骤7主题分类完善商业银行数据模型白皮书(三)交通银行基于企业架构方法论构建企业级数据模型 交通银行在企业级架构实践过程中,总结形成了以“轻量化”、“智能化”为特点的企业级数据模型。轻量化主要包括三方面:建模方法的轻量化、模型资产轻量化和模型落地轻量化。轻量化模型降低了实施成本,缩短了项目周期,可以更好的支撑中小金融机构进行数字化转型的快速实践。智能化是指在建模过程中,通过建立语料库,近义词识别等步骤,对新建数据模型所引用的属性进行智能化标准推荐,贯彻数据标准智能化管控,可加快建模工作的效率和模型成果的准确度。交行数据模型采用双“T”架构,包括“正T模型”,即1个高阶数据模型加上N个领域数据模型,以及“倒T模型”,即1个公共模型加上N个场景化应用。正T针对交易服务和运营管理场景,关注数据规范性和唯一性,强调实体属性的标准化,指导交易系统的设计开发,提供业务组件边界划分标准和跨组件数据交互使用的参考依据。倒T针对分析与决策报告场景,关注数据易用性和一致性,强调统一维度管理,为数据指标建设提供设计依据,同时也是数据分析需求的管理抓手。双T设计原则强调彼此的对齐和同频,正T中圈定业务对象和关键实体与倒T中的维度和关键事实设计做映射,从而实现两个模型在内容层面的统一。通过“双T”架构模型,实现了数据生产侧与数据消费侧的逻辑自洽,在进行前台业务产品设计的同时,同步设计后续监管报送、运营分析等场景的数据方案。23图 17 交通银行数据模型双“T”架构商业银行数据模型白皮书数据架构管控主要包括事前分析、事中管控、事后监督三个阶段。在需求分析阶段,应以数据模型作为参照,基于模型的基础数据项与指标数据项进行详细分析,避免“同名不同义、数出不同源”等问题;在开发管控阶段,应通过数据模型落实主数据管理、数据标准化、数据模型、数据分布流转等管控要求,从模型层面对跨系统数据交互等予以规范;在事后监督阶段,定期对各业务系统的企业级数据模型落地情况进行检查和评估,持续发现并整改,保障企业级数据模型的执行落地、迭代优化的高效闭环。24图 18 企业架构总体视图商业银行数据模型白皮书在数据模型建设落地后,长期有效的运营机制建设也至关重要,需要通过数据架构管控落地实施。六、银行业数据模型发展趋势银行业作为我国经济金融的基础,是我国金融体系的重要组成部分。改革开放以来,我国银行业持续根据市场以及国家总体情况进行探索与改革,逐步完成了从完全由国家接管,到相对独立的发展过程。随着大数据、云计算和人工智能等技术的发展,我国银行业务持续创新,在科技创新和数据监管要求等因素影响下,银行业的数据模型或呈现以下发展趋势:(一)加速探索数据模型自主创新在数据模型管理领域,短短几十年已从早期的“无意识”数据管理到如今的国际化管理。随着移动支付的兴起,一些国际上的数据模型管理方案面临了“水土不服”的情况。如何解决数据引擎动能不足、数据合规性和信息透明度等问题,成为推动国内银行业自主研发企业级数
展开阅读全文

开通  VIP会员、SVIP会员  优惠大
下载10份以上建议开通VIP会员
下载20份以上建议开通SVIP会员


开通VIP      成为共赢上传

当前位置:首页 > 研究报告 > 其他

移动网页_全站_页脚广告1

关于我们      便捷服务       自信AI       AI导航        抽奖活动

©2010-2026 宁波自信网络信息技术有限公司  版权所有

客服电话:0574-28810668  投诉电话:18658249818

gongan.png浙公网安备33021202000488号   

icp.png浙ICP备2021020529号-1  |  浙B2-20240490  

关注我们 :微信公众号    抖音    微博    LOFTER 

客服