金融存力基础设施发展研究报告 2023.pdf

北京金融信息化研究所（FITI）2023 年 12 月金融存力基础设施发展研究报告 I 在新型算力基础设施建设中，数据存储作为新型生产力的基础性、支撑性地位不断凸显，存力基础设施的转型创新已成为目前关注的重点。在金融信息化发展、数字化转型过程中，金融存力基础设施持续进行技术演进，并根据金融业务特点和安全稳定运行的需要，不断丰富存储架构、加大技术创新和应用，存储规模、存储能力都取得显著成效。面对存储技术快速演进、信息技术供应链安全形势变化、数字化转型创新和绿色节能要求，金融存力基础设施在确保支持核心业务安全稳定运行的同时，还要积极应对分布式数据库、云原生、大数据、AI 大模型等新技术应用提出的新要求，在存算分离架构、组网架构、分布式存储、集约绿色全闪存储、存储安全容灾、自主可控能力及智能化运维等不同方面加大创新应用、实现稳步发展，助力新一代金融 IT 基础设施建设，支持金融业务创新发展。I 一、一、概述概述 .1 1 二、二、金融存储发展现状金融存储发展现状 .2 2（一）金融业务与存储协同发展成效明显.2（二）金融业实现了多种存储架构和技术应用.4（三）国内外产品应用情况.16 三、三、金融存力基础设施发展演进分析金融存力基础设施发展演进分析 .1717（一）多种新技术应用对数据存储提出更高要求.17（二）不同存储介质加快技术创新、新老替换.27（三）金融存储组网模式更加高效.31（四）金融存储逐步构建主动、协同的安全防护体系.32（五）金融存储备份容灾更加高效、智能及多元.34（六）绿色节能存储技术逐步加快应用.37（七）金融存力基础设施运维智能化水平不断提升.40（八）供应链安全风险加剧.42 四、四、金融存力基础设施发展展望金融存力基础设施发展展望 .4343（一）双模态体系需要不同存储架构和新技术支持.43（二）存算分离架构支持构建“以数据为中心”的未来算力基础设施.44（三）全闪存加快应用提升绿色节能水平.45（四）RoCE 和 NVMe over RoCE 的组网模式趋势明显.45（五）金融存储加快新一代安全和备份容灾体系建设.46（六）金融存储供应链安全防范展望.46（七）金融存储智能化水平不断提升.47 I 图 1 存储系统软件架构示意图.5 图 2 分布式存储架构示意图.6 图 3 2022 年金融行业存储类型占比示意图.11 图 4 全闪存存储各行业占比示意图.11 图 5 外臵存储高性能高可靠示意图.19 图 6 数据库存算分离架构主备双集群容灾部署示意图.20 图 7 HDD 被两端替代示意图.29 图 8 全生命周期绿色存储技术全貌图.38 图 9 云-管-端协同的 AI 管理架构示意图.42 1 在金融信息化、数字化创新发展中，存储历来是构建金融信息基础设施的关键环节。特别是当前金融业数字化转型快速发展、数据量爆发式增长、数据要素价值充分释放，作为核心资产的金融数据对存储提出了更高的稳定性、可靠性、安全性、技术先进性及绿色节能要求。近期，国家多部门联合发布的算力基础设施高质量发展行动计划提出：算力是集信息计算力、网络运载力、数据存储力于一体的新型生产力，主要通过算力基础设施向社会提供服务。存储的基础性、支撑性地位不断凸显，数据存力已成为一种新的生产力。经过多年发展，目前金融存力呈现介质持续演进、架构不断丰富、高可靠、高可用等特点，助力构建新型金融算力基础设施。随着技术快速演进、数字化发展提速、国际形势复杂多变引发的IT 转型持续推进，金融存力需要不断加大转型升级力度，推动构建新一代智能、安全、绿色的金融存力基础设施。为此，金融信息化研究所组织金融机构、专业厂商开展金融存力基础设施研究，编写金融存力基础设施发展研究报告，全面总结了金融存储发展总体情况及不同存储技术应用情况，接着从技术演进、安全防护、绿色发展、安全可控等不同视角分析金融存储技术演进变化，并从多角度展望金融存力基础设施发展趋势，最后，通过典型案例展示金融机构存储发展成果。研究成 2 果为主管部门、金融机构、存储产业等各方提供参考。（一）（一）金融业务与存储协同发展成效明显金融业务与存储协同发展成效明显 金融业信息化程度高、数据重要性与业务连续性强，业务创新发展与存储技术演进相辅相成。从上世纪 50 年代至今，全球存储产业发展经历了酝酿期、成长期、成熟期至目前的创新期。不同阶段的存储技术产品有效支持业务发展，并持续进行迭代升级。当前，数字金融成为主流，实时交易、海量数据、持续创新的金融服务模式，不断催生具有金融业特点的存储技术，实现金融业务与存储产业的互相促进、共同发展。比如银行结账业务每天需要花费 4 小时，催生了存储虚拟快照功能的产生；银行系统开发过程需要模拟真实数据读写验证应用，催生了快照的实体化，即存储卷克隆功能；业务连续性的要求催生出控制器软件在线升级；业务数据激增催生出卷扩容功能；在系统组件出现亚健康状态时，需要保证业务连续，催生了在线热插拔技术等。这些技术更好地满足了金融业务快速发展带来的数据量迅速增长、业务处理时效性、数据安全性、业务连续性等需求。目前，金融机构的数据量普遍达到 PB 级，其中数据量增长较快的大型金融机构数据量超过 100PB，且未来 5 年年均增幅预计达到 24.33%，呈现快速增长态势，金融机构需要持续加大存 3 储系统建设投入。其中，国有大型银行的集中存储规模均已达到百 PB 级；分布式存储规模也均达到几十 PB 级，甚至百 PB 级。2022 年，中国金融存储市场规模达到 11 亿美元，增速 13.2%，超过存储市场的平均增速 7.8%。超过 65%以上的市场需求来自银行业，其中国有银行、股份制银行和城商行等 3 大子行业占银行业需求的 75%以上。另外，不同金融业务场景存储应用具有不同的特点和需求，比如渠道交易类系统随着数字化转型的快速推进，线上化、移动化成为主流，对存储提出敏捷、弹性、大容量等需求。金融核心系统的持续稳定运行是刚需，从而对存储的时延和可靠性提出更高要求，其中传统“稳态”核心系统要求存储具备高可靠、低时延、高扩展的系统架构，包含丰富的数据服务特性和数据保护特性，保障极强的业务连续性和极高的服务质量水平，一般使用外臵高端存储；而分布式“敏态”核心系统容器平台需要容器持久化存储的快速自动化发放，以及金融级的灾备保护，使用外臵NAS 存储或者分布式存储较多。票据影像系统的文件、语音、图像、视频等多种类型数据增速快、数据规模大，且监管要求长期保留，需要将票据影像索引和文件进行统一部署管理。经营分析业务需要将不同类型业务场景的海量数据融合互通、进行数据免迁移高效存储分析，需要结构化和非结构化数据的统一存储，以及多种非结构化 SMB、NFS、S3、HDFS 等多协议互通。数据备份归档场景需要满足大容量、易保管、易恢复、安全可靠等特性。4 AI 大模型应用需要大容量、大带宽、高性能的存储支撑。（二）（二）金融业实现了多种存储架构和技术应用金融业实现了多种存储架构和技术应用 1.1.存储体系架构不断演进存储体系架构不断演进 经多年发展演进，金融业的存储体系架构出现了传统集中式、分布式和超融合三种架构，既确保了传统业务的持续稳定，也有效支持了金融业务创新发展。（1 1）集中式存储集中式存储 集中式存储即传统存储，也有主存储、磁盘阵列、统一存储、全闪存阵列等称谓，涉及硬件架构和软件架构两方面。硬件架构主要由存储控制器（或控制器组）、盘框和前后端口组成。存储系统运行在控制器上，控制器与盘框之间通过背板或高速线缆连接实现双环路级联控制，负责整个存储的运行控制、数据调度和对外 IO 访问。所有硬件部件采用冗余、双控或四控的一体化整机设计。存储软件系统整体架构逐步走向统一存储架构，即存储系统能同时提供传统结构化 SAN（块）存储和非结构化 NAS（文件）存储服务。存储软件架构中，控制器的工作状态架构设计也是决定整体系统性能的一个关键设计要求，从控制器的处理前端到I/O 业务上，存储系统前端软件架构主要有 Active-Active 架构（简称“A-A”架构）、Asymmetric Logical Unit Access 架构（简称“ALUA”架构）及 Active-Passive 架构（简称“A-P”架构），如图 1 所示。整体上来讲，“A-A”架构由于采用了全局 5 负载均衡的设计，性能更优，高端存储普遍采用“A-A”架构，主要使用在核心业务场景。中端存储普遍采用“ALUA”或“A-P”架构，在一般业务系统中使用广泛。图 1 存储系统软件架构示意图 集中式存储以技术成熟、功能完善、高可靠、高性能的特点，高度匹配金融交易类关键业务需求，在数据库、虚拟机等场景应用普遍，在金融领域目前仍超过 50%的市场占比。（2 2）分布式存储）分布式存储 分布式存储采用去中心化的分布式架构，基于以太网对相同的硬件节点进行互联，通过部署于各个节点的存储软件整合资源、提供存储功能服务。分布式存储使用多副本或纠删码等方式，代替传统存储的 RAID 冗余模式，组建高可用、高性能、可灵活扩展的大容量存储资源池，普遍支持块存储（iSCSI）、文件存储（NFS、SMB、CIFS）、对象存储（S3、Swift）、大数据存储（HDFS）协议等。分布式存储由多层结构组成，包括硬件层、软件层、服务层、接口层、管理层、网络层等。分布式体系架构如图 2 所示。6 图 2 分布式存储架构示意图 分布式存储架构还分为全对称分布式架构和非对称分布式架构两种。全对称分布式架构支持通过横向扩展硬件节点线性增加系统容量与性能，无需复杂的资源需求、迁移规划，已经成为市场主流产品架构。分布式存储访问协议在支持块、文件、对象访问协议的基础上，基于大数据分析、AI 等业务场景的需求，衍生出多种访问协议融合互通技术，支持文件、对象和大数据三种非结构化数据存储服务的融合互通，按需使用，实现一份数据可以被文件、对象和大数据三种非结构化服务共享访问。在产品交付形态上，目前市面上的分布式存储产品种类众多，交付形态各异，主要有纯软件产品交付、软硬件一体机交付、云上服务交付。纯软件产品交付纯软件产品交付便于升级、扩容和迁移改造，但是可能存在兼容性、性能优化、售后责任分工不明确等问题。软硬软硬件一体机交付件一体机交付实现软件层和硬件层解耦，便于升级、扩容和迁移改造，可灵活配臵资源，避免依赖特定硬件厂家导致的供应链风 7 险。云上服务交付云上服务交付以分布式存储作为云平台 IaaS 层的组成部分，集成在云平台内交付给用户，无需单独部署和组网。分布式存储以易扩展、大容量的特点更适合海量非结构化数据存储，如大数据、云平台、视频监控、票据影像等场景，在金融行业的使用比例逐步提高。（3 3）超融合存储）超融合存储 超融合存储（HCI，Hyperconvergence Infrastructure）基于分布式架构，将服务器、虚拟化、SDN、软件定义存储等技术有机融合，屏蔽底层的技术和架构差异，在一套产品中整合了计算资源池、存储资源池、虚拟化和网络管理能力，以及统一的集成管理软件，提供“开箱即用”的一体机产品。可以规模化快速部署标准化的云化 IaaS 平台，部分超融合产品还可以提供 PaaS层平台服务能力，有效简化部署和调试过程，减少了信息系统和网络建设的时间成本和人力成本，降低了维护管理的难度。超融合设备因为具有高度集成、易部署、易维护的特点普遍使用在网点、边缘分支等场景。2.2.多种组网模式适应不同业务需要多种组网模式适应不同业务需要 存储组网模式种类多，目前金融系统常用的存储组网架构包括 FC-SAN、iSCSI、NAS、RDMA 等。FCFC-SANSAN 网络网络用于传统存储阵列与主机进行组网，需要使用专门的 FC HBA 卡，利用 SAN 交换机构建高带宽、低延时的存储专用网络。目前一般的 SAN 交换机可提供 16Gb/s 到 64Gb/s 的传 8 输数率，卓越的 IO 性能和高稳定性使其成为传统架构下金融机构搭建存储网络的首选方案，广泛应用于关键核心系统交易类业务。但目前只有国外个别公司能生产 FC-SAN 交换机，使得 FC-SAN技术较之其他存储网络技术更为封闭，安全可控风险较高。此外，SAN 光纤通道交换机的价格比较昂贵，给金融机构带来较大的成本压力。iSCSIiSCSI网络网络使用万兆以太网交换机和通用万兆网卡即可完成存储网络组网，实现在 TCP/IP 网络上封装并传输 SCSI 协议数据包。由于不需要采购专门的交换机和 HBA 卡，iSCSI 组网技术可以极大地降低成本，并具有更好的灵活性和开放性。但因为TCP/IP 协议和多层网络转发的消耗，在时延上明显高于 FC SAN，金融机构将 iSCSI 主要应用于对时延和可靠性要求不高的非关键业务场景。NASNAS 存储存储直接连接到 TCP/IP 网络上，通过 NFS、SMB、CIFS等协议向网络上的主机提供文件读写服务，允许多台服务器在同一文件系统中同时存取数据，实现数据共享。由于 NAS 存储访问的基本对象是文件，而不是直接访问物理数据块，因此读写效率相对于数据块访问普通文件系统有一定差距，不适合作为大型业务系统数据库使用。金融机构将 NAS 主要用于文件共享、备份和恢复等存储场景。RDMARDMA 是一种高带宽、低延迟、低 CPU 消耗的网络互联技术，采用内核旁路机制，实现应用进程与网卡之间直接进行通信，将 9 数据经由网卡从本地进程内存快速传输至远端进程内存，或从远端进程内存快速读取至本地进程内存，无需经过操作系统内核网络协议栈。RDMA 技术有三种主要的组网方式，即 Infiniband（IB）、internet Wide Area RDMA Protocol（iWARP）和 RDMA over Converged Ethernet（RoCE）。其中 RoCE 方式实现相对简单、传输效率高、适用性广泛，不需要购买昂贵的 Infiniband 交换机和 HCA 卡，已成为最主流的 RDMA 组网解决方案。NVMe SSD 可以通过 RDMA 技术充分发挥 SSD 性能优势，因此 NVMe over RoCE组网方式逐步开始对 FC SAN 组网方式的替代，近两年已经有多家金融机构进行了 NVMe over RoCE 组网的有效创新实践。3.3.存储介质演进推动闪存技术快速应用存储介质演进推动闪存技术快速应用 金融业常用的存储介质主要有机械硬盘（Hard Disk Drive，以下简称“HDD”）、固态硬盘（Solid State Drives，以下简称“SSD”）及光盘、磁带等介质。目前，存储介质演进迭代主要集中在 HDD 和 SSD。HDD 具有技术成熟、存储容量大、成本低的优势，作为最主流的存储介质大量应用于金融 IT 基础设施建设，以存储大容量数据为主，如历史交易记录、客户信息、风险分析数据等，特别是在长期数据归档和备份场景被普遍使用。SSD 是用固态电子存储芯片制成的存储盘，主要由控制单元（控制器芯片）和存储单元（NAND FLASH 芯片、DRAM 芯片）及其他固件组成。SSD 相对 HDD 在时延、读写速度、吞吐量、可靠 10 性、能耗、轻便性方面有着明显优势（见表 1），呈现发展十分迅速的态势。Gartner 披露的 2023 年第一季度存储市场信息显示，本季度闪存存储的出货容量占到总体容量的 31%，与上季度的 18.2%和去年同期的 16.8%的增速相比均有大幅提升。表 1 HDD 与 SSD 主要特性指标比较表 介质类别介质类别 半导体介质（半导体介质（SSDSSD）机械硬盘（机械硬盘（HDDHDD）并发访问能力（IOPS）5万-40万 100-200 响应时延（ms）0.1ms以内 2ms以上 带宽（MB/s）10003000 100左右 能耗（W/TB）0.4左右 1左右 可靠性 年失效率约0.4%年失效率约1%-4%随着 SSD 相关产业迅速发展，SSD 价格快速回落，目前已在金融业的更快访问速度和低延迟的场景，如高频交易、数据分析和快速检索实现了较快的应用。基于咨询机构 IDC 的 2022 年中国区存储市场报告统计数据，从存储阵列类型看，我国金融行业全闪存存储占比 48.3%，混合闪存存储占比 39.3%，机械硬盘存储占比 12.4%，如图 3 所示。11 数据来源：金融信息化研究所 图 3 2022 年金融行业存储类型占比示意图 我国金融行业全闪存储的占比目前遥遥领先于其他行业（如图 4 所示）。但是这一占比仍然落后于先进存力国家的全行业平均水平，在“双碳”行动计划和绿色节能背景下，金融行业需要继续加大全闪存储的应用占比。数据来源：金融信息化研究所 图 4 全闪存存储各行业占比示意图 随着技术快速演进，存储介质加速了从 HDD 向 SSD 切换、关键协议从 SAS（Serial Attached SCSI）/FC（Fiber Channel）向 NVMe（非易失性内存主机控制器接口规范）/NVMe over Fabric48.3%12.4%39.3%2022年金融行业存储类型占比 全闪存存储 机械硬盘存储 混合闪存存储 0.0%10.0%20.0%30.0%40.0%50.0%60.0%全闪存存储各行业占比 12 切换，存储系统访问时延由 10ms 向 1ms 甚至更低时延升级。在 SSD 快速应用驱动下，全闪存存储的应用比例越来越高。目前常见的全闪存储有传统存储阵列闪存架构传统存储阵列闪存架构及原生全闪存阵原生全闪存阵列架构。列架构。其中传统存储阵列闪存架构是在传统 HDD 阵列存储上全部采用 SSD 介质，传统存储阵列的软件设计和算法基本没有改变，简单来说就是将 SSD 仅当作 HDD 使用。这种架构可以基于 SSD 提供较低的响应时间，但是性能的瓶颈很快发生在存储控制器，并不能完全发挥 SSD 的性能优势，延时略低于 1 毫秒。而原生全闪存架构专门为闪存技术构建，如端到端 NVMe 总线设计，针对 SSD垃圾数据回收、元数据管理和缓存算法优化设计，数据压缩和重删技术等，延时可以低至 0.1ms 以内。目前金融领域使用的高端全闪存阵列产品多数采用了原生全闪存架构，中端全闪存阵列产品有部分采用了原生全闪存架构，多数仍为传统阵列闪存架构。4.4.存算分离部署方式满足灵活扩展等需求存算分离部署方式满足灵活扩展等需求 在数据中心多年的发展历程中，计算与存储也经历了多次分分合合。从大型机的计算与存储紧耦合，到小型机经典的IOE存算分离架构，再到随云兴起的超融合让存算再次融合。计算与存储之所以出现多次分与合，是因为需求的变化推动着部署方式做出相应改变，而计算与存储相辅相成、协同发展的关系始终未变。目前兴起的存算分离是数据中心架构处理逻辑的变化，由通用CPU为核心加速向以数据为中心转变。数据中心对算力、存力 13 的需求可以更加灵活的在硬件部署上实现。在当下数据量激增的阶段，数据中心对存力的需求呈指数级增长、而算力需求较弱的现状愈发明显，存算分离是应对这一变化的必然选择。计算与存储再次走向分离，打破各类存算硬件资源边界，组建彼此独立的各种硬件资源池，实现各类硬件灵活扩展和应用。存储系统作为数据可靠性、硬盘管理的专业系统，通过数据库存算分离、大数据存算分离、容器共享存储等解决方案，可以减少副本和服务器数量、降低运维复杂性。5.5.不同层面专用技术确保存储的可靠性和可用性不同层面专用技术确保存储的可靠性和可用性 金融业务特性决定了IT基础设施需要具备数据不错/不丢失、业务不中断、系统服务持续稳定的能力。专业存储设备从数据可靠、设备可靠、业务可靠三个层面的技术、架构设计确保可靠性和可用性。在数据可靠方面，主要有RAID技术、纠删码、热备盘和热备空间、DIF技术、缓存掉电保护、快照技术、克隆、数据复制、双活等技术和功能，避免数据在单个硬盘故障、软件BUG、单台设备故障等情况下导致的数据物理和逻辑错误、数据丢失。在设备可靠方面，主要有部件冗余、热拔插、在线升级、在线更换、缓存镜像、主机访问多路径冗余、多控制器和链路I/O负载均衡、硬盘坏块预处理、慢盘隔离等技术，保障部件故障/维修、系统升级等情况下无需中断业务运行，并且能够保障系统提供持续、平稳的数据访问服务，对业务运行和用户体验不产生 14 不良影响。在业务可靠方面，主要有多控制器交换架构、同城/异地数据复制、双活、两地三中心等技术和方案，保障在单台设备故障、单数据中心服务中断情况下导致的数据服务不中断。这些可靠性、可用性技术在专业存储设备中普遍采用，尤其是承载金融核心交易系统的高端存储产品，可以保障极强的业务连续性和极高的服务质量水平。不过，随着数据规模快速增长，有不少应用将数据存放于服务器本地盘，或基于开源存储软件构建的存储系统中，对于可靠性、可用性技术的应用较少，因此应加大对这类存储系统可靠性、可用性、业务连续性风险的关注。6.6.被动防御和分散处臵难以满足金融存储安全需求被动防御和分散处臵难以满足金融存储安全需求 金融数据作为高价值目标所面临的攻击面和攻击强度越来越大。存储设备内的数据可能被非法访问或攻击，如利用安全漏洞非法访问、被勒索软件或其它病毒感染等。目前，在存储系统常用的安全防护手段主要有安全加固、逻辑隔离、沙箱、WORM（write-once-read-many，单次写入可多次读取）、网络隔离、防病毒、防勒索技术等。在数字化快速发展中，数据流转是释放数据价值的必要途径和手段。但由于数据可复制性、可共享、可无限供给等特点，如何在数据流转中保证数据所有权、使用权和控制权，是当前数据基础设施需要解决的首要问题。而当前基于边界的被动防御体系已难以满足越来越严峻的存储数据安全需求。同时，数据从采集、15 传输、存储直至销毁的全生命周期安全能力已成为发挥数据要素安全流转能力的重要手段，各分散的安全处臵方案亟需通过统一的管理平台形成联动能力。7.7.存储运维逐步向平台化和一体化转型存储运维逐步向平台化和一体化转型 常见的存储运维技术涉及存储监控、配臵管理、性能分析、知识库和专家系统、专业存储管理系统等。目前，随着新技术应用，高效、集约运维体系的构建，金融机构将存储运维创新和提升纳入整体的运维数据治理和运维平台化服务中，实现自动化、智能化、数字化存储运维。目前金融机构纷纷建设的存储管理系统是综合性的统一存储管理系统，集成分散的不同运维功能，提供一站式的监控、查询、维护、管理的运维能力，并提供与用户云平台、容器平台、监控系统等外部运维系统的对接服务，为用户屏蔽底层设备差异，实现标准化管理和展示，减少运维工作的难度和复杂度，提高自动化率和工作效率。同时，在运维数据治理基础上，金融机构逐步解决数据孤岛、数据质量不高、数据不可知不会用、资源投入不够、数据标准化比例低等问题。从而推动开展存储运维平台服务化。目前，部分金融机构已经围绕开源工具、开源平台结合自身业务构建了智能运维工作台、统一监控平台等工具平台，对原有运维工具做了部分整合，把一些跨组织的公共能力提取起来，以统一服务的方式供用户部门使用。平台建设遵循“可管、可观、可判、可测、可 16 防、可控”的原则进行搭建，实现了数据中心大规模、双模多态数据存储基础设施的融合智能管理，自动化水平显著提升。（三）（三）国内外产品应用情况国内外产品应用情况 1.1.国外技术产品成熟但供应链安全风险不容忽视国外技术产品成熟但供应链安全风险不容忽视 整体来看，国外存储技术产品进入中国市场早，在金融行业早期的IT建设中承担了非常重要的一环，金融行业的核心交易业务的数据基本基于国外存储设备建设。根据最新的市场研究数据，在传统集中式存储市场，EMC、NetApp、HPE、IBM、HDS等国外主要存储厂商占比高达64%。金融领域存储产品也主要集中在这几家主要存储厂商。在售后服务领域，国外存储厂商可提供全球范围内的售后支持和服务，但是在中国本土基本采用一线服务外包，只提供二线服务的模式，额外付费可以提供7x24的技术支持，帮助客户解决存储相关的问题。此外，国外厂商比较完善的培训课程和认证计划，以帮助客户更好地使用和管理存储系统。后续，随着国外存储企业在中国市场的投入减少，这些存储设备的维护、维保以及数据迁移都是金融客户面临的问题。2.2.我国存储技术产品加快在金融业的应用我国存储技术产品加快在金融业的应用 金融业使用的我国存储技术产品主要集中在华为、浪潮、星辰天合、宏杉、曙光等主要IT厂商，如华为OceanStor Dorado全闪存存储和OceanStor Pacific分布式存储、浪潮HF18000全闪存存储和AS13000分布式存储、星辰天合的天合翔宇分布式存储 17 系统等。我国主要存储厂商的产品在功能、性能、高可用、扩展性等方面已具备与国外产品同台竞争的能力，而且借助本地化服务以及对不同协议兼容性、更低时延、架构融合、缓存能力、空间效率、国芯支持等优势，受到金融机构越来越多的青睐，实现了在金融业的快速应用。但总体来看，我国存储基础产品在金融业应用占比还不高。随着我国存储产业的持续发展成熟、金融存储安全可控工作的深入推进，金融业将进一步加大我国安全可控的存储技术产品的应用力度。近几年，随着ICT技术快速演进、数字化/智能化发展，金融业务持续转型创新，对存力基础设施也带来新的需求和挑战。如云原生、大数据、AI、分布式数据库等新技术应用带来系统架构的创新挑战；数据规模快速增长带来机房空间、能耗的压力；传统运维模式难以应对数据量/设备数量规模增长、业务系统架构不断变化的形势；存储设备和关键部件面临供应链安全风险；数据存储环节面临数据泄密、勒索软件、软硬件漏洞等安全风险威胁。（一）（一）多种新技术应用对数据存储提出更高要求多种新技术应用对数据存储提出更高要求 随着分布式数据库、大数据和 AI 等新兴应用不断涌现，以及云、容器等新 IT 基础设施在金融行业的应用，对存储架构提 18 出了更多新要求。1.1.存算分离架构支持分布式数据库深入应用存算分离架构支持分布式数据库深入应用 虽然分布式数据库加快了在金融业的应用，但实际落地情况却远未达到预期，其中一个重要原因是基于存算一体架构的分布式数据库尚难以完全满足金融业务创新发展需求。实践表明，MySQL、PostgreSQL 等开源数据库都是部署在单机上的数据库，并不能像 Oracle RAC 协调多个数据库节点同时读写同一个数据库，这使得数据库存算一体架构存在资源利用率低的不足。如服务器 CPU 使用率长期维持在 10%左右、大量服务器带来 CAPEX 和 OPEX 费用剧增，占用大量机房空间和能耗；服务器的计算、存储资源无法按需独立扩展；可靠性低，如磁盘健康问题很难监控，硬盘故障需全量重构时间长，服务器故障切换慢等；容灾方案不足，如跨数据中心拉远部署，同步复制链路抖动性能影响大，异步复制存在数据不一致风险，且单一集群故障域，数据库管理集群故障，双 DC 数据库主备节点均影响等。针对分布式数据库存算一体架构面临的挑战，可通过加大上下游生态协作，基于多读多写+存算分离+共享存储架构，应对分布式数据库深入应用面临的问题。其中数据库存算分离架构，通过外臵专业存储设备为数据库提供高可靠的存储层，实现存储层故障计算层无感知，保障业务连续性。如图 5 所示。19 图5 外臵存储高性能高可靠示意图 在存算分离架构的基础上，利用存储复制能力，可以实现数据库主备双集群容灾部署，同城容灾场景实现RPO为0，RTO分钟级，满足金融核心系统高可用要求。其中外臵存储保障数据实时同步，保证主从数据一致性；数据库双集群部署，故障域隔离；存储主动感知、消除链路抖动，避免影响业务性能。数据库存算分离架构主备双集群容灾部署原理如图6所示：20 图6 数据库存算分离架构主备双集群容灾部署示意图 2.2.金融金融 AIAI 大模型大模型需要构建以数据为中心的存储体系需要构建以数据为中心的存储体系 AI 大模型需要更高效的海量原始数据收集和预处理，更高性能的训练数据加载和模型数据保存，以及更加及时和精准的行业推理知识库。随着 AI 大模型训练数据集的增长，当前主流的共享存储+本地 SSD 盘的存储架构已无法满足大模型的发展要求。在原始数据存储集群、数据预处理集群、AI 模型训练集群烟囱式建设模式下，未来 PB 级数据频繁迁移将成为大模型生产效率的最大影响因素。更大规模的 AI 集群导致系统故障间隔时间进一步缩短，更高频度的 CheckPoint 给存储带来巨大写入带宽挑战。为应对金融 AI 大模型应用中数据存储面临的问题，应构建具有以下特征的存储系统适应 AI 大模型应用。一是一是一套存储系统同时具备高性能层和大容量层，并对外呈现统一的命名空间，具备数据全生命周期管理的能力。从而可实现灵活的数据放臵策略、数据流动策略、数据集预热策略等。21 二是二是一套存储可以承载 AI 全流程业务。一套存储支持承载数据收集、数据预处理、数据训练和推理过程的数据共享访问，采用 Thin Provision 空间分配机制，具备 AI 各阶段存储空间动态快速调配的能力。三是三是具备 AI 各流程协同所需要的数据高效流转能力。不同阶段协同需要做到数据 0 拷贝、格式 0 转换，前一阶段的输出可以直接作为下个阶段的输入，达到 AI 各阶段协同业务 0 等待的效果。四是四是具备 PB 级横向扩展能力，系统架构需采用全对称式架构设计，没有独立的元数据服务节点。随着存储节点数的增加，系统带宽和元数据访问能力可实现线性增长。五是五是具备高性能动态混合负载的承载能力。在数据导入阶段，大小文件能同时写入；在数据预处理阶段，能够满足大小文件批量读取及处理后生成海量小文件的写入；在模型训练阶段，海量小文件能批量随机读取；在生成 CheckPoint 时，要能满足大高带宽写入；在模型部署阶段，即使大并发读取同一个模型文件，随着部署设备数量的增加，集群聚合吞吐带宽仍然可以线性增长。3.3.容器云的多种存储需求面临诸多挑战容器云的多种存储需求面临诸多挑战 容器云支持丰富的业务类型，有着不同的存储技术要求。如“用完即焚”的 APP 应用需要对象存储系统等存储服务；企业的生产交易、办公等交互频繁的关键业务需要高性能的块存储；大数据、时序数据库，列式数据库，非结构化数据，搜索引擎索引 22 需要 HDFS 和 NFS 存储等。同时，出现了非持久化和持久化的不同存储类型，提出不同的存储需求。一是容器云非持久化存储需求。一是容器云非持久化存储需求。通常使用容器运行的是敏态业务，主要特点是支持业务高并发、支持容器在多个工作节点上启动或者停止的弹性伸缩。针对以上特点，容器对非持久性存储的要求主要集中在性能层面，对于空间要求并不高，但是要求工作节点能便捷的识别并且具备较好的 IOPS 并发读写能力。二是容器云持久化存储需求。二是容器云持久化存储需求。近年随着容器技术成熟，银行中越来越多重要交易业务使用容器来支撑生产交易，从而对持久化存储提出了更多需求，主要包括：作为业务分析基础的生产系统业务日志需要永久保存；Pod 漂移后，通过另外节点挂载同一块存储实现状态数据迁移；业务文件、图片的分布式共享；容器节点扩容所需存储灵活扩容需求；应用文件中如图片、文档等写入的高性能为高并发提供支撑；内网存储、多中心架构的安全、高可用需求等。随着金融业务创新的加速，以及互联网规模不断壮大的挑战，灵活、快速迭代的云原生架构得到了越来越来的金融客户青睐。容器的敏捷、高效、弹性等特点是云原生应用的基石。Gartner调研报告显示，存储是容器化进程的主要挑战之一。金融业容器云场景下的存储建设还面临诸多挑战。一是敏捷易用要求高。一是敏捷易用要求高。容器场景敏捷迭代，新产品上线周期极大缩短，甚至到 2 周。对于金融级应用，首要考虑的因素是如 23 何做到存储资源自动化的全生命周期管理以及便捷的运维监控能力。在满足开发者专注于软件开发无需关注业务部署细节同时能做到实时的运维监管、异常上报等。通过 CSI(容器存储接口，Container Storage Interface)仅解决了自动化发放存储资源。二是功能要求很高。二是功能要求很高。金融机构容器场景繁多，对存储的诉求各不相同。多个部门、多个业务之间需要资源隔离、控制。日志场景需要多个节点共享存储资源，关键业务需要备份、容灾保护等，不同的容器场景对存储功能要求各异，而且很多功能是否能达到金融级要求还缺乏最佳实践支持。三性能要求高。三性能要求高。金融数据场景下，数据的读写性能关系到用户的直接体验，极致的业务连续性、极高的性能是容器存储的重要考虑因素。另外一方面，容器场景主要承载敏态的应用，面对的环境比较复杂，随时可能发生业务浪涌，面对负载变化需要保持业务处理能力，容器数据存储资源池需要有应对负载变化的能力。四是可靠性要求高。四是可靠性要求高。容器的轻量化以及容器还处于发展中，目前稳定性难以媲美虚拟机。例如宿主机系统间缺少必要的资源隔离，当大量容器同时运行时，可能出现资源相互占用，导致部分容器因资源不足而停止运行。并且 K8S 社区并没有推出相应标准提供容器应用稳定可靠的解决方案。这一问题也是金融机构将核心关键业务上容器的核心困难和挑战。在容器平台本身不能保障可靠性要求情况下，就需要从系统架构上，比如基于共享存储 24 方案的容器快速切换来保障。五是兼容性要求高。五是兼容性要求高。K8S 是容器编排管理平台的事实标准，国内基于 K8S 发行版的容器管理平台百花齐放，容器存储需要与容器管理平台兼容，以便容器应用程序可以无缝地集成和管理存储。需要通用性、兼容性好的容器存储接口来简化对接。4.4.建设专业存储支持大数据及数据仓库应用建设专业存储支持大数据及数据仓库应用 常见大数据解决方案中，使用多系统组合的方式满足业务诉求，即一个数据湖、多个数据仓库、及其它专用系统（如流、时序分析、图分析等）组合。随着业务增长不断产生新的数据，企业累积了大量结构化、半结构化、非结构化数据。而现有的数据湖、数据仓库仍以结构化数据为主，集群扩展能力有限，瓶颈逐渐突出。随着数据量和业务量的剧烈增长，金融机构开始引入专业存储，解决大数据应用的数据存储管理面临的一系列问题。一是海量数据存储和处理成本快速增长。一是海量数据存储和处理成本快速增长。在大数据、人工智能、HPC、IOT 等新型数据密集型应用的推动下，数据量爆炸式增长。一方面，海量数据存储成本与基础设施投资规模严重失衡，成为大数据系统建设的基本矛盾。另一方面，在传统大数据系统架构，业务在空间、时间使用的不均匀性，导致系统本地存储资源利用低，需要在技术上有突破，在提高容量的同时，也提升数据处理的能力。二是多样化的业务、负载接入。二是多样化的业务、负载接入。金融机构为充分盘活数据资 25 产，构建了多样化业务，对数据访问有不同的性能诉求。按访问场景分类主要有高带宽、高 IOPS 两种。而当前的存储架构，难以同时提供高带宽、高 IOPS 能力，需要建设多套存储，由此产生数据孤岛、数据分散和重复存储问题。并且，针对普遍存在的多样性业务诉求，亟需把来自流式处理、查询分析、挖掘建模等不同应用的数据源接入集成到统一存储池中，支持不同应用工具集带来的多样化数据访问，包括多样化数据访问协议以及不同的IO 负载。三是数据处理时效性。三是数据处理时效性。移动互联驱动大数据应用越来越趋向于实时化，对数据分析时效性提出更高要求。传统大数据系统的建设模式，数据湖、数据仓库系统的数据彼此割裂，逐渐衍生出的数据重力已成为普遍现象，数据往来、移动操作变得愈加复杂与困难。日益增长的数据流转需求与日趋严重的数据重力，已成为影响数据价值发挥的主要壁垒。因此，亟需构建新的数据范式，克服数据重力，使数据湖、数据仓库多系统之间无缝协同工作，让数据自由流动和共享，减少跨集群的实现 PB 级数据查询效率从天级缩短至分钟级甚至秒级，支撑 T+0 实时处理，使得数据的决策更加实时快捷和精准。5.5.多云场景下金多云场景下金融数据存储面临诸多挑战融数据存储面临诸多挑战 多云成为金融机构数据中心新常态，自建数据中心和公有云形成有效互补。云计算的建设模式从封闭全栈走向开放解耦，从而实现应用多云部署、数据