企业数据存储的发展挑战和机遇.docx

企业数据存储的发展挑战和机遇迈向YB数据时代 随着互联网技术的不断发展，企业的业务模式发生了颠覆性的变化，相应的数据无论从结构、量级以及数据价值的挖掘角度上都有了质的变化，这必然导致企业存储系统面临一系列的挑战和机遇。企业数据未来如何发展？企业数据存储由此会面临哪些挑战和机遇？金融企业未来的数据结构、规模特性以及交易行为固有的业务要求就决定了数据存储系统底层的技术架构必然是精准匹配模式。把最适合的底层技术应用到需要的数据业务场景当中去，这是底层技术选型设计应该遵循的基本原则。金融行业的存量数据管理水平在各行业当中应该算是相对比较高的，IT基础架构当中的存储架构也相对稳定成熟，但是随着近些年的信息化大浪潮的不断涌动，其实已经悄然发生或者正在酝酿着即将来临的系列变革，相应的存储架构也会面临着挑战和机遇，透过对金融企业存量数据的梳理分析看到未来的变革趋势是我们的初衷。一、 金融企业存量数据现状是什么样的？1. 数据标准方面以银行业为例，通过90年代的数据大集中变革，在架构、数据、接口等各方面都有了系列的标准化指导。例如，2014年发布的银行数据标准定义规范，类似这样的标准几乎每年都会有所更新。有了这些规范的约束，无论是谁在开发银行的金融系统，它的数据模型设计基本上都要遵循这样的标准进行。因此大多数银行企业都已经具备了一套以核心系统账户及客户为中心，以各交易各渠道系统签约信息为扩展的结构化数据标准体系，以客户为中心的结构化数据体系具备了后续挖掘和分析的基本条件。与银行相比而言，保险和证券的标准化程度可能会差一些，但随着监管口径的统一化发展，整个金融行业基本都沿着这个方向在前行。2. 数据挖掘方面在数据挖掘方面，银行业有着已经稳定运行很多年并且架构、模型、算法都很成熟的数据仓库应用。但是这么多年来似乎业务领域扩展也非常稳定，几乎都集中在监管报送、反洗钱分析、信贷风险评估等这几个方面，而且这些数据分析都是基于已经经过标准化洗礼的结构化数据进行。随着大数据技术的发展，越来越多的银行开始评估非结构化数据和结构化数据结合起来的价值挖掘，在拓深原有业务领域的同时，增加了新的价值挖掘领域的应用，例如：精准营销、风险评估、智能运维等各个方面。在保险行业，越来越多的企业开始探索数据在客户画像、精算模型等方面的探讨。3. 数据管理方面数据管理一方面是要对数据全生命周期进行管理，另外一方面是要对数据利用的各个维度进行精准有效的管理。从数据源的管理上来讲，现状还是比较分散独立，各个系统没有统一的数据下沉接口，大多数场景都是基于特定数据分析系统的需求分别向各数据源头请数；从数据管理工具上来讲，基本上还没有成型的工具可以实现数据的资源分配、过程控制、动态调整、服务计算等方面的整合；从数据生命周期上来讲，基于在线数据的管理和利用有基本的框架，基于离线或归档的历史数据管理只有比较单一的存储功能。4. 数据扩展方面大多数金融企业对数据价值的利用基本都是集中在自己企业内部的存量结构化数据，比如基于各系统内的源数据以及历史数据进行再次加工，从而形成具备特定业务特性的汇总类、分析类、抽象类延申数据。但是对于系统外的数据利用相对比较少，比如：互联网渠道的客户动态行为属性类数据的获取和利用、外部企业或实体的数据利用、IT运维维度的数据利用等，对于非结构化类数据的挖掘程度没有开始或者还在探索当中。二、金融企业数据发展面临的问题1. 标准化需要向非结构化数据拓展从数据治理的角度来看，数据标准化体系的建设不仅仅要落在结构化数据上，更需要建立在非结构化以及半结构化的数据上，从数据模型设计、数据存储管理、数据挖掘利用等各方面都迫切需要对结构化之外的数据进行治理。金融企业目前保存最多的可能就是影像平台里面的票据、单据、证件等业务相关的图片数据，以及系统运行过程中留下的各类账务类以及运行类日志数据，未来还会有更多的网页类数据以及视频媒体类数据会积淀下来。那么这些数据要想在后期的数据挖掘和分析上起到与结构化数据同等重要的作用，从数据本身的模型标准、存取过程以及再生产过程等各个维度，都需要建立一套标准化体系以备存在的和潜在的数据价值挖掘所用。2. 非结构化数据的价值挖掘深度不够从数据挖掘的角度来看，金融企业对结构化数据的挖掘深度和广度在不断发展。但是对于非结构化及半结构化数据的价值挖掘深度远远不够。以银行的影像系统为例，可能90%的数据行为是写，而只有少量的读取行为，这少量的数据读取也是为了信贷类、票据类业务的复核。而透过这些半结构化数据的元数据本身以及还没有提取的结构化信息，结合结构化数据线索，其实是可以进行再分析和再利用的。以金融行业的互联网业务为例，更多的客户网络行为数据以及线上产品相关的线上效应数据应该被沉淀下来，这些非结构化数据应该被不断提取信息，不断放到特定分析场景中提炼价值。3. 数据源的向外扩展程度不够基于安全的要求，金融企业的数据相对比较敏感，这也就决定了这类数据的独特性。因此金融企业无论是做风险评估也好，还是做精准营销也好，还是做监管报送也好，基本上都是基于自己的存量数据和少数具备资质的数据源渠道进行交互。实际上对于很多评估类的业务以及精准营销类的业务，它是需要大量的不同维度的数据来支持的。相信政策面会逐步放开对某些具备资质的数据源的限制，这些数据虽然不是客户直接的金融行为，但是可以间接映射客户的金融风险承受能力以及金融产品需求的变化情况。因此金融企业有必要做好接口，迎接广泛的、合理合法的数据源输入。4. 数据价值利用的维度扩展性不够以银行为例，对数据价值的利用基本停留在监管报送、信贷风险评估等有限的几个领域；以保险为例，对数据价值的利用也基本停留在保险定价模型的分析；以证券为例，可能现阶段对数据价值的利用最多的就在于金融产品的精准营销方面，客户风险评估还主要采用问答式。互联网企业针对客户的行为数据分析利用的思路在金融企业基本上没有得到广泛应用，利用数据分析代替人工审核提高评估准确度和效率的思路在少数企业开始应用，IT运营过程中积淀的运维数据没有在业务量级、规模、频率方面的优化和应急方面提供太多支持。因此数据利用的维度有待进一步扩展。三、金融企业存储平台需求及未来发展趋势1. 分布式存储架构比重不断提升数据的变化趋势必然决定数据存储平台的变化，上文我们分析到数据变化的一个重要趋势就是非结构化和半结构化数据的不断增加，无论从数据规模上，还是从数据存取行为方式都会面临巨大的变化。那么这种变化必然带来对存储系统本身的架构设计、存取规划、服务管理等方面的挑战。截至目前为止，IT存储界争论了很多关于分布式存储架构和集中式存储架构的选择，其实从技术层面本身已经有了一个明确的答案：分布式存储架构是大规模非结构化数据产生后的最佳解决方案。传统的集中式文件系统架构可以支持一定规模下的非结构化数据存储，但是面对海量的非结构化数据量级，树状元数据的扫描机制就显得力不从心了。面对需要通过各种维度对数据进行再加工、再分析的数据价值挖掘场景，从并发量控制、数据基础加工、数据动态流动等各方面都提出了挑战，这也是分布存储架构粉墨登场的重要原因。2. 存储技术与数据业务场景的精准化匹配无论数据存取服务的上层遵循什么样的思路设计，但对于底层数据存储技术的选型设计应该遵循技术最优思路。首先我们先明确一个结论：底层设计上，集中式存储架构适合金融企业存量结构化数据场景和高可用、高性能要求的半结构化/结构化数据场景，分布式存储架构适合金融企业存量及增量的多样化、海量非结构化数据和半结构化数据场景。至于集中式存储架构存在的原因，有两个重要方面：其一，分布式存储产品有很多，但归根结底就那么几种技术流派出身，只有基于Ceph的流派在原理上是要求强一致性的，其他的基本为了性能会舍弃事务特性的强烈追求，这与交易类业务场景需求相悖；其二，无论是分布式文件系统派系，还是去中心化分布式对象派系，从其读写和并发控制的原理上看，对具有热点的随机读写交易业务应用都是不太友好的。至于分布式存储架构不断增比的原因，同样有两个。其一，分布式存储架构设计初衷就是基于大规模非结构或者半结构化数据存储场景设计的，比如计算寻址和扫描寻址在小规模场景下是分不出高低的，只有当数据量达到一定程度才能显示出计算寻址的性能。其二，互联网企业的实践证明了分布式存储架构最擅长的场景。因此，金融企业未来的数据结构、规模特性以及交易行为固有的业务要求就决定了数据存储系统底层的技术架构必然是精准匹配模式。把最适合的底层技术应用到需要的数据业务场景当中去，这是底层技术选型设计应该遵循的基本原则。3. 存储管理上的云化融合虽然底层存储技术与数据业务场景需要精准匹配，因地制宜。但是从存储的管理上来讲，其实又提出了新的需求。数据规模越来越大，尤其是非结构化数据增量发展趋势会越来越明显；数据形态越来越多元化，结构化的二维表、非结构化的图片、日志、文本、视频、网页等等各类数据最终需要融合到一起，又需要从不同的维度抽丝剥茧；数据性能要求越来越细分化，随机读写、顺序读写这几种行为方式必然形成多元化的需求组合对存储系统本身提出性能需求。这一系列的数据变革必然要求存储管理上的自动化、动态化、服务化。所谓自动化就需要统一的管理接口和各类的技术模块能够有标准化的接口渠道和调用机制，无论底层是什么架构和技术，管理上都可以通过标准接口实现功能上的整合管理；所谓动态化就需要底层架构和数据上层应用解耦，底层的节点、容量、配置变化对上层无感知；所谓服务化就是简化存储管理的复杂度，提高运营的效率和成本，这就要求存储底层技术和上层应用之间进行功能上的聚类和包装，把简单的接口提供给应用，把复杂的聚合包装留在存储管理平台内部。说到这里，这不就是很多人看到的存储云化的一些关键功能么？四、结语经过上述的梳理和分析，基本可以得出几个观点：1） 企业数据本身的结构、量级、用途变革必然带来存储技术元素的多元化调整。2） 企业数据业务特性及数据多元化战略发展必然要求存储技术选型设计按照精准定位的原则执行。3） 企业数据发展变化需求必然要求数据存储管理向自动化、动态化、服务化方向迈进。高鹤 嘉兴银行信息安全负责人：金融行业的应用系统也在不断的互联网化，各种秒杀场景的新应用也层出不穷，金融行业交易系统面对突发和不确定性的高并发业务场景，对交易系统的稳定性和性能要求提出了更高的要求。需求分析云平台存储需要符合云平台的整体设计需求，但最终还是为企业业务应用服务的。云平台存储的需求分析不能只关注与云平台的对接适配需求，还需要重点关注企业业务数据的存储需求，即数据存储分层分级需求。数据存储分层分级应在满足不同类型业务系统存储需求的基础上，降低云平台存储整体成本，结合我司业务情况分为：1）核心业务类型系统及其数据库，需要最高的存储性能和可靠性，性能更关注于IO延时；2）其他轻量级数据库，需要较高的存储性能和可靠性，需关注IO延时性能；3）数据分析类应用及其数据库，存储扩展性要求高，性能更关注于IO吞吐；4）互联网类新业务和一般业务应用，需要较好的扩展性，有一定的IO延时性能要求；5）非结构化类型业务数据，存储扩展性要求高，性能更关注于IO吞吐。架构设计方法根据需求分析阶段的数据存储分级结果，又可将核心业务应用、数据库等归类为稳态类应用场景，其更关注于存储可靠性，存储IO size小，性能更关注于IO延时；而互联网类新业务、一般业务应用和数据分析类则可归类为敏态类应用场景。针对稳态和敏态的存储架构如何设计，主要是采用两种不同的架构设计方法： 自顶向下：自顶向下是从整体架构出发，逐步求精，去分析设计云平台存储通用框架及其组成元素。该设计分析方法既需要对问题域有清晰的了解，对行业未来一段时间内的应用场景有清晰的认识，又需要能把控住求解域，对云平台存储技术发展和应用有深刻的认识。 自底向上：与自底向上方法则相反，针对实际需要解决的问题，去做存储的技术选型，逐步搭建云平台存储架构框架，从具体到抽象。整体来看，稳态类应用场景更偏向于稳定可靠的存储方案，稳态的业务量增长是规律的，容量是可预估的，系统架构稳定，有着明确的业务连续性和数据安全需求。因此稳态类应用场景是适合采用自顶向下的架构设计分析方法的，存储方案可选择更加稳定可靠的企业存储，落地前需要做好充分测试和整体存储架构规划，减少存储架构方案的不确定性，尽量避免后期存储架构的调整。而敏态类业务的起伏变化较大，系统架构从简单到复杂，要求弹性伸缩，架构可扩展。稳态类场景的存储需求就是有不确定性的，存在着较大的差异。以自顶向下的架构设计思路来看，扩展性和包容性是敏态类存储架构最需要满足的特性，这也是一个绕不开的难点，过于强调扩展性和包容性，又会带来性能、成本和复杂性的问题。但是可以改变思路，采用自底向上的架构设计分析方法，去专注考虑实际场景的确定性部分。自底向上的架构设计降低了整体规划设计的复杂性，是追求快速应用落地，根据各种敏态类业务应用场景，去评估落地适合的存储方案，在实践过程中去推进云平台存储架构框架的演进。架构权衡和风险点评估架构权衡是对需求做权衡取舍，在存储架构设计中有太多的需求，而众多需求之间往往会互相限制。比如说，存储的软硬件成本会很大程度上影响存储的可靠性和性能，高可靠性很多时候也是需要牺牲成本和性能来实现的，灵活扩展能力往往又会带来更高的架构复杂度。架构设计也是一个需求的权衡评估过程，需要适当舍弃部分非关键的需求，去优先满足那些最关键的需求。风险点评估也是需要重点关注的，也是架构设计成败的关键。存储架构设计需要去深入理解具体存储方案的架构和实现原理，找出存储方案中的风险点，并通过恰当的测试方案去验证也是很有必要的。一般来说，风险点包括：方案的成熟度和稳定性风险、性能风险、新版本风险、扩展能力不足、架构适配风险、运维风险等等。这些风险点甚至会直接关系到存储架构方案的可行性，不可谓不重要。结合企业实际业务需求，做好架构权衡和风险点评估，才能设计出更合理的存储架构。张俊禧 长安银行存储架构师：构筑企业的云平台存储可以使企业适应快速迭代创新的业务发展，在市场占得先机，可以提升企业运维管理水平，迈出上云的第一步。金融行业随着数字化转型持续加速，金融科技技术不断迭代，云计算、大数据、人工智能、区块链等新技术应用呈现倍增效应，企业数据量也呈现爆发式增长态势，无论是结构化数据、还是非结构化数据，面临业务场景越来越多，适配数据存储的需求也多样化，下面我来分析和总结一下企业数据存储将面临的挑战和机遇。在金融行业的信息系统中，存储设备具有举足轻重的位置。因为，金融客户的账务数据、交易信息等都存在信息系统中，都是数字化和电子化的，最终数据都落盘到存储设备中，这些数据对金融企业的重要性可想而知。那么，金融行业的数据，从业务类型来说，有核心账务类系统、经营管理类系统、管理分析类系统、办公类系统等。从数据类型来说，有结构化数据、半结构化数据、非结构化数据等。从数据生命周期管理来说，有在线数据、近线数据、离线数据等。随着金融行业数字化转型后，其应用多样化，也决定了数据的多样化，不同业务场景也决定了存储设备选择的多样化。对于核心交易类系统是金融行业的重要信息系统，一般有应用交易服务和数据库服务组成，我们对数据库数据称之为结构化数据，属于在线数据，数据一般保存在集中式存储中。核心交易类系统是需要直接向客户提供全渠道、全实时的金融服务。那么围绕核心交易系统，还有很多其他的业务系统，如渠道整合类系统、支付系统、收单系统、中间业务系统等，这些系统构成了一套复杂的分布式业务处理系统，每套系统都有相对独立的功能，客户任何一笔金融交易都会涉及到多套业务处理系统，典型的业务场景如网上银行、手机银行、自助存取款机、POS等交易。若其中任何一套系统出现故障或缓慢都将会影响客户的交易，给客户造成较差的体验。因此，每套系统都需要具有高安全性、高稳定性和高并发交易处理能力。随着移动互联网的广泛普及，金融行业的应用系统也在不断的互联网化，各种秒杀场景的新应用也层出不穷，金融行业交易系统面对突发和不确定性的高并发业务场景，对交易系统的稳定性和性能要求提出了更高的要求。除了对各交易系统集群提供稳定高效运行的计算资源外，也对支撑交易系统的数据库存储设备提出了更高的高可用和高性能要求。对于经营管理类系统也是金融行业的重要信息系统，管理分析类系统有实时分析系统及非实时分析系统，这些系统的数据类型和数据处理方式和交易系统有较大不同，结构化、半结构化、非结构化数据都有，而且在线数据、近线数据、离线数据场景均存在，不同场景下对存储的要求也有所不同。管理类或分析类系统不会面临突发和不确定性的并发量，也不需要快速的单笔交易处理时间，但是管理类或分析类系统需要在一定的时间内完成海量数据的处理和计算，需要具备非常强的批量处理能力和并行处理能力，这就要求对应的存储系统有较大的吞吐能力。对于办公类系统是金融行业日常办公必不可少的应用系统，虽然不涉及对客交易，但对于金融企业内部流程审批也起到至关重要的作用，同样存在结构化、半结构化、非结构化数据，也涉及在线数据、近线数据、离线数据的生命周期管理。这些系统对存储的需求接近经营管理类系统的需求，但它没有处理海量数据和并行处理的需求，所以对存储的吞吐能力没有过多的要求。在互联网大潮下，以及近两年信创的大背景下，数据量大规模增长，金融行业数据存储需要进一步提升，需要顺应当下的发展格局。我个人认为机遇和挑战如下，一是从存储整个产业链来说，存储厂商要尽量基于全闪存的技术来构建新的存储设备产品，提升存储的吞吐量性能；二是摒弃之前双控制器的弊端，基于多控制器的分布式处理架构，进一步提升存储的高可用能力；三是进一步完善存储的容灾架构能力，契合金融行业监管指引要求，精细化研发，双中心双活、多中心多活存储架构，在跨中心数据同步方面压缩数据传输延时，简化跨中心切换操作过程，降低操作复杂度。四是在存储底层研发方面趋向分布式部署架构，增加其扩展能力、同时做到单一存储产品服务协议全适配，例如，FC-SAN、NFS、CIFS、HDFS、S3等协议；五是加强友商合作，实现跨厂商存储产品服务协议标准化、统一化，降低异构管控复杂度；六是大力发展国芯国操存储产品的研发与市场推广，筑牢中国产品发展基石。针对金融行业目前数据存储未来的发展趋势及需要关注的热点问题，个人认为有如下这几个方面。1. 存储架构的演变支撑了更多的业务场景集中式存储架构为金融业务提供了良好的性能及稳定性，目前金融机构大多采用“x86服务器+SAN/IP交换机+集中存储阵列”的传统架构构建自己的虚拟化平台，在此基础上初步实现计算资源池化，提升资源利用率和运行效率。但传统架构下，扩展性以及弹性部署都难以实现敏捷化处理。近年随着虚拟化技术的不断成熟，计算资源、网络、分布式存储等各类资源分离的架构也成为各个互联网厂商应对快速市场变化、快速业务响应、有效降低搭建成本的绝佳方式。仿照互联网模式，很多金融机构进行了自己的私有云平台建设，在实现了可弹性扩展的资源池，可以很好地支撑敏态业务发展，适应互联网渠道业务瞬时高并发、多频次、大流量的新型金融场景特征。并且对云管理层、虚拟化层、分布式存储到硬件层都具有良好的开放性。2. 海量数据对存储的需求非计划数据和归档数据的特点是文件数量大，文件数量通常在数亿级以上。对存储的时延要求不高，要求在几十毫秒左右，但整个存储架构要具有较强的扩展能力。这种场景无疑使用分布式存储的对象存储更为合适，但使用分布式存储，个人认为有如下几点需要提前进行规划。1）对分布式存储做好建设规划。例如这套存储集群的预期规模大小，机柜的物理位置及电力，网络交换机的接口余量，新老设备的兼容能力等等，这些因素都在某种程度上影响了集群整体的扩容能力及规模大小。本人认为，目前分布式架构存储都在普遍使用纠删码的数据冗余模式，而+3是绝大部分厂商推荐配置的最大冗余配比，所以从设备冗余配置来考虑，建议单个分布式存储的集群规模要控制一下，不超过3至4个机柜为宜，这样交换机接口使用率、实际可用空间比例、分布式集群的整体性能等都可以达到一个较为理想的状态。2）确定业务数据的生命周期。分布式对象存储具备生命周期管理能力，利用好这项功能，可实现数据生命周期的自动管理，可极大地节省数据管理的人力成本，提升存储的有效使用率。3）确定要根据数据的保存机制。分布式对象存储具备数据流动功能，在建设前，可提前制定“热、温、冷”数据保存方式，实现不同生命周期的数据存放在不同的物理介质上。例如，可将经常使用的“热、温”数据放性能较好的存储资源池，在达到生命周期设定值后，数据变为“冷”数据后，可自动转存在性能相对差一些的存储资源池，或者对接蓝光光盘库，将离线保存。而对于数据的使用方来说，它仍是从同一个数据接口进行数据读写，而并不知道数据的实际存放位置。这种方式可有效地从机房、硬件、电力等方面降低设备的总体拥有成本。3. 异构存储运维及数据备份现如今几乎所有的金融机构里，集中式存储、分布式存储、大数据等混合架构是并行状态，这就为存储的运维部门带来了异构存储运维和数据备份的挑战。如何基于多种异构型的存储，构建一体化的运维平台，需要综合考虑多方面因素，包括应用系统业务连续性要求、联机业务量大小、业务数据类型、平台建设成本等等。要成功实施完备的异构存储资源池，不仅要选择合适、成熟和高效的存储技术，更要通过严密的组织、规划和设计。基于多设备、甚至是多设备多厂家管理的复杂情形下，金融企业数据中心需要有新型的管理方案，能够按需分配存储资源服务，自动化数据运维管理，支持开放架构、多云链接和融合，支持未来金融业务走向全场景智能、多云融合。在数据备份方面，随着等保2.0、数据安全保护法等政策深入，在不同场景下的数据备份，将会是未来金融机构开展数据保护建设的重点方向。对于私有云平台场景而言，由于虚拟机硬件是被虚拟中间层软件定义的，这就意味着所有虚拟机的硬件环境可以很方便地进行创建和变更，不再受到物理硬件的影响，使全系统备份和恢复变得简单。所以，在私有云环境下，全系统部分将成为备份的主体，在实际的建设过程中，这部分存储资源也要同步准备，容量大小可以参考业务虚拟机的存储需求。4. 容灾要求在移动互联网已经普及、用户对业务实时性需求越来越高的今天，保障业务连续性是重中之重。做好完备的灾备方案规划和实施，实现业务不中断、数据不丢失、操作无感知，是每个存储维护人员都应该思考的。在数据中心中，完整的数据保护的过程应该是一个数据加热的过程，热数据应该全部做容灾保障7x24H的业务连续；对温数据来说则需要做热备份，这样当故障发生时，备份数据就能够快速转变成我们需要的生产数据；对于冷数据或是归档数据，当它们转变为温归档数据则能够快速地被调用发挥价值。所以我们说，“热数据全容灾，温数据热备份，冷数据温归档”，这样整个数据的访问效率也会得到大幅度提升。结束语综上所述，伴随着企业数据的本质性变化，企业存储系统必然会在系列挑战当中不断革新，技术元素会呈现多元化，技术决策会呈现精准化，技术管理会呈现智能化。-全文完-