云环境下基于稳态、敏态应用的存储服务整体规划.docx

云环境下的基于稳态、敏态应用的存储服务整体规划 近年来，随着银行业数字化转型不断加速和金融科技的蓬勃发展，银行业积极探索尝试金融科技创新应用。在新的业态下，基于互联网产品的快速投放需求和交易流量大幅攀升，传统的IT投入和研发方式已显得难以应对，互联网金融产品灵活多变的特性对金融科技的支撑能力提出了更高的要求和挑战，“数字化转型”、“金融科技创新”已成新金融时代的关键词。自2014年7月Gartner提出对应稳态和敏态业务的双模IT概念，国内众多厂商和银行业积极开展了诸多行业实践，稳态、敏态业务，一个维稳一个图新，双轨的IT架构共同推动企业业务的快速发展。特别是2019年8月，人民银行科技司发布了金融科技（FinTech）发展规划（2019-2021年），指出要合理布局云计算，构建集中式与分布式协调发展的信息基础设施架构，为银行金融科技建设指明了方向。议题一：如何分析在云环境下敏态和稳态业务的存储服务特性并选择适合的存储架构？议题二：如何统筹规划在云环境下不同业务负载对存储服务的使用？在用户专家分享环节，彭毅老师分享了云环境下基于双态应用的存储服务整体规划，介绍了本行在云环境下基于双态应用的存储服务整体规划实践，从技术架构、服务架构、存储架构和容灾架构等多个方面，全面介绍了业界大行对云环境下技术发展的整体思路和实践。特别是针对银行不同业务场景下，数据存储所面临的差异化挑战和需求，不仅给出了独特方案，还展现了令人信服的实践数据，为同业提供了有价值的参考。华为专家分享环节，郭洋老师分享了名为拨云见日，求真务实 从需求变化与业内实践，看云内存储选型的精彩内容，首先以块/文件/对象存储的不同特性与演进，展现了存储发展的过往今生，以市场需求为导向的大道至简。其次，聚焦于金融业务对存储需求本质，详细介绍块/文件存储对应的不同业务场景，全面揭示业务场景衍生多样化存储，不同类型存储助力多样化业务。最终针对于企业当前业务上云的需求，从性能、时延、网络、容灾等多个视角对比企业存储与分布式存储，点明云平台存储架构规划设计回归业务需求本质，理性决定选型。互动交流环节中，参会用户通过文字或语音的方式积极提出了自己在云平台存储建设中的痛难点问题，与会的专家老师也都相应给出了设身处地的技术解答。精彩问答节选如下：某城商行用户提问：结合技术和经济等整体因素，城商行应该如何有效构建云环境下敏态和稳态的存储架构体系？用户专家 彭毅 回复：我行目前在敏态环境下，主要也是发展一些分布式的NAS存储，还有一些对象存储。这种业务发展其实很不可控的，它不在我们的掌控之内，发展得非常快，在这种情况下，不仅要从技术上考虑，可能还要从另外一些方面，比如说采购方面一起考虑。通常来说行内的商务采购周期一般都比较长，但存储需求增长非常快，可以从商务采购模式上进行一些变化，如通过框架集采的方式，尽量弥补存储容量的快速增长需求。对于容量的一个控制监控我觉得确实非常必不可少的。华为专家 武装 回复：1、云外的稳态业务已经比较清晰，以经典的IOE体系为准，重点是信创的考量，而引起更多争论的是云内的存储如何选择1）需要提前考虑敏态业务的块存储规模和需求是什么？到底扩展性有多大？结构化数据，有没有实际扩展性诉求？选型的本质是面向需求，基于厂商能力的适配性选择；要朝向真实的业务诉求，业务负载，业务规模，而不是个别风向或者所谓的趋势。2）就目前很多大行的云，Region代表数据中心或者较大的一块独立业务，而Region内部是按照AZ来建设每个IaaS单元的，包含相应的计算资源，多为100150服务器，网络资源和块存储资源。块存储都被分割到各个AZ之内，国内金融行业不存在跨AZ的块存储；而AZ内块存储的规模都是固定的，一个AZ常规只有几百TB。然后IaaS层以AZ的规模进行扩展，而每个AZ的大小最初都规定好了，中间也不存在扩容场景 ，从成本角度看，分布式块的三副本，还是明显提高了客户的采购成本的。我们交流过很多银行的客户，在分布式块上，都是三副本部署方式，并不经济高效。而在这个几百TB的规模上，企业存储无论是性能、时延、采购成本，自身可靠性，成熟度，灾备体系完整度上，优势极为明显。主要承载之前云外的虚拟机承载的相关业务。NAS存储和对象存储，多为整个Region内部，所有AZ可以共享的资源部署；其中NAS存储主要是业务共享性需求，近一段大量用于容器类业务对接，以确保容器类应用可以在不同AZ的计算资源体系上拉起。而对象多用于备份、归档资源池，长期存放数据。3）从华为存储的调研和实践经验上，尊重客户的历史选择，但是，更尊重实际客观的真实需求。分布式化是业务分布式，而并不是存储分布式，块存储明显不适合分布式；不是为了分布式而分布式，而是采用以满足需求的最成熟最优成本的方式进行考量；互联网的大规模并不存在于当今的金融行业或者银行业，而块存储这个范畴就更是延续了传统业务的路线。通用的存储架构体系：企业存储：高可靠硬件+企业存储软件的耦合性设计，优势在于小IO，小文件的高性能时延访问，灾备方案成熟，产品能力成熟，久经考验；分布式存储（SDS 软件定义存储）：软件+通用硬件，适用于大IO，大对象的读写访问，大规模的扩展，通过标准硬件的独立采购来降低客户采购成本；主持人 昼者 回复：对于中小型金融机构来说，跟大行的很多的商务采购方式、技术人员数量、业务需求场景都有一定差距，我们还是要务实一些。我行19年同城双活中心建设时，在核心存储规划选型时有几个方面的经验：一是一定要做好整体的容量业务容量的整体的预测和相关一些规划。虽然是敏捷场景，按照现在中小型银行整体的业务的类型情况来看的话，敏捷业务相对较少，刚刚处于起步阶段。很多国有和股份大行的纯敏态业务虽然发展比较快，也比较成熟，但与互联网企业相比还是有很大差距。因此，从现阶段来说，虽然是敏态业务，但是它的增长率比在短期内难以成指数倍数的增长。因此，在敏态业务存储需求的规划上，也可以设定比较合理的这种存储容量增长的这种需求。二是做好存储容量的监控。在当前的行业情况下，业务发展、应用系统与基础架构之间的信息不对称比较严重。例如在业务发展层面，今年可能重点推广，发卡量暴增300万张，而业务和应用人员可能都没有预估发卡量的增长所带来的系统压力，如交易明细数据的快速增长和存储扩容的激增需求，导致存储管理人员措手不及。三是在存储规划选型时，选用高端低配的存储产品。尽量选用高端存储产品型号，配置可以稍微略低一些，配置主要指的是存储容量容量的这种配置。一方面它的技术迭代的周期会更长，那么我们自身的维护人员的压力就会更小。另一方面，因为从我们中小型银行机构来说，我们很难采取集采式或者一次性采购几年的空间需求，一般来说还是以项目为导向。因此，我们在选型时可以采用高端低配的策略，配合日常良好的容量监控，以年为单位或以项目为导向进行采购来实现灵活扩容，如此基本上可以满足中小型银行的对于存储容量的需求。某城商行用户提问：针对PaaS平台下MySQL、Redis进行数据持久化选择哪种架构的存储的比较合适？华为专家 郭洋 回复：1、从现网的使用经验调研来看，MySQL的对接方式是多种多样的，企业存储，企业NAS，本地盘、分布式块存储，都有不同客户进行选择。1）早期主要是对接企业存储，在数据库技术本身相较于Oracle不够成熟的情况下，客户更希望利用企业存储的成熟来确保数据的安全性与可靠性，后续，随着MySQL的不断成熟，以及MySQL主要承担的是一些非关键的数据库，逐步出现了本地盘的部署模式。2）目前主流配置方案是本地盘和企业存储，从性能出发块存储适用端到端NVMe技术，前端适用NOF，后端使用SSD盘，性能可以和本地盘相当。但是使用本地盘至少3副本，使用块存储可以降低副本，存储提供高可靠，低成本，而且可以利用块存储本身诸多特性，以及存储的容灾技术。解决同城半同步退化的问题2、Redis、Kafka等中间件看客户使用的规模和可靠性诉求，集群化部署又是重要业务，建议使用NAS存储，便于容器化后在不同计算资源上拉起，以及跨多服务器的共享-全文完-