云存储应用白皮书.pdf

前言云存储应用白皮书（以下简称“白皮书”）由阿里云存储团队编写。白皮书作为云存储行业首个全景式文档，在基础设施云化、核心技术互联网化、应用数据化和智能化的时代背景下，以云存储的技术能力和产品通用能力为基础，以当前存储密集型行业的应用场景以及阿里云多年实践为切入点进行全面解读，同时联动计算、数据库、容器等产品。白皮书旨为数字经济从业者提供具有指导性、操作性的参考资料，希望能够在各个行业的数字化转型过程中提供有效赋能。在编写的过程中，需要感谢阿里云多个业务及技术团队对白皮书涉及内容进行的修订，还要感谢在阿里巴巴内部或外部平台发布各类文章的技术及业务专家们，正是你们的贡献丰富了这本白皮书的内容。推荐语存储是 IT 行业的三大关键技术领域之一，是 IT 系统的感知输入记录和 IT 大脑的思维记忆所在，其基础性和重要性不言而喻。云存储作为将储存资源放到云上供行为对象任意时间、任意地点，只要有网络连接即可存取的技术，依托其便利性和弹性按需的低成本优势伴随着云计算技术一起迅猛发展，势不可挡。阿里云存储伴随着阿里云技术的成长，从诞生之初就植入了多种创新自研技术,在业界保持着很高的市场占有率。通过云存储应用白皮书我们不仅可以全面了解阿里云作为一家云服务商的存储产品与解决方案，也能从“上帝视角”对整个存储技术领域有一个清晰的轮廓。我相信这是一份对 IT 组织和 IT 从业者具有启发和借鉴意义的文档。祝愿阿里云在云存储技术领域产出更多的创新成果，造福行业组织，创造更大的经济效益与社会效益。北京邮电大学网络空间安全专业负责人灾备技术国家工程实验室副主任博士生导师 辛阳当今社会运行信息已经表现出高度数据化、数字化，每一个组织，每一个个人都是一个数据集。以云存储为代表的存储正在成为这些数据集的统一管理平台，并且为国家和地方政府治理、企业日常运营提供了新的技术支撑。针对数据的分析、管理正在成为存储技术的重要实践。云存储应用白皮书结合了当前云存储的现状及阿里云长期积累的存储实践，详细介绍了阿里云存储产品的特点与能力。相信这本白皮书可以为企业组织的数字化转型提供有效赋能。贵州大学副教授公共大数据国家重点实验室办公室主任陈玉玲数据已成为关键的生产要素，存储作为储存数据的关键基础设施，其重要性不言而喻。阿里云存储紧跟时代需求应运而生，在多年巨大的电子商务交易压力下，将云存储产品持续完善，目前已实现了在“稳定、安全、可靠、易用”上的突破。随着企业组织数据和业务上云的需求不断增加，对云存储产品的保障和应用服务也提出了新的要求。本白皮书介绍了阿里云存储在保障数据稳定、安全、可靠、易用和高性能的过程中所使用的主要关键技术，并多方面介绍了阿里云存储的应用实践，能给相关行业的用户起到较好的参考作用。希望阿里云存储能持续做好技术支撑服务，保障客户的数据安全和业务连续，更好地发挥数字经济基础设施的重要作用。国家电子计算机质量监督检验中心 总工程师中国计算机学会信息存储技术专业委员会 委员阳小珊 博士Forrester 认为，为了更加有效地应对市场不确定性，全球企业决策者将通过战略筹划积极应变，构建自适应企业（Adaptive Enterprise），而以混合云环境下的云原生技术为代表的下一代云计算平台将成为构建自适应企业的重要基础。另一方面，包括数据中心、人工智能、工业互联网等在内的新型基础设施建设，也将成为中国经济发展新旧动能转换的关键抓手，而不断推陈出新的云存储技术也将在这一转换进程中发挥重要作用。阿里云推出的这份云存储应用白皮书，从存储行业的变革历程入手，在自身从研发到赋能的有效实践基础上，深入浅出地阐述了变革时代之下云存储的核心技术趋势，剖析了阿里云存储产品与解决方案的关键能力，为中国相关领域的技术决策者与实践者提供了面向行业应用场景的重要参考。Forrester VP 研究总监戴鲲序存储一直是 IT 设施中最重要的一环。在数字经济高速发展的背景下，为了实现阿里云“数字经济的基础设施”的宏大愿景，存储必须担负起更大的责任，为企业数字化转型提供核心价值，促进基础设施云化、核心技术互联化和应用数据化和智能化的升级。经过二十年的技术演进，阿里巴巴实现了统一存储的目标，以“飞天盘古“系统作为统一的底座，通过标准化、服务化和开放化的方式建立了完整的存储产品和服务体系，统一服务内部和外部的客户。一方面，经过历年的阿里巴巴”双 11“的锤炼，打造了满足大规模业务场景超高要求的技术竞争力和产品差异化能力，为客户提供了更好的服务；另一方面，我们也不断在向阿里云上的数百万客户学习，学习客户的业务架构，了解客户的需求，不断精进存储技术和打磨产品，为客户创造更多价值。“以市场为导向、以产品为核心、以技术为基础”是阿里云的战略方针。“稳定、安全、可靠、易用”是存储的立身之本。这本云存储应用白皮书通过对市场和行业的分析，存储产品矩阵的总结，典型解决方案实践的介绍和存储技术的总结，展示了我们是如何执行阿里云的战略方针，如何践行存储的立身之本。期待这本白皮书能够帮助大家更全面地理解阿里云存储、更高效地用好阿里云存储，进而实现业务的快速发展。吴结生 博士阿里巴巴集团高级研究员阿里云智能存储产品线总经理目录页行业综述.10一、数字经济时代已经到来.101.基础设施的云化.102.核心技术互联网化.113.应用数据化和智能化.12二、存储行业的变革.131.存储服务网络的巨变.132.云原生对云存储的新要求.143.智能与存储的交相辉映.16技术产品.18一、强大的技术基因.181.自研分布式存储技术.182.弹性让云成为可能.203.软件的重新定义.224.多种数据灾备及加密方式.22二、完善的产品矩阵.241.对象存储.242.块存储.263.文件存储.284.日志服务.335.表格存储.356.云定义存储 CDS.377、云灾备.408、闪电立方.429、智能媒体管理.4410、网盘与相册服务.45应用实践.47一、本地数据上云方案.471.数据业务迁移上云方案.472.数据归档上云方案.48二、云灾备解决方案.501.需求背景.502.解决方案.50三、云上数据应用解决方案.521.影视数据存储与传输加速方案.522.物联网大数据存储解决方案.533.在线教育数据存储解决方案.544.数据湖存储解决方案.565.日志采集在微服务架构中的应用.586.高性能计算存储在渲染行业的应用.607、可观测运维解决方案.61四、AI 模型训练解决方案.631.文件存储在飞天 AI 加速中的应用.632.智能媒体管理在人脸语音识别中的应用.643.表格存储在推荐系统中的应用.654.文件存储在 AIGC 赛道中的应用.66五、混合云存储解决方案.681.基于混合云存储阵列的虚拟化平台搭建.682.视频监控混合云存储解决方案.69附录一：相关英文缩写释义.71附录二：阿里云存储大事记.74行业综述10行业综述一、数字经济时代已经到来1.基础设施的云化自人类社会诞生以来，先后经历了农业经济、工业经济、网络经济等时代。今天，我们迎来了由 IT 经济、DT 经济、智能经济所组成的数字经济时代。根据联合国发布的2022 年数字经济报告的统计，数字经济的规模约占全球生产总值的10%。从参与数据驱动的数字经济并从中受益的能力来看，美国和中国脱颖而出。正如水之于农业经济时代，电之于工业经济时代一样，在数字经济时代，数据正在成为新的自然资源、新的战略资源。中国工程院院士、阿里云创始人王坚在其在线一书中认为，数据正在改变商业的本质。根据 IDC 的相关预测，未来五年，全球数据量将会增长一倍以上，这其中，中国本土的数据量会仅次于北美地区，达到大概 56.16ZB 的规模，另外年复合增长率接近 25%，增长率将成全球第一，也就是说，未来几年中国将会超越北美地区成为全球最大的数据市场。多方数据的汇聚以及对数据“存储-使用-管理”的全生命周期支撑能力、全方位的数据安全体系和健全的数据生态环境、以数据为中心实现数据价值最大化是以存储、计算、网络等基础设施所需要解决的重要问题。而今天，云计算已经在关键技术和应用规模上实现对传统基础设施的超越，基础设施全面云化的进程已然开启。一方面，新基建、“东数西算”等国家战略级定位的重点项目敲开了 B 端市场的大门，为云计算发展带来了大片市场蓝海。另一方面，技术融合成为数字经济重要发展趋势，云计算与数据中心、人工智能、工业互联网等的融合碰撞将摩擦出新的火花。行业综述11行业之间出于业务共性、方案成熟度、部署和维护等方面的考虑，上云的过程中存在较大差异。为了避免行业云的设计方案因人而异或因事而异，需要通过标准将行业云要求清晰准确地列出，做到有章可循。除已发布的和在研的国家标准、行业标准之外，公共云服务商也需要不断制定自己的相关标准，让上云更加高效便捷。早在 2020 年 2 月，阿里巴巴集团的首个云计算企业标准行业云建设要求编制完成并发布，标准规定了基于公有云模式的行业云建设要求，包括总体要求、机房选址要求、物理网络架构要求、云产品部署要求和安全要求等。此外，API 的广泛应用为标准化上云提供了可能，阿里云存储已经提供并开放了多个管理与控制的 API，使得客户可以通过编程灵活调用、管理与监控存储资源，甚至实现跨平台的存储管理。2.核心技术互联网化作为分布式处理、并行处理和网格计算融合发展的产物，云计算从 2006 年正式诞生，时至今日，云计算已经成为一门独立的学科。今天，大数据、物联网和人工智能等技术正在引领云计算的发展。在各行各业不断拥抱互联网的当下，在企业组织数字化转型的当下，在产业互联网蓬勃发展的当下，需要更加适合互联网场景的技术升级方案。从成立的第一天开始，阿里巴巴就具有了独特的互联网基因，在过去的二十年，阿里巴巴不断应对互联网时代的诸多挑战，从而在今天构建起并梳理了数字经济时代的底层范式和技术脉络。基础设施的云化需要一套新的技术体系，需要基于互联网技术来进行改造。这其中最为明显的例子就是对象存储的兴起，在最初就将存储视为一种服务的对象存储，在应对互联网数据存储的规模化、高增长等问题的时候，提出了具有划时代意义的全新解决方案。对象存储面向互联网、移动互联网而生，专为大量网页、视频、图片、音频等数据的存储行业综述12和管理等场景而设计。对象存储采用基于互联网的访问接口，其本质是通过互联网或移动互联网访问相关内容，为应用提供了全局、全网共享的数据池化管理，非常适合作为视频、社交、音乐等互联网应用的底层平台。现在，对象存储已经拥有了面向海量数据存储、快速访问的能力，不但可以构建数据统一分析平台，还可以进一步挖掘数据的价值，让存储更智能。互联网经济的蓬勃发展很大程度上也源自于开源技术的繁荣。开放、开源是互联网技术的重要基因。阿里巴巴是开源的受益者，也是开源的贡献者。可以预见，下一代技术将构建在基于互联网技术、开源技术、云原生的云化基础设施之上，在这一过程中，阿里巴巴已经积累了丰富的经验和最佳实践，这套技术体系的可行性和先进性也已经被充分证明。3.应用数据化和智能化数据化和智能化是数字经济的重要特征，而云计算是应用数据化和智能化的有力保障。随着技术的不断发展以及架构的不断演化，云计算简化了传统 IT 产品的供应链流程，提升了产品弹性。在实现了平台和产品分离的同时，通过平台升级带动产品升级，实现了产品版本的快速迭代，使产品具备实时发布和实时使用的智能化特征。借助“数据+智能”这个出口，云计算将能够根据不同企业和组织的规模、类型、行业等为其量身打造上云方案。万事万物都将被数字化，都会因为数字化而产生进一步走向全面智慧化、智能化的空间和驱动力。在具体实践中，数据智能服务已普遍应用在不同业务中来辅助人工决策。决策智能开始逐步代替人工，通过全流程智能化、自动化的升级，从辅助人工决策走向全流程自动化决策。以阿里云存储为例，在完成了以弹性扩展、灵活高效、降低成本为核心的存储基础服务以后，已经实现了支撑集团 100%业务上云的目标，同时还帮助越来越多的客户实现数据管理的数字化和智能化。在针对不同业务场景上，阿里云发布了智能媒体管理 IMM，为云上文档、图片、视频提供行业综述13一站式数据处理、分析、检索等智能管理。阿里云存储不再是一个单一的底层平台，而是升级为数据智能管理的平台。二、存储行业的变革1.存储服务网络的巨变云计算让原本离散的、依靠渠道实现分发的蒲公英网络演进为具有更高的服务效率、迭代效率、发现效率、运营效率等四大优势的平行网络。这其中，自服务是云计算核心的竞争力之一。传统 IT 技术所构建的商业模式不再成立，云计算的自服务能力让企业可以像使用水和电一样使用云计算产品，在可管理性方面有了极大的提升，也避免落入依赖技术和产品外包的服务陷阱。从这个角度来说，相比于强调所有权的公有云，强调使用权的公共云的概念其实更为贴切。云存储是基于云计算相关技术延伸和发展而来的全新的产品形态。本质上，云计算不是一种计算，而是服务，云存储也不是一种存储，而是一种基于存储功能的服务。云存储的内核是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。如同云状的广域互联网，云存储对使用者来讲，不是指某一个具体的设备，而是指一个由多个存储设备和服务器所构成的集合体。因此使用云存储时并不是使用某一个存储设备，而是使用整个云存储网络带来的一种数字化服务。网络互连是分布式存储的基础，随着半导体存储介质的发展，存储网络的问题越来越突出。盘古针对存储网络面临的低延迟、高吞吐、CPU 占用等问题，提出了新的存储网络协议及技术架构。具体包括用户态 TCP 协议栈 LUNA、增强型 ROCE RDMA 以及全自研 RDMA 网络协议及软硬一体技术架构。通过高性能存储网络技术的演进，带来了如下技术创新：解决了分布式存储互连存在的性能问题，盘古构建了全球最大规模的增强型 RDMA 存储网络，解决传统 RDMA 面临的 PFC 等问题。在规模化生产环境下，端至端 I/O 延迟行业综述14降低至 100us 以内，造就了全球性能第一的 ESSD 云盘。降低处理网络协议栈的 CPU 开销、减少内存拷贝，持续升级数据中心存储物理网络技术架构。将数据中心存储互连提升至 2x100Gbps，网络带宽利用率达到 90%以上，并向更高速率的网络技术发展。自研 RDMA 存储网络协议栈，发展 HPCC(high performance control center)络拥塞控制算法。通过 RDMA 协议提升硬件卸载的效率，降低网络丢包率，提升存储网络利用率，解决存储场景下面临的 Incast 等重要问题，促进存储网络向高性能方向演进。通过端网协同能力，提升链路探测的效率，降低存储 I/O 的长尾延迟，提升存储系统的 QoS 能力，为用户提供极致的 SLA。盘古存储网络相关技术在阿里云得到了规模化，也积累了一系列创新成果，自研的高性能RDMA 存储网络（SIGCOMM 2022）、HPCC 流控算法（SIGCOMM 2019）、RDMA 网络的大规模实践和优化（NSDI 2021），引领了云存储进入微秒延迟时代。2.云原生对云存储的新要求云原生（Cloud Native）的概念在 2015 年开始被提及，主要包括容器、服务网格、微服务、不可变基础设施和声明式 API 等技术领域。云原生计算基金会（Cloud Native Computing Foundation）认为云原生技术有利于组织在公共云、私有云和混合云以及新型动态环境中快速构建和运行可弹性扩展的应用。作为下一代云计算的核心技术内核，云原生对于企业竞争优势的原生放大具有重要作用。全面上云的拐点已经到来：从单次购物节大促到日常业务运营，已经实现了常态化的上云；从边缘业务到核心链路和关键业务，已经实现了核心业务的上云；行业综述15从几百台机器到超过十万台机器，已经实现了规模化的上云；从单一技术到全栈技术，已经实现了多样化的上云，上云已经成为一种必然。除此之外，上云不仅是业务需要面向云端，研发同样需要面向云端。云原生的出现让业务获得了更灵活的部署能力，同时也能够挖掘出在线数据的更大价值。云原生技术正在深刻改变着应用服务的方方面面，而存储作为应用运行的基石，也面临着新的需求和挑战。云原生场景下，用户在云存储基本能力之上又提出了效率、弹性、自治、稳定、应用低耦合、安全等方面的新诉求。数字红利催化、云原生架构驱动、存储技术演进，三重背景共同推动着存储迈进云原生存储时代。首先，云原生存储是面向应用的应用层存储，是云存储在用户接口和效率、易用性等优势的集合；其次，云原生存储利用云存储基础设施红利，是构建在应用存储之上的分层存储；第三，云原生提升了实现效率和自治方面的能力，提升了存储稳定性，降低了安全隐患。阿里云为国内头部云厂商，具备提供丰富的云原生能力的基础，深耕云原生领域多年，从最开始布局容器，到核心系统云原生化，再到 2022 年提出核心云产品全面 Serverless 化，阿里云始终以先行者的视角布局技术，不断带给业界新的想象空间。阿里云存储不断演进 Serverless 能力，智能适配负载变化，提供智能数据管理能力以及全场景覆盖不断发展的新负载。在中国信通院组织的云原生存储能力要求测评中，阿里云块存储 EBS、对象存储 OSS、文件存储 NAS 等产品通过了 2022 年度云原生存储能力首批评估。行业综述163.智能与存储的交相辉映人工智能技术的发展让存储产品在打破数据孤岛，提升数据管理效率等方面有了更多可能。阿里云提供了丰富的数据管理功能，通过数据分析挖掘数据价值。以阿里云日志服务的智能运维分析功能为例，该功能面向趋势预测、异常发现、智能聚类和根因分析等四个场景，提升了 DevOps 分析和诊断的效率，帮助运维人员提前配置资源，提前预测、发现和解决突发故障。借助人工智能技术，阿里云存储产品在磁盘、服务与网络的故障检测中，可以更加准确地预测到故障的发生：在遇到网路抖动等异常状况时，可以做到及时规避，大大减少长尾延迟现象；在业务调度中，利用人工智能技术，能够提前进行负载均衡，避免热点的不均衡；在数据的放置策略中，可以根据对冷热数据的分析以及客户访问的规则与模式，将不同类型的数据进行分类，执行不同的置放策略，实现更加智能的分级存储，从而提高总体系统效能。2023 年，阿里云智能数据湖解决方案成功入选第六届数字中国建设峰会“十大硬核科技”。针对机器学习与人工智能计算的场景，阿里云推出了高性能并行文件系统（CPFS：CloudParallel File System），并广泛应用于 AIGC、AI 训练、自动驾驶、生命科学和渲染仿真等场景。灵骏智能计算结合 CPFS 可以实现 TB/s 级吞吐能力的高性能存储系统、微秒级延迟，它还实现了一份数据多个协议的同时访问的能力，使得不同的应用可以根据需要用不同的接口进行访问。同时，在语音、图像、文本模型训练以及渲染仿真等领域，很多时候都存在着大量的只读小文件，其 IO 模式非常固定，但同时又耗时极长，灵骏为此提供了专门的加速工具 KSpeed，行业综述17对整个数据 IO 作业的流水线进行了重构，通过结合使用高速缓存和数据预处理技术，大大缩短了数据 IO 的时间。为了应对图片和视频数据的快速增长，对数据进行智能分析成为刚需，阿里云的智能媒体管理系统（IMM）将先进的分析算法与存储相结合，通过简单便利的调用接口，使得中小客户也可以享用到阿里云以及达摩院强大且先进的人工智能技术服务。技术产品18技术产品一、强大的技术基因1.自研分布式存储技术1）十年磨一剑的飞天盘古分布式存储因其支持块、文件、HDFS、对象多种协议的特性，具有较好的场景适应性。面向云计算的大规模分布式存储系统，往往需要历经纯软件技术架构、用户态技术架构，再到软硬一体全栈融合技术架构的发展阶段。从 2008 年问世以来，飞天盘古作为阿里巴巴集团、蚂蚁集团业务的数据存储平台，在存储技术的理解、分析、分类和抽象等方面持续创新，一方面为了适应硬件的迭代更新；另一方面还要满足大规模及复杂业务场景的存储需求，主要体现在四个方面，即开放分层的分布式存储软件、高性能存储网络、硬件适配性和硬件架构创新，以及深度软硬融合的闪存存储架构。一个大规模、高性能、高可靠、高可用、可伸缩的分布式存储平台，不仅需要为对象存储、表格存储、块存储、文件存储等不同存储产品提供分布式持久化核心存储层，而且要为上层的大数据处理、数据库、中间件、日志分析、邮箱、搜索等基础服务提供底层数据存储服务。技术产品192）稳定压倒一切开放分层的软件架构是飞天盘古在系统架构演进上的重要实践经验。飞天盘古数据服务层从上到下分为飞天盘古服务层、飞天盘古分布式功能层、单机存储引擎层和软硬件一体化层。飞天盘古分布式功能层是一个公共的基础核心，提供多副本文件（典型配置为三副本）及纠删码文件的文件语义，并支持 Direct I/O 及 Buffer I/O 适应不同业务访问模式的需求。分布式功能层采用分布式元数据管理，支持单集群的大规模及系统的可伸缩性；提供良好设计的异常处理机制及数据复制机制，保证节点异常的性能稳定性及数据可靠性；采用端到端的 QoS 保证业务运行的 SLA；采用端到端的 CRC 校验保证数据传输和存储过程中的数据完整性；后台 CRC 校验机制保障数据持久存储的可靠性；支持快速介质与慢速介质构成的混合存储模式，达到性能与成本的均衡。3）性能是极致追求开放分层架构具备定义稳定和良好的接口，有利于系统自身的快速迭代。不仅如此，飞天盘古针对不同的硬件特点及应用场景进行了深度的优化和设计，包括：技术产品20分布式元数据服务。增强整体系统的元数据服务器能力，支持海量文件规模、灵活伸缩扩展，并摒弃中心节点带来的不足，提升分布式存储的可靠性及性能。自研的分布式一致性协议。对软硬件异常进行容错，在保证可靠性的基础之上提升性能。分布式纠删码技术将数据冗余从典型的 3 份副本降低至 1.5 份副本以下。全自研的用户态存储引擎支持 NVMe SSD 和 HDD 介质，充分发挥 NVMe 的性能，保证后端存储的 I/O 延时在 10us 以内；通过用户态存储引擎挖掘 HDD 磁盘的吞吐带宽，比基于Ext4 的存储引擎性能翻倍。全链路 SLA 服务保证 I/O 的稳定性，通过异常节点探测算法、异步写追加等方法来增强端至端的 I/O 服务质量。在网络互联方面，飞天盘古针对存储网络面临的低延时、高吞吐、CPU 占用等问题，提出了新的存储网络协议及技术架构。具体包括用户态 TCP 协议栈 Luna、增强型 RoCE（RDMAover Converged Ethernet）、全自研 RDMA 网络协议及软硬一体技术架构。在规模化生产环境下，端至端 I/O 延时降低至 100us 以内，造就了全球性能第一的 ESSD 云盘。2.弹性让云成为可能弹性是云计算的核心价值，是每个企业，每个团队，每个 IT 工作者所追求的目标。阿里云弹性计算首席架构师蔡俊杰认为，从广义上讲，弹性让 IT 能力轻松跟上客户的业务发展；从狭义上讲，弹性则带给客户无与伦比的灵活性。技术产品21从资源利用角度来说，弹性意味着性价比，根据相关数据统计：在实现云端部署之后，综合成本会下降 50%。弹性是云计算技术中公认的最重要的特点之一。弹性实现了按需增减计算、存储、网络等各种资源。阿里云的弹性贯穿于整个产品生态，客户可以根据业务负载、增长预测、实际应用设置触发条件，实现资源的动态调整。在 2022 北京冬奥会期间，阿里云支撑赛事运营所需的核心系统 100%上云。这是奥运史上首次由云计算替代传统 IT，改变了过去奥运重复建设传统 IT 机房，在赛事短暂使用后拆除的状况。应用开发和部署流程缩短，IT 基础设施的成本大幅下降。阿里云存储在弹性方面实现了按量付费和按实际使用量付费，无需提前一次性投入。同时，自动弹性扩展存储的容量和文件数目也满足了 EB 级海量数据存储的需求。另一方面，随着公共云、专有云、混合云等平台之间的数据及业务迁移变得更加灵活和便捷，云计算的外延也不断扩大并延展到边缘现场环境中。容器、微服务、服务网格、无服务器计算等新的技术架构不断涌现、不断创新，这些也将进一步助力云存储不断提升自身的弹性，推动了数字经济时代组织架构的改变以及文化的变革。技术产品223.软件的重新定义Gartner 于 2013 年提出的“软件定义一切”仍余音绕梁，由硬盘、磁带以及云等存储介质组成的存储金字塔架构正在受到越来越多的冲击，存储架构进一步简化，实现了通过数据的使用而不是底层存储介质来定义数据。软件创新使等简化的存储架构可轻松用于更多的细分市场，例如媒体和娱乐、能源，甚至是中小企业市场。新的简化模型使组织可以将大部分不活跃的数据从昂贵的存储主层（由闪存、NVMe 和其他固态技术以及高性能磁盘组成）中移到更为经济的冷存储层，或者称之为永久层。用户也可以将数据的多个副本存储在对象存储、磁盘和磁带等在内的多种更为经济的存储介质上。永久层还可以用于第二存储、数据分发、备份、存档和灾难恢复等业务上。同时，也可以将永久层设置为根据客户工作流程的需求进行响应，从而使用户可以创建响应副本或在云、磁带上创建灾难恢复副本。这些功能，都有赖于软件对数据存储、访问方式的重新定义。软件与硬件的发展往往是紧密结合的，在这个过程中，既离不开不同介质硬件的自我革新比如 SSD 的普及、比如阿里云自研的神龙服务器；也离不开软件的不断创新通过开放接口的方式进一步提升存储系统效率，借助硬件和软件产品的集成，确保硬件可以在软件的支持下得到性能的优化。存储系统架构经过不断演进，已经从硬件定义时期演变到软件定义时期通过软件的能力在通用廉价硬件基础之上构建可靠数据存储系统，最明显的例子就是 SDS（软件定义存储）近几年的快速发展，它使存储软件与底层硬件分离，使企业可以更好的利用标准化硬件从而获得成本、效率等方面的回报。根据 IDC 数据，2019-2021 三年来，传统存储硬件市场份额从 65%下降至 52%，市场份额持续萎缩。照此趋势，未来数年内 SDS/HCI 硬件市场份额有可能超过传统存储，成为企业存储主流解决方案。新的存储技术如持久内存（PM）、存储类内存(SCM)、NVMe oF 等，将进一步推动 SDS 系统的发展。4.多种数据灾备及加密方式安全可靠是阿里云始终坚守的重要底线。为此，阿里云执行多层次、全链路、全方位的安技术产品23全加密策略，实现业务安全、运营安全、数据安全、网络安全、应用安全、主机安全和帐户安全以及底层数据中心安全。此外，还提供了完全托管服务，用户不再需要自己规划容量的扩容和备份。与传统灾备服务相比，云灾备具有投入成本低、敏捷运维、资源服务化、多系统应用等优势。早在 2018 年 6 月，阿里云已经正式对外发布了国内第一家云原生混合云备份服务和混合云容灾服务，提供云上备份与容灾的保护能力，客户可实现灾备方案的分钟级部署。国内首家发布同城三可用区域部署能力的云上对象存储，可满足企业级客户对于发生机房级灾难事件时数据不丢、业务不断的需求。相比于建设线下同城容灾机房，对象存储同城区域冗余存储提供 99.95%的可用性 SLA 指标、12 个 9 数据可靠性和一键部署云上同城容灾服务能力，结合“跨区域复制”能力，可实现机房、同城、跨地域三级完整的容灾服务能力。对象存储的多版本功能，使得用户可保留、恢复文件的历史版本，且可设置历史版本保留时间，防止人为或程序的出错，提升容错能力。云盘异步复制是一种基于块存储数据复制能力实现跨地域或者跨可用区数据保护的功能，主要用于异地容灾的业务场景。通过 ESSD 云盘对数据进行周期性跨地域复制，客户可以非常方便地在阿里云全球 28 个地域，根据业务需求来选择生产站点和灾备站点，实现高等级、低成本的数据级容灾架构。在数据加密方面，对象存储的多次读取特性允许用户以“不可篡改、不可删除”的方式进行云上数据合规保存。对象存储的数据加密功能涵盖客户端加密、服务端加密，可结合密钥托管服务，并支持用户以自有密钥方式进行加密，大大提升数据安全与合规能力。混合云备份 HBR 提供备份源端加密，并支持基于 SSL/TLS 的 HTTPS 加密传输，有效防止数据在云端的潜在安全风险。文件存储推出的传输加密、落盘加密功能，通过托管密钥、自有密钥加密充分保证数据在传输中的安全性。技术产品24块存储通过和阿里云密钥管理服务集成，用户可通过云盘加密功能保护数据的隐私性和自主性。二、完善的产品矩阵1.对象存储产品介绍：阿里云对象存储 OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供 99.9999999999%(12 个 9)的数据持久性，99.995%的数据可用性。多种存储类型供选择，全面优化存储成本。2023 年 4 月，阿里云对象存储推出全新预留空间产品（Reserved Capacity），客户购买一年的预留空间，较按量付费，最高可节省 70%的费用。预留空间适用于多种业务场景下的数据存储与管理，如互联网音视频、数据湖、云相册、视频监控等业务场景。无地域属性预留空间则适用于对数据存储地域无要求，可接受仅通过外网进行数据读取访问的客户。技术产品25产品优势：更安全：完善的权限控制与多种加密算法的支持，满足企业数据安全与合规要求。更可靠：OSS 的多重冗余架构设计，为数据持久存储提供更可靠的保障。更稳定：提供高达 99.995%的可用性 SLA 承诺，为客户提供高可用的存储服务。更智能：提供数据的生命周期管理与数据的智能处理能力，有效满足企业需求。产品功能：数据迁移：支持 PB 级的在线、离线迁移方案，完成中国互联网首个单客户百 PB 级数据的迁移上云案例，提供更安全、更快速的海量数据迁移上云方案。离线数据迁移：闪电立方可将用户线下数据，安全、高效的迁移至对象存储 OSS，提供端到端的加密机制，支持 TB 到 PB 级数据迁移上云。在线数据迁移：用户可使用阿里云 OSS 在线数据迁移服务、OSSImport 工具，将第三方云存储、自建的线下存储等各类数据，在线迁移至对象存储 OSS。HDFS 数据迁移：通过 Hadoop 对阿里云 OSS 的支持，用户便可以在自建的Hadoop 集群或通过阿里云 EMR，将 HDFS 中大规模的数据迁移至对象存储 OSS。数据处理：支持图片、文档、视频、CSV 等数据的常用处理和分析能力，提供更智能的对象存储。图片处理：支持 jpg、png、bmp、gif、webp、tiff 等多种格式的转换，及缩略图、剪裁、水印、缩放等操作。视频截帧：支持截取视频中的指定位置生成图片，完成视频截帧。人脸识别：支持图片中多张人脸位置与属性检测，如性别、年龄、情绪、头部姿势、眼睛状态、模糊度等。数据管理：支持生命周期、镜像回源、更丰富的数据上传与下载方式、事件通知、回调等功能，提供更简单易用、更便于管理的对象存储。生命周期：可定义数据的生命周期，将符合规则的对象转换存储类型或过期清除。镜像回源：支持配置用户源站，当访问数据不在 OSS 时，OSS 会从源站拉取并写技术产品26入 OSS。传输加速：阿里云 OSS 原生加速产品，依托阿里云数据中心全球的接入点，结合智能探测与调度算法，提供最适合 OSS 用户的加速服务。容灾备份：通过数据跨区域复制以及同城冗余、版本控制等技术，保障数据的高可靠性，防止数据被误删或误覆盖导致的业务损失。跨区域复制：提供跨不同的 OSS 存储空间之间自动、异步（近实时）的文件复制能力，将对象的增、删、改等操作进行自动复制。版本控制：将数据覆盖和删除操作通过历史版本的形式保存下来。在错误覆盖或者删除对象后，能够将存储空间中存储的对象恢复至任意时刻的历史版本。同城冗余：阿里云 OSS 采用多可用区（AZ）的冗余机制，将数据分散存放在同一地域（Region）的 3 个可用区。当某个可用区不可用时，仍然能够保障数据正常访问安全合规：OSS 提供多种保证数据安全与合规的技术，包括防盗链、数据存储加密和数据的合规保留策略（WORM）设置等。防盗链：通过设置 Referer 白名单的方式限制仅白名单中的域名可以访问您存储空间内的资源。数据加密：阿里云 OSS 的数据加密功能，提供服务端加密、客户端加密等多种数据加密选项。WORM：阿里云 OSS 支持 WORM 策略（一次写入，多次读取），保护周期内，任何人都不能对文件进行修改以及删除，满足行业合规要求。2.块存储产品介绍：块存储 EBS（Elastic Block Storage）是为云服务器 ECS 提供的低时延、持久性、高可靠的块级随机存储。块存储支持在可用区内自动复制您的数据，防止意外硬件故障导致的数据不可用，保护您的业务免于硬件故障的威胁。技术产品27产品优势：数据持久性：云盘基于多副本机制，提供 9 个 9 的数据持久性。极致性能：ESSD 云盘最高可提供 100 万随机 IOPS，4000MB/S 吞吐。弹性扩展：单盘最大支持 32TB，容量和性能均可弹性扩展。安全合规：所有云盘以及快照均支持加密，满足合规要求。产品功能：丰富的块存储产品类型：提供 ESSD AutoPL 云盘、PL1/2/3 云盘、SSD 云盘、高效云盘、NVMe SSD 本地盘、SATA HDD 本地盘等多种磁盘类型，满足不同业务场景需求。弹性扩容：单盘最大支持 32TB，可根据业务负载自行配置云盘容量以及类型，后续可按需在线扩容以及调整云盘类型，以满足业务诉求。数据加密：通过阿里云密钥管理服务(KMS)，针对云盘以及快照提供 BYOK 加密能力。加解密操作对于业务性能基本无损。分布式多副本机制：基于分布式多副本技术，为云盘提供稳定、高效的数据随机访问能力，规避底层单一硬件故障带来的数据丢失问题。多元的企业级块存储特性：提供云盘加密、弹性扩展、共享挂载、在线变配等传统企业级SAN 存储特性，满足线下业务无缝迁移上云。弹性扩容：单盘最大支持 32TB，可根据业务负载自行配置云盘容量以及类型，后续可按需在线扩容以及调整云盘类型，以满足业务诉求。数据加密：通过阿里云密钥管理服务(KMS)，针对云盘以及快照提供 BYOK 加密能力。加解密操作对于业务性能基本无损。分布式多副本机制：基于分布式多副本技术，为云盘提供稳定、高效的数据随机访问能力，规避底层单一硬件故障带来的数据丢失问题。极致的云盘性能：ESSD 云盘是阿里云目前性能强劲的企业级云盘规格，基于新一代分布式存储架构，提供单盘高达 100 万的随机读写和低至百微秒的单路时延能力。百微秒时延：采用全新架构的 ESSD 系列云盘最低能够提供百微秒写时延，可满足高性能数据库负载。技术产品28单盘最高提供 100 万 IOPS：ESSD PL3 规格最高提供 100 万 IOPS 以及 4000MB/S吞吐能力，能满足核心交易系统、自建数据库等重 IO 密集型场景。ESSD 性能变配，秒级生效：ESSD PL1/2/3 规格云盘修改性能等级秒级生效，业务无需等待。简单高效的数据备份能力：通过自动快照策略或者手工方式针对 ECS 实例、云盘创建快照，以应对数据丢失或错误风险。同时利用快照能力可实现批量快速创盘。批量创建云盘：基于新一代快照服务架构，可实现短期内批量创建 ECS 实例或者数据盘，实现业务快照部署。快照极速可用：启用了“快照极速可用”能力的快照能够在数秒内完成快照创建或者回滚操作。可将业务等待时间缩短至秒级别。快照跨地域复制：通过手工或者自动快照策略，将快照复制到指定区域，可实现云上异地容灾或者新业务快速开服。3.文件存储1）NAS产品介绍：阿里云文件存储 NAS（Apsara File Storage NAS）是一个可大规模共享访问，弹性扩展的高性能云原生分布式文件系统。支持智能冷热数据分层，有效降低数据存储成本。广泛应用于企业级应用数据共享、容器、AI 机器学习、Web 服务和内容管理、应用程序开发和测试、媒体和娱乐工作流、数据库备份等场景。产品优势：企业级稳定性：基于分布式架构，提供 11 个 9 数据持久性和 99.95%的服务可用性。云原生：存储容量随业务的写入或删除动态伸缩，0 成本创建