云存储技术规范0810.docx

云存储技术规范
——上海电信互联网部

2010年7月

1、 总则
1.1 编写目的
为了更好的推进网盘项目招标和工程规范实施，特此编写此技术规范，对系统的各个特性和性能要求提出具体要求，起到规范统一的作用。
1.2 建设背景和目标
随着互联网的急速发展和非结构化数据的爆炸性增长，公众对高效，快速，分布式存储提出了更高的要求。中国电信云存储方案基于这个需求被提出来。
1.3 适用范围
中国电信云存储项目
1.4 起草单位
中国电信股份有限公司上海分公司互联网部
1.5 解释权
中国电信股份有限公司上海分公司互联网部
1.6 术语解释
1.7 参考文献
1.8 设计要求及使用条件
1.3.1 总体设计要求
要求系统部署合理，提供完善的网络硬盘服务，提供完善的开发接口，提供及时有效的售后服务。
1.3.2 使用条件
满足一般条件下的使用条件。
2、 技术要求及规范
2.1 平台架构
按照解耦和，多模块的观点，要求系统各个模块结构清晰，功能相对独立，便于维护和升级。架构图可以参考如下的模型（图３－１）：

③
①
②

（图３－１）
图详解：
①　存储业务作为磁盘空间，为中国电信内部自有业务提供存储支撑；
②　存储业务为公众用户（主要是中国电信客户）提供丰富的个人存储产品和服务；
③　云存储系统必须提供丰富的业务接口，以支持开发丰富的上层应用。

2.2 组网结构
按照分布式的组网需求，并充分使用中国电信ＣＮ２骨干网络，要求全国云存储采取分点组网，快速连接。
整个组网结构，请参考如下图（图３－２）：

（图３－２）
2.3 功能性要求
2.3.1 基础存储服务
云存储管理平台提供基础的存储资源池，将多个物理设备上的存储资源虚拟为统一的存储资源池，供上层使用。
2.3.2 存储管理
设备管理：通过查询域内所有设备的磁盘、CPU、内存、电源、风扇、网口等信息。让用户实时了解域内设备运行信息，运行状态，从而可以操控设备；同时及时了解运行有误的设备，有必要可以采取适当措施保证其正常运行。
资源管理：用户可以方便的了解云存储系统的各个节点的服务情况，包括MDS的主备、 MDS\OSN的容量和性能（读IOPS、写IOPS、读流量、写流量）等信息，让用户实时了解域内资源信息，运行状态，从而可以操控这些资源；同时及时了解资源的异常，有必要可以采取适当措施保证其正常运行。
2.3.3 策略管理
云存储平台提供灵活的存储策略，包括文件的副本数量、异地存储、加密存储、压缩存储、同步或异步存储。可以对用户不同目录设置不同的存储策略。
2.3.4 多租户管理
云存储平台要求能支持对多租户的管理，可以为每个租户设定存储空间、存储带宽、存储策略、用户数。租户可以设置管理子租户和孙租户，形成目录树结构。
2.3.5 统计报表
云存储管理平台提供统计报表接口，能够完成用户存储容量、存储数据访问量等数据的统计
2.3.6 多线程支持
云存储管理平台提供的接口支持多线程及断点续传上传下载文件。
2.3.7 跨数据中心部署
云存储管理平台要求支持跨数据中心的部署和管理，并支持跨数据中心的用户访问调度、数据迁移、数据异地存储备份等功能。
支持集中管理，云存储管理平台部署在全国中心机房，存储节点可以部署在全国各机房中，管理平台对分点机房的存储设备可以统一管理调度。
2.3.8 数据写多份
云存储平台要求能够针对不同应用或用户的可靠性和性能需求，灵活设置文件存储的副本数。在满足数据可靠性要求（要求支持同时坏任意两块磁盘数据不丢失）和读写性能要求的前提下，尽量提高存储空间利用效率，降低存储成本。
2.3.9 分级安全服务
² 传输安全
云存储系统采用HTTPS（Secure Hypertext Transfer Protocol）安全超文本传输协议，是以安全为目标的HTTP通道，简单讲是HTTP的安全版。Https:URL表明它使用了HTTP，但HTTPS存在不同于HTTP的默认端口及一个加密/身份验证层（在HTTP与TCP之间）。这个系统提供了身份验证与加密通讯方法，目前广泛用于万维网上安全敏感的通讯，例如交易支付方面。云存储提供的业务接口及管理接口都基于Https，从而保证数据的在传输层的安全。
² 存储安全
云存储系统在数据存储时，根据条带策略，将用户数据根据侧录进行分条，根据条带策略决定每个分条的大小，数据分条的存储物理位置等。数据的所有分条及布局信息是元数据的一部分内容，由元数据节点统一管理。即使任何一个磁盘、一个云存储节点被盗或被入侵。都无法得知具体的数据内容。入侵者无法将零散的数据恢复成完整的数据内容。从而保证数据在存储过程中的安全。保证数据在存储过程中不被窃取。
支持用户指定的目录和文件加密存储。
² 用户和权限控制
云存储系统对每份数据都提供丰富的访问控制策略策略，对数据的所有操作都会进行权限检查。访问控制策略包括：用户和权限。
2.3.10 内容搜索
支持按关键字搜索文件名和文件内容。
2.3.11 离线下载
关机后也可以雇佣服务器下载，支持HTTP多线程下载。
2.3.12 维护管理
设备管理、系统监控、日志、节点管理、域管理、异地灾备、负载均衡等等基础存储服务
2.3.13 应用接入接口
云存储管理平台提供基于HTTP（SOAP/REST）的应用接入接口，包括对用户所有资源的操作接口、用户容器、用户数据的操作、数据访问控制和权限的接口。
云存储管理平台提供资源分配、空间使用、空间回收等管理接口。
2.3.14 资源统计接口
云存储管理平台提供基于用户的存储资源使用情况相关接口，满足计费要求。具体包括：用户使用空间的统计、用户上传下载的数据流量统计、用户上传下载的次数统计等。
2.4 扩展性要求
考虑到后期扩容的需求，对系统扩展性的要求十分重要。主要体现在以下几个方面：
（１） 可以实时对容量进行扩充和升级；
（２） 支持磁盘的热插拔，新增的资源可以立即被平台辨识，管理和分配；
（３） 最低要求可以同时更换两块坏磁盘，更换上的新磁盘自动进行数据填充修复，以保持数据完整性、一致性；
（４） 新增磁盘空间要对磁盘的总体负载要起到良好的均衡作用；
（５） 支持新增空间的主动和被动的数据备份作用。
2.5 容量要求
为了提供优秀的读取速度，稳定的数据存储性能，对云存储系统的整体容量和最小容量提出要求，具体如下：
（１） 整体支持ＰＢ级的存储能力，具有快速部署一个ＰＢ的能力；
（２） 最小磁盘支持　1TB(7200rmp)；
（３） 整个云存储平台最大存储能力要求达到30PB以上；
2.6 性能要求
（１） 云存储平台的吞吐能力要求能够随着存储能力的增长而线性增长；
（２） 要求能够通过调整云存储平台的硬件配置，灵活调整吞吐能力与存储能力的比率，以适应业务变化对平台能力的要求；
（３） 要求支持客户端多线程并发上传下载文件，提供访问速度；
（４） 要求支持大文件分片存储在多个存储节点，各存储节点能够完成对各分片的并发读写能力，提高大文件的访问速度；
2.7 可靠性要求
云存储一旦投入运作，是全年不断电无休系统，需要确保高度的可靠性。具体要求以下几点：
（１） 全年不下电，不停机，不闪断；
（２） 出现故障及时进行告警（声音、灯闪），告警分等级，界面可见，具有详细说明和修复手段提示；
（３） 要求有raid保护机制，在用户数据写单份的情况下，要求数据访问的可靠性达到99.999%，即对单个存储节点要求：
可访问时长/全年时长 >= 99.999％
（４） 要求用户数据可靠性可灵活配置，支持设置用户数据的副本数、是否异地存放，向用户提供不同级别的可靠性保护；
（５） 要求任意两块磁盘或单个存储节点损坏，不会导致用户数据丢失；
（６） 要求任意磁盘或存储节点故障，不影响云存储平台其他设备的正常使用和用户访问。
2.8 安全性要求
2.3.1 硬件安全性
硬件安全性是指硬件在安装、调试、维护、更新等环节，对人员和环境是安全的，具体体现在以下几点：
（１） 产品电位接地，防止触电事故；
（２） 尺寸、规格、形状合理，以免倾斜倒伏，碰撞；
（３） 产品材质耐温，散热；
（４） 明确警示触电、有毒害、或其它危险发生的可能；
2.3.2 系统安全性
系统安全性主要体现在：
（１） 强有力的加密手段和管理策略，确保管理员账户的安全性；
（２） 采取设置防火墙等手段，防止来自公网的破坏；
（３） 对于大规模访问量，异常访问等情况进行监控；
（４） 强大的系统管理能力，提供简洁，高效，互动良好的GUI界面进行系统配置，这些配置项应该包括（但不局限于）以下一些属性：
u 管理，监视，控制硬件资源；
u 管理网络资源（IP分配和服务）；
u 管理每个结点（node）上运行的软件；
u 配置每个结点服务均衡；
u 控制整体行为；
u 设置异常或故障的告警；
u 释放结点或系统的资源。
2.3.3 数据安全性
数据安全性，指用户存放的数据不可被非法访问、复制、修改等，具体如下：
（１） 提供加密接口，对用户数据进行加密；
（２） 基于角色的数据保护策略：
角色
级别
职责
备注
安全管理员
1
系统初始安装，创建账户，分配/删除系统管理员账户
系统新建时默认的管理员，对“系统管理员”进行授权
系统管理员
2
管理整个云存储系统：网段，存储群和节点；更换坏盘和硬件；
对“租户管理员”进行授权
租户管理员
3
在给定的空间内进行策略配置，User ID分配等工作；
对“子租户管理员”进行授权
子租户管理员
4
在给定的空间内创建用户，重构策略;
无
（３） 策略化数据管理，管理员通过可视化界面，进行策略配置，从而实现诸如：
u 创建不同的策略等级（金牌，银牌，铜牌……）；
u 配置不同的用户对应不同的服务等级，或者同一用户的不同数据对象拥有不同的服务等级；
u 同步副本和异步副本数目策略配置，副本压缩，选择存储地的权限
（４） 采取冗余手段和版本管理，实现数据恢复和灾难备份：
副本种类
定义
属性
备注
同步副本
数据对象的一个完全拷贝
每个数据对象都有至少一个同步副本
同步副本数量，副本间距离，网络连接情况等都影响响应速度
异步副本
基于某种策略的数据备份
“尽最大努力”进行数据恢复
系统自动进行异步副本的更新，以保持数据一致
2.9 磁盘利用率
磁盘利用率指磁盘在提供数据冗余备份功能的前提下，能提供的实际裸存储空间占总空间的比例，该指标反应系统的有效利用率，对投入产出比具有重要的参考意义。参考目前主流的技术指标，要求云存储提供≥65%的磁盘利用率。

A：可以被系统管理的空间

B：系统自行耗用的空间（数据恢复，系统文件等）

要求：A/(A+B) ≥ 65%
要求支持重复数据删除技术，通过删除重复数据，进一步提高存储空间利用效率。
2.10 维护与升级保障
随着未来硬件技术和服务质量的提升，考虑到产品有较长的生命周期，故在此单独提出对维护和升级保障方面的要求：
（１） 单个磁盘损坏或故障时需使用新磁盘替换，系统需在4小时之内恢复数据到新替换的磁盘；
（２） 单个存储节点损坏或故障，需在24小时内解决并恢复用户访问
（３） 当存储空间使用率达到一定额度时，需对存储扩容，存储扩容工作从提出到完成上线，需在2个月之内完成。
（４） 工程实施的质量、安全，效率有保障；
（５） 主动发现运行中出现的隐形问题和风险，及时提出整改方案；
（６） 完善的资料，包括维护手册，版本升级指导书，方案建议书等。
2.11 环保功耗
考虑到低功耗，高节能，以获得最大的投入产出比，需要对环保功耗做出一定规格要求，详细如下：
（１） 产品硬件通过专业环保测试认证，标准化制作工艺，材质环保无害，使用的耗材环保无害；
（２） 参考主流的耗电标准，要求每PB物理存储最大功率不超过30KW；
（３） 随着产品生命周期的推进和未来技术发展，对功耗进行持续改进和优化，在未来功耗数据上动态体现该趋势；
（４） 每月给出产品功耗统计表，以便观察。