云存储技术规范样本.docx

云存放技术规范
——上海电信互联网部

7月

1、 总则
1.1 编写目标
为了愈加好推进网盘项目招标和工程规范实施，特此编写此技术规范，对系统各个特征和性能要求提出具体要求，起到规范统一作用。
1.2 建设背景和目标
伴随互联网急速发展和非结构化数据爆炸性增加，公众对高效，快速，分布式存放提出了更高要求。中国电信云存放方案基于这个需求被提出来。
1.3 适用范围
中国电信云存放项目
1.4 起草单位
中国电信股份上海分企业互联网部
1.5 解释权
中国电信股份上海分企业互联网部
1.6 术语解释
1.7 参考文件
1.8 设计要求及使用条件
1.3.1 总体设计要求
要求系统布署合理，提供完善网络硬盘服务，提供完善开发接口，提供立即有效售后服务。
1.3.2 使用条件
满足通常条件下使用条件。
2、 技术要求及规范
2.1 平台架构
根据解耦和，多模块见解，要求系统各个模块结构清楚，功效相对独立，便于维护和升级。架构图能够参考以下模型（图３－１）：

③
①
②

（图３－１）
图详解：
①　存放业务作为磁盘空间，为中国电信内部自有业务提供存放支撑；
②　存放业务为公众用户（关键是中国电信用户）提供丰富个人存放产品和服务；
③　云存放系统必需提供丰富业务接口，以支持开发丰富上层应用。

2.2 组网结构
根据分布式组网需求，并充足使用中国电信ＣＮ２骨干网络，要求全国云存放采取分点组网，快速连接。
整个组网结构，请参考以下图（图３－２）：

（图３－２）
2.3 功效性要求
2.3.1 基础存放服务
云存放管理平台提供基础存放资源池，将多个物理设备上存放资源虚拟为统一存放资源池，供上层使用。
2.3.2 存放管理
设备管理：经过查询域内全部设备磁盘、CPU、内存、电源、风扇、网口等信息。让用户实时了解域内设备运行信息，运行状态，从而能够操控设备；同时立即了解运行有误设备，有必需能够采取合适方法确保其正常运行。
资源管理：用户能够方便了解云存放系统各个节点服务情况，包含MDS主备、 MDS\OSN容量和性能（读IOPS、写IOPS、读流量、写流量）等信息，让用户实时了解域内资源信息，运行状态，从而能够操控这些资源；同时立即了解资源异常，有必需能够采取合适方法确保其正常运行。
2.3.3 策略管理
云存放平台提供灵活存放策略，包含文件副本数量、异地存放、加密存放、压缩存放、同时或异步存放。能够对用户不一样目录设置不一样存放策略。
2.3.4 多租户管理
云存放平台要求能支持对多租户管理，能够为每个租户设定存放空间、存放带宽、存放策略、用户数。租户能够设置管理子租户和孙租户，形成目录树结构。
2.3.5 统计报表
云存放管理平台提供统计报表接口，能够完成用户存放容量、存放数据访问量等数据统计
2.3.6 多线程支持
云存放管理平台提供接口支持多线程及断点续传上传下载文件。
2.3.7 跨数据中心布署
云存放管理平台要求支持跨数据中心布署和管理，并支持跨数据中心用户访问调度、数据迁移、数据异地存放备份等功效。
支持集中管理，云存放管理平台布署在全国中心机房，存放节点能够布署在全国各机房中，管理平台对分点机房存放设备能够统一管理调度。
2.3.8 数据写多份
云存放平台要求能够针对不一样应用或用户可靠性和性能需求，灵活设置文件存放副本数。在满足数据可靠性要求（要求支持同时坏任意两块磁盘数据不丢失）和读写性能要求前提下，尽可能提升存放空间利用效率，降低存放成本。
2.3.9 分级安全服务
² 传输安全
云存放系统采取HTTPS（Secure Hypertext Transfer Protocol）安全超文本传输协议，是以安全为目标HTTP通道，简单讲是HTTP安全版。Https:URL表明它使用了HTTP，但HTTPS存在不一样于HTTP默认端口及一个加密/身份验证层（在HTTP和TCP之间）。这个系统提供了身份验证和加密通讯方法，现在广泛用于万维网上安全敏感通讯，比如交易支付方面。云存放提供业务接口及管理接口全部基于Https，从而确保数据在传输层安全。
² 存放安全
云存放系统在数据存放时，依据条带策略，将用户数据依据侧录进行分条，依据条带策略决定每个分条大小，数据分条存放物理位置等。数据全部分条及布局信息是元数据一部分内容，由元数据节点统一管理。即使任何一个磁盘、一个云存放节点被盗或被入侵。全部无法得悉具体数据内容。入侵者无法将零碎数据恢复成完整数据内容。从而确保数据在存放过程中安全。确保数据在存放过程中不被窃取。
支持用户指定目录和文件加密存放。
² 用户和权限控制
云存放系统对每份数据全部提供丰富访问控制策略策略，对数据全部操作全部会进行权限检验。访问控制策略包含：用户和权限。
2.3.10 内容搜索
支持按关键字搜索文件名和文件内容。
2.3.11 离线下载
关机后也能够雇佣服务器下载，支持HTTP多线程下载。
2.3.12 维护管理
设备管理、系统监控、日志、节点管理、域管理、异地灾备、负载均衡等等基础存放服务
2.3.13 应用接入接口
云存放管理平台提供基于HTTP（SOAP/REST）应用接入接口，包含对用户全部资源操作接口、用户容器、用户数据操作、数据访问控制和权限接口。
云存放管理平台提供资源分配、空间使用、空间回收等管理接口。
2.3.14 资源统计接口
云存放管理平台提供基于用户存放资源使用情况相关接口，满足计费要求。具体包含：用户使用空间统计、用户上传下载数据流量统计、用户上传下载次数统计等。
2.4 扩展性要求
考虑到后期扩容需求，对系统扩展性要求十分关键。关键表现在以下多个方面：
（１） 能够实时对容量进行扩充和升级；
（２） 支持磁盘热插拔，新增资源能够立即被平台辨识，管理和分配；
（３） 最低要求能够同时更换两块坏磁盘，更换上新磁盘自动进行数据填充修复，以保持数据完整性、一致性；
（４） 新增磁盘空间要对磁盘总体负载要起到良好均衡作用；
（５） 支持新增空间主动和被动数据备份作用。
2.5 容量要求
为了提供优异读取速度，稳定数据存放性能，对云存放系统整体容量和最小容量提出要求，具体以下：
（１） 整体支持ＰＢ级存放能力，含有快速布署一个ＰＢ能力；
（２） 最小磁盘支持　1TB(7200rmp)；
（３） 整个云存放平台最大存放能力要求达成30PB以上；
2.6 性能要求
（１） 云存放平台吞吐能力要求能够伴随存放能力增加而线性增加；
（２） 要求能够经过调整云存放平台硬件配置，灵活调整吞吐能力和存放能力比率，以适应业务改变对平台能力要求；
（３） 要求支持用户端多线程并发上传下载文件，提供访问速度；
（４） 要求支持大文件分片存放在多个存放节点，各存放节点能够完成对各分片并发读写能力，提升大文件访问速度；
2.7 可靠性要求
云存放一旦投入运作，是整年不停电无休系统，需要确保高度可靠性。具体要求以下几点：
（１） 整年不下电，不停机，不闪断；
（２） 出现故障立即进行告警（声音、灯闪），告警分等级，界面可见，含有具体说明和修复手段提醒；
（３） 要求有raid保护机制，在用户数据写单份情况下，要求数据访问可靠性达成99.999%，即对单个存放节点要求：
可访问时长/整年时长 >= 99.999％
（４） 要求用户数据可靠性可灵活配置，支持设置用户数据副本数、是否异地存放，向用户提供不一样等级可靠性保护；
（５） 要求任意两块磁盘或单个存放节点损坏，不会造成用户数据丢失；
（６） 要求任意磁盘或存放节点故障，不影响云存放平台其它设备正常使用和用户访问。
2.8 安全性要求
2.3.1 硬件安全性
硬件安全性是指硬件在安装、调试、维护、更新等步骤，对人员和环境是安全，具体表现在以下几点：
（１） 产品电位接地，预防触电事故；
（２） 尺寸、规格、形状合理，以免倾斜倒伏，碰撞；
（３） 产品材质耐温，散热；
（４） 明确警示触电、有毒害、或其它危险发生可能；
2.3.2 系统安全性
系统安全性关键表现在：
（１） 强有力加密手段和管理策略，确保管理员账户安全性；
（２） 采取设置防火墙等手段，预防来自公网破坏；
（３） 对于大规模访问量，异常访问等情况进行监控；
（４） 强大系统管理能力，提供简练，高效，互动良好GUI界面进行系统配置，这些配置项应该包含（但不局限于）以下部分属性：
u 管理，监视，控制硬件资源；
u 管理网络资源（IP分配和服务）；
u 管理每个结点（node）上运行软件；
u 配置每个结点服务均衡；
u 控制整体行为；
u 设置异常或故障告警；
u 释放结点或系统资源。
2.3.3 数据安全性
数据安全性，指用户存放数据不可被非法访问、复制、修改等，具体以下：
（１） 提供加密接口，对用户数据进行加密；
（２） 基于角色数据保护策略：
角色
等级
职责
备注
安全管理员
1
系统初始安装，创建账户，分配/删除系统管理员账户
系统新建时默认管理员，对“系统管理员”进行授权
系统管理员
2
管理整个云存放系统：网段，存放群和节点；更换坏盘和硬件；
对“租户管理员”进行授权
租户管理员
3
在给定空间内进行策略配置，User ID分配等工作；
对“子租户管理员”进行授权
子租户管理员
4
在给定空间内创建用户，重构策略;
无
（３） 策略化数据管理，管理员经过可视化界面，进行策略配置，从而实现诸如：
u 创建不一样策略等级（金牌，银牌，铜牌……）；
u 配置不一样用户对应不一样服务等级，或同一用户不一样数据对象拥有不一样服务等级；
u 同时副本和异步副本数目策略配置，副本压缩，选择存放地权限
（４） 采取冗余手段和版本管理，实现数据恢复和灾难备份：
副本种类
定义
属性
备注
同时副本
数据对象一个完全拷贝
每个数据对象全部有最少一个同时副本
同时副本数量，副本间距离，网络连接情况等全部影响响应速度
异步副本
基于某种策略数据备份
“尽最大努力”进行数据恢复
系统自动进行异步副本更新，以保持数据一致
2.9 磁盘利用率
磁盘利用率指磁盘在提供数据冗余备份功效前提下，能提供实际裸存放空间占总空间百分比，该指标反应系统有效利用率，对投入产出比含相关键参考意义。参考现在主流技术指标，要求云存放提供≥65%磁盘利用率。

A：能够被系统管理空间

B：系统自行耗用空间（数据恢复，系统文件等）

要求：A/(A+B) ≥ 65%
要求支持反复数据删除技术，经过删除反复数据，深入提升存放空间利用效率。
2.10 维护和升级保障
伴随未来硬件技术和服务质量提升，考虑到产品有较长生命周期，故在此单独提出对维护和升级保障方面要求：
（１） 单个磁盘损坏或故障时需使用新磁盘替换，系统需在4小时之内恢复数据到新替换磁盘；
（２） 单个存放节点损坏或故障，需在二十四小时内处理并恢复用户访问
（３） 当存放空间使用率达成一定额度时，需对存放扩容，存放扩容工作从提出到完成上线，需在2个月之内完成。
（４） 工程实施质量、安全，效率有保障；
（５） 主动发觉运行中出现隐形问题和风险，立即提出整改方案；
（６） 完善资料，包含维护手册，版本升级指导书，方案提议书等。
2.11 环境保护功耗
考虑到低功耗，高节能，以取得最大投入产出比，需要对环境保护功耗做出一定规格要求，具体以下：
（１） 产品硬件经过专业环境保护测试认证，标准化制作工艺，材质环境保护无害，使用耗材环境保护无害；
（２） 参考主流耗电标准，要求每PB物理存放最大功率不超出30KW；
（３） 伴随产品生命周期推进和未来技术发展，对功耗进行连续改善和优化，在未来功耗数据上动态表现该趋势；
（４） 每个月给出产品功耗统计表，方便观察。