私有云解决方案-v2.1.doc

UnitedStack有云私有云解决方案UnitedStack有云 UnitedStack(北京）科技有限公司目录UnitedStack有云1私有云解决方案11。 项目需求11。1 架构需求11。2 规模需求11。3 技术需求11。3。1 云主机需求（SDC）11。3.2 存储需求(SDS）21。3.3 网络需求（SDN）22。平台架构介绍32。1 WEB门户32.1。1 用户门户32.1。2 管理门户42。2 计算构架52。3 存储构架62.4 网络构架92.4.1虚拟网卡122.4。2公网IP122.4.3路由器132。4.4安全组132.4.5负载均衡器132.4。6网络拓扑143。 解决方案143。1 物理架构介绍143。2 硬件规划153。2.1 硬件规划原则153。2。2 物理服务器规划153。3 网络规划173.3。1 UnitedStack SDN介绍173。3.2 网络设备及其它设备配置要求193。3.3 网络设备推荐203.3。4 网路拓扑结构202。3.5 逻辑拓扑结构图213.4 存储规划223。4。1 性能型存储233.4。2 容量型存储233.5 软件规划233.6 方案实施流程243.6。1 设计规划阶段243。6。2 实施阶段243.6。3 运维阶段244. 关键技术254.1 统一存储架构254.2高扩展性254。2。1计算扩展性264.2。2存储扩展性264.2.3网络扩展性264。3计费服务264.4高可用性(HA）274.4.1网络节点274.4。2计算节点274。4.3容量型存储节点284。4.4数据库284.4。5消息列队的HA284。5多区域管理284。6QoS294.6.1云主机网络294。6。2云硬盘性能294。6。3云硬盘性能294.6.4其他方面304.7优化升级304。8测试304。9安全304.10监控324。11云主机监控高性能I/O324。12SDN网络334。13用户协作355。 优势及功能特性365.1 UnitedStack有云私有云的优势365。1。1 自主控制和独享资源365。1。2服务及运维365。1。3 基于开源避免厂商锁定365.1.4经过实践检验的云计算平台375。1.5 与社区同步，永不落伍375。1。6 收益最大化376。 项目案例396。1云南天成396。2上海银行396.3森浦资讯396.4棹融股份406。5哈药集团有限公司406。6OPPO41私有云解决方案UnitedStack（北京）科技有限公司1。 项目需求1.1 架构需求云计算平台基于OpenStack Juno版开源框架和开发标准构建，Hypervisor 使用 KVM ,操作系统使用CentOS 6.5,支持虚拟机操作系统镜像运行在开源分布式存储之上（例如Ceph），涵盖在线扩容、多份冗余（三副本）、快照、备份恢复等分布式存储特性。支持虚拟机热迁移,支持物理机HA功能,支持虚拟机的快速创建以及批量创建，支持一个虚拟机多网口。API接口需要100支持OpenStack原生API，需要有官方的互操作性认证,避免厂商锁定，保证API的可用性和敏捷的二次开发。1.2 规模需求一期规模为30台物理服务器，依据云平台集群架构上的3机柜对称部署要求，规划为3台控制节点、3台网络节点、18台计算超融合节点、6台存储节点。为保证平台的稳定性及可靠性,最终的硬件规划方案,可能需要根据实际情况,进行一定的调整。比如:节点数量、内存、网卡、RAID卡、硬盘等。1。3 技术需求1.3。1 云主机需求(SDC)1. 虚拟机要求:支持开源的X86虚拟化技术，虚拟机相对于同规格物理机，性能损耗应小于8%;2. 快速部署:云主机秒级创建和批量部署、丰富镜像支持、自定义vCPU和内存配置组合、自定义云主机密码、支持Linux密钥方式登陆等；3. 异构利旧设备支持：能支持异构计算节点、支持不同型号主机的热迁移（CPU型号相同）和冷迁移（CPU型号不同)，支持利旧服务器设备接入云平台，实现新旧设备的统一融合;4. 高可用:能动态在线扩容计算节点，支持云主机IO设备的热插拔（网卡、硬盘等），具备虚拟机疏散和动态均衡能力（即在宿主机宕机的情况下，对虚拟主机执行自动迁移，在新宿主机上启动和恢复）；5. 虚机套餐方面要求支持1C、2C、4C、8C、16C等，标准CPU内存比为1：2、1:4等，套餐需要支持定制化，比如CPU内存比、套餐类型等。1.3。2 存储需求（SDS）1. 软件定义存储（Server SAN分布式存储架构,）:基于x86通用服务器硬件的分布式存储，一套存储系统能同时提供块存储、对象存储和文件共享存储（支持文件共享，能提供多个节点同时访问同一个文件系统),能提供单盘不低于6000 IOPS及170MB/s吞吐率的IO性能.2. 高可用数据保护：分布式存储能动态在线扩容存储节点,存储架构具备多副本冗余保护,并具备自修复能力（能够确保在一定数量物理硬盘损坏的情况下，故障硬盘自动被隔离,数据的冗余保护级别得到恢复）;实现如克隆、快照等本地数据保护功能，并提供秒级备份恢复功能。1.3.3 网络需求（SDN）1. 虚拟网络拓扑:具备可视化虚拟网络操作能力(路由器/交换机相关操作），自动绘制基础网络和私有网络拓扑图。2. 虚拟主机网卡须实现如下功能：在线创建虚拟网卡、修改网卡所属安全组、自定义网卡 IP 地址、自定义网卡所属子网、在线绑定网卡到虚拟主机、在线网卡卸载、修改网卡名称、删除网卡等。3. 虚拟路由需实现如下功能:创建及删除路由器、关闭及开启网关、绑定及解除公网 IP、自定义路由器关联子网、自定义路由器端口转发、自定义 VPN 服务等。2.平台架构介绍2。1 WEB门户2.1。1 用户门户用户门户用于云平台最终用户。最终用户主要用来申请和使用云平台的各类资源。在用户门户下，系统提供如下功能： 虚机管理主要提供对虚机的管理 虚拟存储管理对虚机的附加虚拟存储的管理 备份管理对虚机和存储备份的管理功能 虚拟网络管理对虚拟网络的管理功能 监控报警管理对虚机等资源的监控报警的管理 消费管理租户的消费管理2.1.2 管理门户UnitedStack管理门户是采用B/S结构，用于系统管理员,管理员拥有系统的所有权限，管理员能够进行系统的所有操作。提供的功能： 认证管理用户管理：管理平台中所有的用户,包括修改用户配额、激活用户、账户充值、启用/禁用用户等。项目管理：管理平台所有项目，包括删除项目、删除项目资源功能。 配置管理对平台中的各种配置进行设置，包括：系统配置：系统中各种功能开关，以及参数调整。配置定义：修改用户控制台、运营平台、消息服务、注册页面的配置定义，包括消息信息、消息名称等各种关键参数的调整。产品定价:修改云资源计费中的定价 资源管理监控云平台中计算资源、网络资源和存储资源的使用情况,以及平台节点状态计算资源:查看VCPU和内存的使用情况，宿主机的使用情况和云主机的相关信息。存储资源：查看云硬盘总数和容量、云硬盘信息、容量型和性能型云硬盘快照信息网络资源:查看网络资源的使用情况，包括:各种代理的运转情况、公网IP、私有网络、路由器、子网、虚拟网卡等信息。 财务管理对于计费信息进行统一管理，包括消费与充值管理充值管理：对账户进行充值，以及产看充值记录和导出充值记录功能消费管理:产看平台各种资源的消费信息2。2 计算构架UnitedStack私有云底层采用KVM虚拟化技术，由于计算节点采用超融合的构架,所以既提供计算能力,也提供存储资源。UnitedStack云平台的计算节点均采用HA架构，最大保障虚机业务的连续性。同时，UnitedStack云平台计算节点的负载平衡，虚机创建会自动根绝服务器的负载进行分配，保障不会出现负载的热点服务器，同时平台也会根据计算服务器的负载，自动的将虚机进行迁移，实现负载的再平衡。2.3 存储构架为了满足底层对于数据可靠性、高性能以及可扩展的需要,系统采用统一的CEPH分布式存储系统。CEPH分布式统一存储系统,可以同时提供用户所需的块存储、对象存储、文件存储，一套存储系统即可满足所有存储使用场景，而无需购买多套昂贵的商业存储。CEPH分布式统一存储系统,是由CEPH社区统一维护的开源项目，可避免技术黑盒、厂商锁定等非开源问题，实现自主可控。计算节点自带SSD形成高性能的存储池，构建存储计算超融合节点.使用单独的服务器挂载SATA磁盘，构建大容量的存储池。池的划分使用Ceph内建的pool的概念实现。在产品上,新建云磁盘时可选择创建容量型或性能型，选择不同类型云磁盘会对应不同pool进行资源的创建和使用，从物理层面上做了安全的隔离和性能保护。经过大量验证,采用3副本+强一致性验证的方式,保障数据安全性的同时，还可以保障极高性能。在进行QoS(配额限制)的情况下，单块性能型云硬盘可以提供6000的IOPS,以及170MB/S的吞吐量，满足性能敏感型的业务系统需求.CEPH分布式统一存储的架构如下图所示：分布式统一存储架构示意图（请放大至200查看)1) 部署需求： SATA硬盘无容量类型要求，SSD采用Intel DC 3500 480G SSD硬盘 控制节点需要2块SATA做RAID1，6块SSD做RAID1+0 网络节点只需两块SATA做RAID1 计算节点需要2块SATA做RAID1,3块SSD（不需要RAID支持) 为了保障整体性能，CEPH存储的硬盘必须采用SSD硬盘 CEPH存储采用10G存储网络 为了保障不丢失数据，部署时节点数和机柜数必须是3的整数倍2) 数据分布 所有节点的系统都安装在本机的RAID1 管理后台安装在控制节点的RAID1+0 虚机存储在CEPH分布式存储 SDN网络功能只使用网络节点的RAID13) CEPH的优势 3副本全部真实写入完成才返回写入成功 机柜感知技术,保证3副本会分别写入不同的机柜 硬盘、物理机故障后，CEPH系统会自动迁移数据，保障数据数据始终保持3副本 Nova、Glance、Cinder统一采用CEPH,避免了3者间的数据传输，实现了虚拟机秒级创建 分布式存储轻松实现整体平台存储容量和吞吐量的扩展4) 数据可靠性 控制节点：2块SAS或SATA硬盘RAID1和有6块SSD做RAID1+0，单块硬盘故障后不影响系统运行 网络节点：2块SAS或SATA硬盘RAID1，单块硬盘故障后不影响系统运行 计算节点：2块SAS或SATA硬盘RAID1，单块硬盘故障后不影响系统运行；标准配置至少3块SSD硬盘用于CEPH分布式存储，UStack私有云CEPH分布式存储采用3副本机制+机柜感知技术，如果单块硬盘或单机柜多块硬盘损坏不影响整个分布式存储系统的运行。5) 性能参数 忽略QoS，单云盘的最高IOPS可达20，000+,吞吐率可达 500+MB/S Burst特性允许云盘短时间内突破QoS，更符合实际应用的需要资源的性能隔离，是为了从根本上避免云平台租户间的资源争抢.基于QoS的限制，我们以1TB性能型云硬盘为例,性能的SLA(服务水平)如下:I/O类型块大小队列深度IOPS95的响应时间吞吐率随机读4KB86000 2 ms-随机读8KB86000 2 ms随机读16KB86000 2 ms随机写4KB326000 12 ms随机写8KB326000 12 ms-随机写16KB326000 12 ms-随机写32KB326000 12 ms顺序读1MB1170 12 ms170 MB/S顺序写1MB1170 20 ms170 /S2。4 网络构架UnitedStack私有云网络设计充分考虑了网络的扩展性、可用性和网络性能,在满足用户业务需求的同时，有效降低了用户的网络投入。云计算平台网络采用了SDN（软件定义网络)网络技术，用户的虚机网络不再是一个扁平化、无法自定义的固定的网络结构，而是一个可以提供丰富的网络功能并能够灵活配置的网络.基于Neutron、OVS、VXLAN、NameSpace等技术，该项目中将所有物理世界的网络设备都被设计成了可操作的网络对象。只需要在云平台管理面板,就可以根据业务需要灵活快速地构建复杂的网络环境，使网络管理更加智能.云计算平台实现了常见的网络设备的功能,将所有功能抽象为平台中的组件，用户只需简单操作即可完成对复杂网络环境的构建。2.4.1 虚拟网卡 对应物理世界的真实网卡，实现虚机的数据传输. 支持绑定到虚机或从虚机解绑 支持自动获取绑定内网IP地址、网管等信息 支持可以加入私有网络并制定内网IP 虚机可以绑定多个虚拟网卡 支持直接绑定公网IP2.4.2 公网IP 对应用户拥有的公网IP资源，通过公网IP绑定方式，实现外网对内部云资源的访问。 可绑定到虚拟网卡、路由器、负载均衡器 支持带宽流量限制 支持最高8。5G的带宽流量2.4.3 路由器 对应物理世界的路由器，提供多种网络功能,可绑定公网IP. 子网路由：可关联多个子网，实现关联的子网间相互通信 端口转发：实现对关联子网中的虚机的端口转发，用户可自定义转发规则 VPN服务：提供基于PPTP的VPN服务,用户可直接拨入连接路由器管理子网，实现安全访问2.4.4 安全组实现虚机的防火墙功能. 支持上下行双方向规则 支持CIDR源IP规则 提供常用规则选项 端口范围定义2.4.5 负载均衡器实现高性能的负载均衡功能，最大支持40000并发连接. 可关联基础网络和私有网络 支持轮询、最小连接数等多种负载方式 支持后端资源健康检查 自动故障节点隔离 支持7层会话保持2.4.6 网络拓扑支持网络拓扑可视化操作,用户可以画出自己的网络结构. 直观的了解网络 所见即所得的快速网络操作3. 解决方案3.1 物理架构介绍物理架构图（请放大至200查看）方案中共涉及4种角色服务器,分别是Hyper节点（控制节点)、Network节点（网络节点)、Compute节点（计算超融合节点)、Storage节点（存储节点)。4种角色服务器结合必要的网络设备、存储资源共同构成云平台。l Hyper节点：对整个云平台进行控制与资源调度、运算。包括对CPU、内存、网络、磁盘等资源的控制和管理。需要强劲的CPU处理能力，及较高的磁盘IO能力。因此，控制节点会配置6块SSD。l Network节点:提供云平台所需的网络资源，包括基础网络、私有网络、虚拟路由器、负载均衡，以及其他网络功能。l Compute节点：计算/性能型存储融合节点。用于运行客户创建的云主机（虚拟机)；同时，提供高性能云硬盘的存储空间。l Storage节点:提供容量型存储资源，具备很高的性价比.主要用于对IOPS要求不敏感，对存储空间需求突出的业务场景.3。2 硬件规划硬件方面，您可以根据自身情况进行采购，我们对于服务器、交换机的品牌没有任何要求，只要硬件配置、芯片参数能够满足要求即可.对于一些芯片及配件，我们会有品牌的指定，这是出于稳定性、兼容性的考虑。我们对市面上的主流硬件设备都进行了对比测试，我们所做的要求，来源于实际测试分析,目的是确保您的UnitedStack有云私有云能够达到与我们的公有云相同的品质。3。2。1 硬件规划原则1. UnitedStack有云私有云使用基于Ceph 的分布式统一存储系统，因此,不需要采购传统的商业存储2. 由于计算存储融合，单台机器需要较为强劲的CPU3. 每台机器需要1块2端口千兆网卡和1块2端口万兆网卡4. 接入交换机部分，每个机柜需要1台带4口40G 全线速的48口全万兆L2 交换机和1个带2口10G 全线速的48口全千兆L2交换机（单机柜机器数量小于10，且不考虑后续扩容，否则可用24口)5. 核心交换机需支持堆叠技术（高可用）,如华为CSS，思科vPC，华三IRF2,Force10 VLT 等，另外核心交换机需要全40G L3 交换机6. 如果要实现机柜级冗余(容许单机柜掉电或TOR失效）,我们需要服务器在每三个机柜中对称部署7. 对于交换机、服务器的品牌并不限制,只要能达到我们提出的技术指标即可，没提到的技术指标如电源功率,机箱规格，万兆连接方式均不作限制。3.2。2 物理服务器规划我们以当前所掌握的硬件资源情况为前提，进行服务器规划.结合客户对性能型及容量型存储的实际需求，后期可能需要进行一定的调整.目标是确保此规划既可满足用户对存储的需求,又可以满足业务服务器对计算性能、计算资源的需求。且架构上充分考虑扩展能力，在任何节点负载达到阈值时，都可以实现横向无缝扩展。根据实践经验，内存复用比默认值设置为1:2。CPU每个物理核心的资源复用比默认为1:16，当然也可以根据实际负载进行修改。高复用比配置,可以让集群创建出更多的云主机，提升资源利用率.在负载较轻时，非常适合。若业务量持续提升，CPU压力较高(50%以上)，可以将此参数调低，降低可创建的云主机数量,从而提供更强的计算能力。通常情况下，推荐的默认配置足以支撑业务使用场景。依据客户对云主机的实际需求，套餐方面可以支持1C、2C、4C、8C、16C等，CPU内存比为1:2，1：4等。每台设备开启HT后为40个线程，扣除系统及Ceph存储的开销，按照4C(4 vCPU + 8GB Mem）的标准套餐，且每台云主机都是80%以上高负荷的状态时，每台物理机约可以承载8台云主机；若按照40的实际负载计算（实际生产环境中往往低于这个值）,每台物理机可以承载约16台4C标准配置的云主机.存储容量规划方面,18台计算存储超融合节点，提供的性能性存储空间约为:0。48TB3*18/3 = 8.64 TB；容量型存储节点提供的容量型存储空间约为:6TB106/3 = 120 TB。此方案，即可满足云主机系统以及对性能敏感的业务的使用需求,又可以满足容量型的数据存储需求。详细的硬件配置规划推荐如下：设备配置说明品牌数量(台)Hyper节点物理服务器架构:1/2U；双电源；8/12盘位（SSD盘直接用托盘)；CPU：E52660 v3 （2。6GHz/10C/25M Cache) 2；内存：96 GB（16*6）；系统盘： SAS/SATA 硬盘 2；硬盘：Intel DC S3510 480GB SSD硬盘 * 6；千兆网卡：Intel芯片千兆网卡(两端口）1；远程管理卡：支持IPMP，基于IP的远程管理卡；-3Network节点物理服务器架构:1/2U;双电源；8/12盘位；CPU：E5-2660 v3 (2.6GHz/10C/25M Cache） 2；内存：96 GB（166）；系统盘： SAS/SATA 硬盘 2;万兆网卡：Intel 82599ES芯片万兆网卡（两端口） 1;千兆网卡：Intel芯片千兆网卡（两端口）1；远程管理卡：支持IPMP,基于IP的远程管理卡；3Compute超融合节点物理服务器架构：1/2U；双电源；8/12盘位（SSD盘直接用托盘)；CPU：E5-2660 v3 （2。6GHz/10C/25M Cache）* 2；内存：96 GB（166）；系统盘： SAS/SATA 硬盘 * 2；硬盘：Intel DC S3510 480GB SSD硬盘 3;RAID卡:支持RAID1和RAID10,支持“直穿”功能（或Non-RAID模式)万兆网卡：Intel 82599ES芯片万兆网卡（两端口）* 1；千兆网卡: Intel芯片千兆网卡（两端口)1；远程管理卡：支持IPMP，基于IP的远程管理卡；-12Storage节点物理服务器架构:2U;双电源;8/12盘位；CPU:E52660 v3 （2。6GHz/10C/25M Cache）* 2；内存:96 GB(16*6）；系统盘: SAS/SATA 硬盘 2；硬盘：SATA硬盘/6TB/3.5寸/7200PRM企业级/ 10;RAID卡：支持RAID1和RAID10，支持“直穿功能（或Non-RAID模式）万兆网卡：Intel 82599ES芯片万兆网卡（两端口）* 1；千兆网卡: Intel芯片千兆网卡（两端口）1；远程管理卡:支持IPMP,基于IP的远程管理卡；-6合计-24台硬件资源的配置可根据实际的业务负载及需求进行调整,若有任何疑问，可随时进行沟通。3.3 网络规划3.3.1 UnitedStack SDN介绍与传统解决方案不同， UnitedStack有云的SDN（软件定义网络）网络使用户的虚机的网络不再是一个扁平化、无法自定义的固定的网络结构,而是一个可以提供丰富的网络功能并能够灵活配置的网络。基于Neutron、OVS、VXLAN、NameSpace等技术,SDN网络将所有物理世界的网络设备都被设计成了可操作的网络对象。只需要在管理面板点击配置，就可以根据业务需要灵活快速地构建复杂的网络环境，使网络管理更加智能，仅仅使用传统交换机等网络设备，而无需网络设备支持SDN，支撑了更灵活便捷的网络扩展。UnitedStack有云SDN提供所见即所得的VDC网络环境。VDC网络是一个独立的虚拟私有数据中心，其内部的网络划分，如网络子网及IP等都与外部网络及其他VDC相互独立，网络划分只需按照用户需要进行,几乎无需考虑其他因素。VDC示意图如下：UnitedStack有云SDN的具体架构图示意图如下:从上图可以看到，UnitedStack有云SDN的架构有几个重要特点：1） 集中控制UnitedStack有云SDN将网络设备上的控制权分离出来,由集中的控制器管理,无须依赖底层网络设备（路由器、交换机、防火墙），屏蔽了来自底层网络设备的差异。而控制权是完全开放的，可以自定义任何想实现的网络路由和传输规则策略，从而更加灵活和智能。2) 控制转发分离UnitedStack有云SDN控制层通过向转发层下发流表来指导最终流量的转发，转发层作为与控制层松耦合的底层转发组件，只需根据自身流表转发流量即可,无需关心控制层是如何计算转发表.同时，在使用中无需对网络中每个网络设备反复进行配置，网络中的设备本身就是自动化连通的,只需要在使用时定义好简单的网络规则即可.在需要更高灵活性和高度自动化网络控制时，可以通过界面操作或者编程的方式对SDN网络其进行配置，以实现更便捷的数据交换。3) 开放的可编程接口UnitedStack有云SDN作为一种新型网络创新架构，基于Neutron实现.借助核心技术OpenFlow将网络设备控制面与数据面分离开来，从而实现了网络流量的灵活控制，为核心网络及应用的创新提供了良好的平台。在此同时，UnitedStack有云的SDN提供了符合OpenStack社区开源标准的API,用户可以开发应用程序灵活的控制自己的SDN网络，极大的方便了用户定制自己需要的网络及其策略。3.3。2 网络设备及其它设备配置要求l 最少部署于3个机柜,每个机柜最少部署4台服务器l 核心交换机,需要2台带4口40G全线速的48口全万兆L3交换机，采用堆叠方式(或其他高可用方式)l 接入交换机部分，每个机柜需1个带2口10G全线速的48口全千兆L2交换机l 为实现机柜级冗余(容许单机柜掉电或TOR失效）,需要服务器在每3个机柜拓扑中对称部署3。3。3 网络设备推荐设备配置说明数量（台）备注核心交换机32口全40Gb端口 L3交换机2已考虑后续扩展性万兆交换机48口全万兆 L3 交换机;4个 40G全线速端口机柜数 * 3已考虑后续扩展性千兆交换机48口全千兆 L2 交换机;2个 10G 上行端口机柜数 1已考虑后续扩展性对于硬件规划方面,如有任何疑问,可以进行具体沟通。3.3.4 网路拓扑结构l XE 为万兆网卡,GE 为千兆网卡。l 拓扑中两个千兆的Switch在物理上可以是1个千兆交换机用VLAN划分，同理万兆交换机也是如此.l 图中3种角色：HyperNodes、ComputeNodes、NetworkNodes的硬件需求接近。细微区别为Network Nodes不需要SSD磁盘,HyperNodes需要6块SSD；Hyper nodes不需要万兆网卡。2。3.5 逻辑拓扑结构图具体规划如下：虚拟机通信均由虚拟化网络SDN组件提供，NAT能力由物理拓扑中的网络节点提供.3。4 存储规划UnitedStack有云存储使用基于Ceph的分布式存储系统提供存储服务.分布式存储系统直接部署在X86服务器上，因此省去购买价格昂贵的商业存储，其成本远低于传统的商业存储方案.Ceph分布式存储系统的核心优势是,一套存储可以同时提供块存储、对象存储和文件存储。一套存储系统就可以满足所有类型的存储需求。在部署上，计算节点自带SSD形成高性能的存储池，构建计算存储超融合节点；使用单独的服务器挂载SATA磁盘，构建大容量的存储池。池的划分使用Ceph内建的pool概念实现,支持在线横向扩展。架构图如下：在产品上，新建云磁盘时可选择创建容量型或性能性，选择不同类型云磁盘会对应不同pool进行资源的创建和使用,从物理层面上做了安全的隔离和性能保护。性能型存储池及容量型存储池的存储空间与最终的实际硬件规划直接相关，分布式存储系统采用三副本机制，因此最终的总可用容量为裸容量的1/3。扩展方面，两种类型的存储池都支持在线横向扩展，这是分布式架构的先天优势。三副本机制及跨机柜冗余机制要求扩展时,物理服务器需要以3的倍数作为1个基本的扩展单位，对称部署在3个机柜中。3。4.1 性能型存储性能型存储,即性能比较高的存储。用来承载对IOPS和吞吐量要求较高的业务。推荐的硬件配置：每台计算节点配置3块480GB SSD硬盘，考虑到使用3副本机制， 15个计算节点可以提供的性能型存储容量： 0。48TB * 3(块)* 15(节点)/ 3（副本数） = 8.64 TB3.4.2 容量型存储容量型存储，即数据量较大，性能要求不是非常高的场景.执法仪视频采集、超级情报系统可以使用容量型存储.容量型存储需要根据自己对于存储的需要规划.根据OpenStack推荐配置,每台存储节点插10块6T容量的硬盘，考虑到3副本机制， 6台存储节点可以提供的总容量：6TB * 10(块） * 6(台) / 3(副本数) = 120 TB3.5 软件规划软件均采用经公有云验证的稳定版本，确保私有云平台稳定性及可靠性。l 操作系统当前操作系统OS采用定制的CentOS 6。5.根据UOS功能及性能需求对CentOS 6.5进行定制：定制linux-kernel为3.1。2，定制seabios为1。7.5,定制libvirt为1。2。10等.l OpenStackOpenStack版本目前为Juno版本，线上版本会随着社区的版本升级每68个月升级一次.l Ceph当前Ceph版本为0。80.75（会随着产品研发，不断迭代升级）l KVMQEMUKVM版本为2。1.2(会随着产品研发，不断迭代升级）3。6 方案实施流程整体项目我们将分为3个阶段，设计规划阶段、实施阶段、托管运维阶段。3.6。1 设计规划阶段我们将详细了解用户需求，掌握用户现有资源及环境，为用户制定符合其实际情况的私有云方案。3。6.2 实施阶段双方按照既定的方案及流程，完成各自负责的工作，直至私有云上线运行。3。6.3 运维阶段由UnitedStack有云的专业运维服务团队进行云平台的运维工作。有云或经有云认证的合作伙伴已可为客户提供企业级本地化运维支持服务。条件允许的情况下，我们建议您选择托管运维(代维），这可以用更低的成本，获得实时的监控及运维。远程托管运维模式，提供724365的实时监控及运维服务。将云平台的基础运维工作交由厂商直接负责，您的运维团队就可以专注于响应业务需求,进行全局的资源管理、分配等工作。4. 关键技术4.1 统一存储架构改变传统的OpenStack存储架构，将Ceph统一作为Nova/Glance/Cinder的存储后端，同时后续的产品功能包括文件共享、对象存储、数据库服务等也都将使用CEPH作为存储后端。 充分利用了存储池中的存储资源，实现灵活扩展 单一存储池，简化了存储管理的复杂度 避免了三者间的数据传输，实现了虚拟机秒级创建，加快了虚机的部署速度。4.2 高扩展性UnitedStack云平台设计充分考虑了平台的扩展性，保证后续平台能够根据业务的需求灵活伸缩.4.2.1 计算扩展性当计算资源不足时，可以通过增加计算节点数量即可实现对计算资源的扩展，由于Unitedstack使用了存储计算超融合的存储构架，增加了计算节点的数量也就扩充了整体的性能型存储容量。4.2.2 存储扩展性通过存储计算超融合的存储构架，只需要增加计算节点就可以实现对整体存储容量的扩容。分布式存储的架构，可以在扩展容量的同时，扩展存储整体的IO吞吐量。4.2.3 网络扩展性通过良好的网络规划,平台可以灵活的实现对于网络的扩容，同时保证平台整体性能的扩展。4.3 计费服务UnitedStack针对云平台在Ceilometer的基础上开发了计费服务，平台中所有占用实际资源的对象均需要计费，通过计费信息我们可以直观的了解到租户的资源使用情况,避免上线云平台后，过度申请资源导致的的资源浪费问题。4.4 高可用性（HA）UnitedStack有云的私有云平台中所有计算和网络节点均采用HA模式，支持跨机柜容灾。同时, UnitedStack有云托管运维中心会持续监控服务器硬件（基于IPMI）和系统状态,当发现异常时,快速定位并解决.4.4.1 网络节点UnitedStack有云为计算节点专门开发了故障检测程序，来判断硬件和系统异常,当发生故障时,该节点会自动被自动屏蔽，数据流量自动引流到其他网络节点。4.4.2 计算节点故障检测程序检测到计算节点发生故障时,会自动将节点上的虚机和配置迁移到其他虚机。 4.4.3 容量型存储节点UnitedStack有云的私有云采用CEPH分布式多副本存储,当有单一节点故障时，不会影响平台稳定性。UnitedStack有云运维团队会第一时间通过监控了解服务器故障并处理.API的HA：使用七层负载均衡做健康检查策略，保障每个HTTP请求均由健康的API节点提供服务，七层负载均衡使用VRRP保持服务IP的故障自动化迁移，保障API的HA。4.4.4 数据库DB的HA使用MySQL Replication保障,通过DNS切换避免主库故障。4.4.5 消息列队的HA消息列队的HA使用了RabbitMQ内建的Cluster机制：构建一个集群: 为了构建一个高可用的集群, 尤其是减小和避免网络分区带来的影响， 集群至少要有三个节点。队列镜像：默认情况下, 集群中所有的节点共享队列信息， 但是不会同步队列中的消息. 为了保证消息的可用性及服务器的对等行, 我们需要配置队列镜像来同步队列中的消息.对OpenStack Message客户端改造,使得所有消息均支持持久化，保障消息数据不会丢失。4.5 多区域管理UnitedStack有云提供多区域管理功能，可以将多套UnitedStack有云私有云平台统一使用一套管理平台，与UnitedStack有云私有云的多区域管理模式相同。4.6 QoS对于资源,提供网络和存储资源的QoS，保障性能稳定并不被随机抢占：4.6.1 云主机网络云主机网络类型带宽（Mbps)基础网络1000同一虚拟网络子网600不同虚拟网络子网通过路由器互联5004.6.2 云硬盘性能云硬盘容量IOPS吞吐率10 100 GB150080 MB/s101 999 GB每10GB 增加50 IOPS每 10GB 增加 1MB/S 吞吐率1000 GB6000170 MB/s注：由于使用分布式存储，大容量云硬盘的性能跟容量大小成线性关系. 若对 IO 性能有强烈需求，可考虑扩容云硬盘.4.6.3 云硬盘性能以1TB性能性云硬盘为例,详细参数见下表:I/O类型块大小队列深度IOPS95%的响应时间吞吐率随机读4KB86000 2 ms随机读8KB86000 2 ms随机读16KB86000 2 ms-随机写4KB326000 12 ms-随机写8KB326000 12 ms随机写16KB326000 12 ms-随机写32KB326000 12 ms-顺序读1MB1170 12 ms170 MB/S顺序写1MB1170 20 ms170 MB/S4.6.4 其他方面对于User、Tenant维度的QoS，UnitedStack有云私有云采用quota限制,对每个用户可创建的最大资源数进行限制，保障用户对平台资源的占用比例控制。4.7 优化升级UnitedStack有云的研发工程师，在不断针对CEPH存储、SDN网络、OpenStack组件、平台面板进行优化，并针对市场和用户普遍需求，开发出新的特性。这些优化和特性,经过公司内部测试和公有云平台严格测试后，会逐步更新用户的私有云平台。UnitedStack有云升级过程