1、 数据中心的服务器虚拟化解决方案模板 2025/3/29 文档信息与变更记录 文档名称 数据中心的服务器虚拟化解决方案模板 作者 高园,周晶 邮箱 gaoy@, jingz@ 版本 V1.0 变更记录 2013.12.16 V1.0 初稿 2014.03.28 V1.1 增加了项目背景、现状分析、规划设计、优势总结及软硬件配置清单等部分的内容 2014.09.04 V1.2 增加了“培训服务”相关内容 2015.02.27 V6.0 基于vSphere 6.0全面更新 文档描述 本文档是数据中心的服务器虚拟化解决
2、方案模板,对应于VMware的vSphere 6.0。 目 录 1 概述 7 1.1 项目背景 7 1.2 现状分析 7 2 VMware解决方案规划设计 11 2.1 计算资源规划 11 2.2 存储资源规划 15 2.3 网络资源规划 21 2.4 可用性规划 24 2.5 管理与监控规划 26 3 vSphere体系架构 30 3.1 基于vSphere的虚拟数据中心基础架构 30 3.2 ESXi体系结构 31 3.2.1 ESXi架构和组件 31 3.2.2 VMkernel 32 3.2.3
3、虚拟机监视器VMM 33 3.2.4 虚拟机 33 3.3 资源分配方式 36 3.3.1 主机、集群、资源池 36 3.3.2 份额、限制、预留 37 4 计算功能特性 39 4.1 虚拟机计算性能 39 4.1.1 CPU虚拟化 39 4.1.2 内存虚拟化 42 4.2 虚拟机性能 46 4.3 关键应用虚拟化 46 4.4 虚拟机迁移 48 4.4.1 vMotion简介 48 4.4.2 实现原理与工作机制 51 4.5 向大数据扩展 52 4.6 CPU和内存的热添加和磁盘的热扩展 53 4.6.1 功能描述 53 4.6.2 工作原理 54 4
4、7 分布式资源调度DRS 54 4.7.1 功能描述 54 4.7.2 工作原理 55 4.8 分布式电源管理DPM 56 4.8.1 功能描述 56 4.8.2 工作原理 56 4.9 NVIDIA GRID vGPU 57 5 网络和安全功能特性 59 5.1 vSphere标准交换机(VSS) 60 5.1.1 VSS概念 60 5.1.2 VSS架构和网络特性 60 5.2 vSphere 分布式交换机(VDS) 61 5.2.1 VDS概念 61 5.2.2 VDS架构 61 5.2.3 功能摘要 62 5.2.4 详细技术信息 64 5.3 网络
5、I/O 控制 (NIOC) 64 5.3.1 功能摘要 65 5.3.2 详细技术信息 66 5.4 无代理终端安全防护 67 5.4.1 概览 67 5.4.2 主要优势 68 5.4.3 vShield Endpoint工作原理 70 5.4.4 vShield Endpoint主要功能特性 70 6 存储功能特性 73 6.1 虚拟化环境的存储 73 6.2 vSphere存储体系结构 75 6.3 Storage Distributed Resources Scheduler (DRS) 76 6.3.1 功能概览 76 6.3.2 详细技术信息 76 6.
6、4 基于存储策略的管理 77 6.5 Storage vMotion 79 6.5.1 功能概览 79 6.5.2 详细技术信息 81 6.6 存储 I/O 控制 82 6.6.1 功能概览 82 6.6.2 详细技术信息 83 6.7 Virtual Machine File System (VMFS) 84 6.7.1 功能概览 84 6.7.2 详细技术信息 86 6.8 Storage Thin Provisioning 86 6.8.1 功能概览 86 6.8.2 详细技术信息 87 6.9 存储 API 88 6.10 Virtual Volumes 9
7、0 6.11 vSphere Flash Read Cache 92 6.11.1 VMware FRC介绍 92 6.11.2 VMware特性与优势 92 6.11.3 vFRC详细技术信息 92 7 可用性功能 96 7.1 VMware High Availability 96 7.1.1 概览 96 7.1.2 HA详细技术信息 98 7.2 VMware Fault Tolerance 100 7.2.1 概览 101 7.2.2 FT详细技术信息 102 7.3 VMware Data Protection 103 7.3.1 功能特性 104 7.3
8、2 VDP详细技术信息 105 7.4 vStorage APIs for Data Protection 107 7.4.1 概览 107 7.4.2 VADP的主要优势 107 7.5 vSphere Replication 108 7.5.1 概览 108 7.5.2 VR详细技术信息 109 8 管理和自动化 116 8.1 集中式控制和主动式管理 116 8.1.1 vCenter Server体系结构和组件 116 8.1.2 功能概览 119 8.2 自动化管理与调配 120 8.2.1 内容库 120 8.2.2 Auto Deploy 122 8
9、2.3 主机配置文件 123 8.2.4 Update Manager 123 9 方案优势总结 125 10 配置清单及说明 127 10.1 硬件配置需求 127 10.2 虚拟化软件配置需求 127 11 专业服务 128 11.1 VMware专业服务介绍 128 11.2 专业咨询服务内容 128 11.2.1 VMware Accelerate咨询服务 128 11.2.2 技术咨询服务 129 11.2.3 技术客户经理(TAM)服务 129 11.3 专业服务实施流程 130 11.3.1 评估 131 11.3.2 规划与设计 131 11.3
10、3 实施 132 11.3.4 运维 132 12 支持服务概述 133 12.1 VMware支持的角色和职责 133 12.2 全球技术支持服务 133 12.3 自助服务支持 134 12.3.1 社会支持 134 12.3.2 其他资源 135 13 培训服务 136 13.1 培训课程和认证体系 136 13.2 VMware精选课程介绍 138 14 缩略语解释 2 1 概述 1.1 项目背景 不断增长的业务对IT部门的要求越来越高,所以数据中心需要更为快速的提供所需要的能力。如果不断购买新的服务器,又会增加采购成本和运作成本,而且还会带来更多
11、供电和冷却的开支,同时,目前的服务器还没有得到充分的利用。通常情况下,企业的服务器工作负载只利用了5%,这导致了大量的硬件、空间以及电力的浪费。同时由于应用程序兼容性的问题,IT人员只能通过在不同场所的不同服务器中分别运行应用的方式,将应用程序隔离起来,而这又会导致服务器数量的增长。购置新的服务器是一项漫长的过程,这使得IT部门更加难以应对业务快速成长和不断变动的需求。例如,对于新业务系统平台的供应和拆除需求,往往就需要消耗大量宝贵的资源和时间。 从IT管理员的角度来看,推动虚拟化技术发展的主要动力是基础架构设施的迅猛增长,而硬件部署模式又进一步加剧了基础架构的复杂程度。应用越来越多,也越来
12、越复杂,因此就变得更加难以管理、更新和维护。用户希望能采用各种桌面设备、笔记本电脑、家用PC和移动设备来进行工作。服务器价格急剧下降,服务器散乱现象仍然存在。随着图形和多媒体的发展,数据也变得越来越丰富,文件的平均大小也在不断上升,要求不间断的在线存储。纵观整个数据中心,技术不断增多,分布也越来越广,另外,业界和法律法规也在不断要求企业加强IT管理控制。 在这种环境下,虚拟化技术就体现了整合的优势。应用在IT的不同层面,从逻辑层将物理层抽象出来意味着逻辑组件会得到更一致的管理。 从安全监督来看,虚拟化技术提升了X86服务器的可靠性、可用性,从基础架构层面获得了原先单机系统无法想象的功能,大
13、大提高了业务连续性的级别,降低了故障率、减少了系统宕机的时间。 从服务器的角度来看,虚拟化技术让每台设备都能托管多套操作系统,最大化了利用率,降低了服务器数量。 从存储的角度来看,虚拟化技术可网络化、整合磁盘设备,并让多个服务器共享磁盘设备,从而提高了利用率。 从应用的角度来看,虚拟化技术将应用计算从用户设备中分离出来,并在数据中心对应用及相关数据进行整合,通过集中化技术改善了管理和系统的安全性。 XXX客户作为国内大型企业,信息化建设不断发展。目前信息化网络以信息中心为运营维护单位,覆盖出单、收付等多套业务系统,服务器资源庞大。出于经济效益和管理安全性考虑,针对基础架构的虚拟化整合已
14、势在必行。 1.2 现状分析 XXX客户数据中心目前以X86服务器为主,运行着人力资源、市场计费、生产经营、资产管理、网络管理、邮件、安全等业务系统。具体的服务器配置如下所示,该表涵盖了主要业务系统的服务器配置。 系统 型号 配置 视频服务器 PowerEdge 2950 Xeon E5410 *2/4GB 下载服务器 PowerEdge 2950 Xeon E5110 *2/2GB 生产经营管理系统 PowerEdge 2950 Xeon E5410 *2/4GB 固定资产管理系统 PowerEdge 2950 Xeon E5410 *2/4GB 移动
15、站业务管理系统 PowerEdge 2950 Xeon E5410 *2/2GB 网管系统 PowerEdge 2950 Xeon E5410 *2/2GB 财务系统 PowerEdge 2950 Xeon E5410 *2/2GB 防病毒系统 PowerEdge 2950 Xeon E5410 *2/2GB 邮件系统 PowerEdge 2950 Xeon E5410 *2/2GB 安全评估系统 PowerEdge 2850 Xeon 2.8G *2/2GB 人力资源系统 PowerEdge 2850 Xeon 2.8G *2/2GB 任务管理系统
16、 PowerEdge 2650 Xeon 2.8G *2/2GB 库存管理系统 PowerEdge 1750 Xeon 2.4G *2/1GB 身份认证系统 PowerEdge 750 P4 2.8G/1GB 表:XXX客户数据中心服务器 上述服务器中,除了视频服务器和下载服务器外,其它服务器的负载都非常小,远没有达到充分利用的状态。虽然视频服务器和下载服务器的负载相对较高,但是也没有充分发挥硬件平台的资源效率。 另外还有一些运行边缘业务的服务器,由于设备老旧以及所在位置等原因,本次尚未统计在内。 在存储阵列方面,XXX客户数据中心的主要存储设备及其相应系统的容量与使用率
17、情况如下所示。 u IBM DS4700阵列上,网管系统可使用的总容量为1400G,现已使用了800G,使用率为57%;邮件系统可使用的总容量为1950G,现统计分析系统已使用了900G,使用率为67%。人力资源系统可使用的容量已全部分配完毕。 u IBM FastT600阵列上,库存管理系统可使用的总容量为1340G,现已使用了1340G,使用率为100%;身份认证系统可使用的总容量为340G,现已使用了170G,使用率为50%。 u IBM DS5020阵列上,视频服务器可使用的总容量为1540G,现已使用了1530G,使用率为97%;防病毒系统可使用的总容量为270G,现已使用了2
18、06G,使用率为76%。 u EMC CX3-40阵列上,财务系统可用总容量为941G,现已使用了325G,使用率为32%;移动站业务管理系统可用总容量为800G,现已使用了270G,使用率为34%;安全评估系统可用总容量为600G,现已使用了305G,使用率为51%。 u EMC CX500阵列上,任务管理系统可用总容量为120G,现已使用了95G,使用率为79%;固定资产管理系统可用总容量为300G,现已使用了280G,使用率为94%。 u EMC CX4-480阵列上,下载服务器可用总容量为2000G,现已使用了2000G,使用率为100%;生产经营管理系统可用总容量为980G,现
19、已使用了800G,使用率为82%。 上述存储设备及其相应系统的容量与使用率情况如下表所示。 阵列名称 使用系统 可用空间 已用空间 使用率 IBM DS4700 网管系统 1400G 800G 57% 邮件系统 1950G 900G 67% 人力资源系统 400G 400G 100% IBM FastT600 库存管理系统 1340G 1340G 100% 身份认证系统 340G 170G 50% IBM DS5020 视频服务器 1540G 1530G 97% 防病毒系统 270G 206G 76%
20、EMC CX3-40 财务系统 941G 325% 32% 移动站业务管理系统 800G 270G 34% 安全评估系统 600G 305G 51% EMC CX500 任务管理系统 120G 95G 79% 固定资产管理系统 300G 280G 94% EMC CX4-480 下载服务器 2000G 2000G 100% 生产经营管理系统 980G 800G 82% 表:XXX客户数据中心存储阵列 可见,目前XXX客户的磁盘阵列划分孤立、分散,造成了磁盘阵列的浪费以及数据的高风险性,而且十分不易于维护。随着之
21、后系统和数据量的不断增加,这一现象将会持续加剧。 通过对XXX客户服务器和存储现状的分析,目前IT基础架构有以下几个问题亟待解决: u 服务器的利用率低。现在机房内运行的大部分机器的利用率都非常低,由于一台服务器只能有一个操作系统,受系统和软件开发平台的限制,CPU、内存、硬盘空间的资源利用率都很低,大量的系统资源被闲置。 u 可管理性差。首先是可用性低,几乎每个应用服务器都是单机,如果某台服务器出现故障,相对应的业务也将中断。其次是当硬件需要维护、升级或出现硬件故障时,上层业务系统均会出现较长时间的中断,影响业务的连续性,其中包括一些重要业务系统,一旦中断服务影响很大,未来数据中心搬迁
22、时会更加麻烦。 u 兼容性差。系统和应用迁移到其他服务器,需要和旧系统兼容的系统。新的软件包括操作系统和应用软件无法运行在老的硬件平台,而老的代码有时候也很难移植到新的硬件平台上。例如:由于各种资源数据库不同公司分别开发,需要的运行的软硬平台很多时候不能保证兼容。为节省时间、物力和保持系统部署的顺利,只能用增加服务器单独部署的方法来解决。 u 服务器和存储购置成本高,维护成本递增,也不得不考虑。随着应用的不断增加,服务器数量也跟着增加,每年要支出高额购置费用不说,还有部分服务器已经过保修期,部件逐渐进入老化期,维护、维修预算费用也逐年增加。 u 对业务需求无法做到及时响应,灵活性差。当有
23、新的应用需要部署时,需要重新部署服务器,存储系统,并需要对网络系统进行调整以适应新的IT应用的需求。 u 目前为每套生产系统,在开发测试中心均要保留一套开发测试环境,造成了资源很大的浪费。 VMware的服务器虚拟化解决方案可以很好地解决上面这些问题,下面的章节将从方案的整体规划设计,体系结构,计算,网络与安全,存储,可用性,管理与自动化等方面对该方案进行全面地分析与介绍。 2 VMware解决方案规划设计 虚拟化技术的引入大大减少了需要维护和管理的设备,如服务器、交换机、机架、网线、UPS、空调等。原先设备可以根据制度进行折旧报废、或者利旧更新,使得IT管理人员有了更多的选择。虚拟化
24、可以提高资源利用率,降低硬件采购成本,更加节能和节省空间,让整个数据中心更加灵活。 下图是实施了VMware虚拟化方案之后的IT整体架构。 图:数据中心整体架构图 服务器虚拟化后,我们搭建了虚拟化集群,并统一进行管理。原有的服务器设备仍然可以正常运行,并且与虚拟化服务器融合在一起。 随着虚拟化的不断应用,可以不断动态地增加虚拟化集群的规模,搭建更健康的IT体系架构。客户端方面,延续了原先的访问模式,对于虚拟服务器的数据交互等操作,等同于原先传统物理服务器的的访问模式,不会对业务系统造成任何不利影响。 本章节接下来的部分,将从计算,存储,网络,可用性,管理与监控五个方面对XXX客户
25、的数据中心进行全面高效的规划设计。 2.1 计算资源规划 虚拟机上运行着为各个用户和整个业务线提供支持的应用与服务,其中有很多都是关键业务应用,因此,用户必须正确设计、调配和管理虚拟机,以确保这些应用与服务能够高效运行。 VMware ESXi主机是数据中心的基本计算构造块,这些主机资源聚合起来可构建高可用动态资源池环境,作为数据中心各应用的整体计算资源。 本小节将根据XXX客户的生产环境,对计算资源进行整体规划,包括物理服务器,虚拟机等资源。 Ø 指导原则与最佳实践 u 除非确实需要多个虚拟CPU (vCPU),否则默认配置一个,使用尽可能少的虚拟CPU。操作系统必须支持对称多处
26、理(SMP)功能。应用必须是多线程的,才能受益于多个虚拟CPU。虚拟CPU的数量不得超过主机上物理CPU核心(或超线程)的数量。 u 不要规划使用主机的所有CPU或内存资源,在设计中保留一些可用资源。要实现虚拟机内存性能最优化,关键是在物理RAM中保留虚拟机的活动内存,应避免过量分配活动内存。 u 始终将透明页共享保持启用状态,始终加载VMware Tools并启用内存释放。 u 资源池CPU和内存份额设置不能用于配置虚拟机优先级。资源池可用于为虚拟机分配专用CPU和内存资源。 u 在工作负载极易变化的环境中配置vSphere DPM,以降低能耗和散热成本。 u 部署一个系统磁盘和一
27、个单独的应用数据磁盘。如果系统磁盘和数据磁盘需要相同的I/O特征(RAID级别、存储带宽和延迟),应将它们一起放置在一个数据存储中。 u 应用要求应作为向虚拟机分配资源的主要指标。使用默认设置部署虚拟机,明确采用其他配置的情况除外。 u 像保护物理机一样保护虚拟机的安全。确保为虚拟基础架构中的每个虚拟机启用了防病毒、反间谍软件、入侵检测和防火墙。确保随时更新所有的安全保护措施。应用合适的最新补丁,要将虚拟机软件和应用保持在最新状态,应使用补丁程序管理工具,或者安装和配置Update Manager。 u 为避免管理连接问题,应向每个ESXi主机分配静态IP地址和主机名。为便于管理,应为D
28、NS配置每个ESXi主机的主机名和IP地址。 u 确保数据中心有足够的电源和散热容量以避免服务中断。 u 无论选择了哪个硬件平台,都应设计一致的平台配置,特别是在VMware集群中。一致性包括CPU类型、内存容量和内存插槽分配、网卡和主机总线适配器类型,以及PCI插槽分配。 u 使用一个或多个启用了vSphere HA和DRS的集群,以增加可用性和可扩展性。 u 使用横向扩展还是纵向扩展集群由集群用途、基础架构规模、vSphere限制以及资金和运营成本等因素确定。 Ø 计算资源规划 基于上述指导原则与最佳实践,结合XXX客户数据中心的实际情况,我们对计算资源进行如下的规划设计。
29、我们使用容量规划工具对XXX客户数据中心里的1000款不同的应用进行了采样评测,以获取这些应用对CPU和内存的需求情况,具体的分析结果如下所示。 项目 数值 每个系统的平均CPU需求量 2 平均CPU主频(MHz) 2800MHz 每个系统的平均正常化CPU主频(MHz) 5663MHz 每个系统的平均CPU使用率 6.5% (368.01MHz) 每个系统的平均CPU峰值使用率 9% (509.67MHz) 1000台虚拟机的峰值CPU总需求量 509,670MHz 表:CPU资源需求 项目 数值 每个系统的平均内存需求量 1024MB 平均内存使用
30、率 62% (634.88MB) 平均内存峰值使用率 70% (716.80MB) 无内存共享时1000台虚拟机的内存峰值需求量 716,800MB 虚拟化后的内存共享预期收益率 50% 内存共享后1000台虚拟机的内存峰值总需求量 358,400MB 表:内存资源需求 我们建议如下的ESXi主机CPU与内存配置。 项目 数值 每台主机的CPU数 4 每颗CPU的核心数 4 每个CPU核心的主频(MHz) 2,400 每颗CPU的总主频(MHz) 9,600 每台主机的总CPU频率(MHz) 38,400 最大CPU使用率建议 80% 每台主
31、机的可用CPU 30,720MHz 表:ESXi主机CPU配置建议 项目 数值 每台主机的内存容量 32,768MB (32GB) 最大内存使用率建议 80% 每台主机的可用内存 26,214MB 表:ESXi主机内存配置建议 对于上述配置的一些说明如下。 u 每台服务器的运算能力按照峰值而非平均值进行估算,确保可以支持虚拟机应用同时运行的最高值。 u CPU和内存的估算需要预留20%的空间用于突发的计算能力过量。 u 内存共享按照50%的比例进行估算,这个数值是基于整合的应用全部以Windows Server 2003服务器操作系统进行核算的。 接下来,我们将
32、根据上面这些应用需求与ESXi主机配置,对计算资源进行估算。 下面这个公式用来估算可以满足数据中心中这些虚拟机在CPU峰值时正常运行所需的ESXi主机个数。 所有虚拟机的CPU峰值频率需求量 = 需要的ESXi主机个数 每台ESXi主机的可用CPU 根据上述公式,XXX客户为了使这1000款应用可以在CPU峰值时正常运行所需的ESXi主机个数是: 509,670MHz (CPU频率总体需求量) = 16.59 个ESXi主机 30,720MHz (每台主机的可用CPU频率) 下面这个公式用来估算可以满足数据中心中这些虚拟机在内存峰值时正常运行所需的ESXi主机个数。 所有虚
33、拟机的内存峰值总需求量 = 需要的ESXi主机个数 每台ESXi主机的可用内存 根据上述公式,XXX客户为了使这1000款应用可以在内存峰值时正常运行所需的ESXi主机个数是: 358,400MB (内存总体需求量) = 13.67 个ESXi主机 26,214MB (每台主机的可用内存) 从CPU的角来说,需要17台ESXi主机,而从内存的角度来看,则需要14台物理主机。很显然,我们应该为该数据中心配置17台ESXi主机并组建集群。为了使用vSphere的高可用功能,我们还需要添加一台ESXi主机到该集群,因此,总的物理主机数目为18台。 上述对计算资源的规划可以满足虚拟机环
34、境资源突发时的资源溢出要求。 2.2 存储资源规划 正确的存储设计对组织实现其业务目标有着积极的影响,可以为性能良好的虚拟数据中心奠定一定的基础。它可以保护数据免受恶意或者意外破坏的影响,同时防止未经授权的用户访问数据。存储设计必须经过合理优化,以满足应用、服务、管理员和用户的多样性需求。 存储资源规划的目标是战略性地协调业务应用与存储基础架构,以降低成本、改善性能、提高可用性、提供安全性,以及增强功能,同时将应用数据分配到相应的存储层。 本小节将根据XXX客户的生产环境,对存储资源进行整体规划,包括共享存储逻辑规划,存储空间规划,存储I/O控制规划,存储分层规划等。 Ø 指导原则与
35、最佳实践 在规划存储资源时,我们会遵循如下的指导原则与最佳实践。 u 构建模块化存储解决方案,该方案可以随时间推移不断扩展,以满足组织的需求,用户无需替换现有的存储基础架构。在模块化存储解决方案中,应同时考虑容量和性能。 u 每个存储层具有不同的性能、容量和可用性特征,只要不是每个应用都需要昂贵、高性能、高度可用的存储,设计不同的存储层将十分经济高效。 u 配置存储多路径功能,配置主机、交换机和存储阵列级别的冗余以便提高可用性、可扩展性和性能。 u 允许集群中的所有主机访问相同的数据存储。 u 启用VMware vSphere Storage APIs - Array Integr
36、ation (VAAI)与存储I/O控制。配置存储DRS以根据使用和延迟进行平衡。 u 根据SLA、工作负载和成本在vSphere中创建多个存储配置文件,并将存储配置文件与相应的提供商虚拟数据中心对应起来。 u 对于光纤通道、NFS和iSCSI存储,可对存储进行相应设计,以降低延迟并提高可用性。对于每秒要处理大量事务的工作负载来说,将工作负载分配到不同位置尤其重要(如数据采集或事务日志记录系统)。通过减少存储路径中的跃点数量来降低延迟。 u NFS存储的最大容量取决于阵列供应商。单个NFS数据存储的容量取决于将访问数据存储的每个虚拟机所需的空间,乘以在延迟可接受的情况下可以访问数据存储的
37、虚拟机数量。考虑将存储DRS配置为使其成员数据存储的使用量保持在80%(默认设置)的均衡水平。 u 单个VMFS数据存储的容量取决于将访问数据存储的每个虚拟机所需的空间,乘以在延迟可接受的情况下可以访问数据存储的虚拟机数量。考虑配置存储DRS,使数据存储使用量保持在80%的均衡水平。保留10%到20%的额外容量,用于容纳快照、交换文件和日志文件 u 为促进对iSCSI资源的稳定访问,应该为iSCSI启动器和目标配置静态IP地址。 u 对于基于IP的存储,应使用单独的专用网络或VLAN以隔离存储流量,避免与其他流量类型争用资源,从而可以降低延迟并提高性能。 u 根据可用性要求选择一个RA
38、ID级别,对大多数虚拟机工作负载而言,如果阵列具有足够的电池供电缓存,RAID级别对性能不会产生影响。 u 对于大多数应用,除非存在对RDM的特定需求,否则请使用VMDK磁盘。 Ø 共享存储逻辑规划 考虑采用本地存储将无法形成整个虚拟化集群资源池,因此无法有效地使用vSphere虚拟化环境的高可用,灵活配置等功能。本方案将建议购置或利用现有的存储交换网络SAN网络,并新增磁盘阵列作为共享SAN存储,同时做好相应的设备(SAN HBA卡、交换机等)布线、空间、场地布局等相应的规划。 在设计存储架构时应该充分考虑到冗余和性能,因此存储架构的选择根据国家和各省级数据中心整体应用对存储的I
39、OPS和吞吐量的需求进行规划,涉及到端到端的主机适配器选择、控制器和端口数量选择以及磁盘数量和RAID方式选择等。 每台vSphere服务器到存储的连接示意图如下所示。 图:每台服务器的存储连接示意图 针对上图的一些说明如下。 u 确保每个ESXi主机内虚拟机并发IO队列长度与HBA适配卡设置保持一致。 u 底层LUN的需求根据实际虚拟机应用对存储IOPS的实际需求进行规划。 u 根据应用的需要设置LUN的RAID结构,如对于随机读写的数据库如Oracle、SQL数据库,建议在LUN级别采用RAID10结构,对于数据库日志通常为连续写或恢复时连续读,建议在LUN级别采用RAID
40、5结构。 u 对于IO密集型的应用尽量采用单独的VMFS存储,避免在存储端与其他应用产生IO争用。 u 多个虚拟机共用一个数据存储或者多个主机共享一个数据存储时,可以启用存储队列QoS确保核心应用的延时在可控范围以及对数据存储读写的优先级。 u 通常情况下1~2TB的LUN大小具有较好的性能和可管理性。 u 磁盘阵列的选择应该满足整个虚拟化环境最大IOPS的吞吐量需求,并配置足够的存储处理器、缓存和端口数。 u 对于双活ALUA磁盘阵列(非双活磁盘阵列),为了防止链路抖动,对于每个LUN在同一时间配置只有一个ESXi服务器通过一个存储处理器进行访问,这就需要在多路径策略选择时设置为M
41、RU(最近使用策略),该策略可以保证只有在某个路径故障时才启用另一个存储处理器连接LUN。 Ø 存储空间规划 规划LUN容量时,建议每个LUN运行10到20个VM(数据事务类应用可以适当减少),并且每个LUN的使用量不超过容量的80%。 若VM需要直接访问存储卷,如NTFS或EXT3,应在存储中另外创建一LUN,以RDM方式映射到VM,VM以裸磁盘方式使用。 LUN容量规划的公式如下所示。 LUN容量 = (Z x (X + Y) *1.25) 其中: n Z = 每LUN上驻留10个虚拟机 n Y = 虚拟磁盘文件容量 n X = 内存大小 根据XXX客户的实际生产
42、环境的情况,即:1GB内存,单一VMDK文件需要80GB,LUN容量计算如下: LUN容量= (10 x (1 + 80) * 1.25) ≈ 1000 GB 根据最佳实践,部署的每一个VMFS文件系统下最好分配一个LUN磁盘,这样可以避免虚拟机文件VMDK跨LUN造成的性能不一致等问题。因此在构建VMFS文件系统的空间时应该充分考虑在其上运行的虚拟机数量和可增长空间,在规划时将LUN的空间预留充足。虽然将来仍然可以利用vmkfstools等工具在线扩充VMFS,但是仍然无法避免上述虚拟机磁盘跨LUN使用的问题。 我们建议XXX客户采用如下的存储配置。 项目 说明 存储类型 Fi
43、bre Channel SAN 存储处理器个数 2 (冗余) 交换机个数 每个主机上每个交换机的端口数 2 (冗余) 1 LUN大小 1TB LUN总数 根据总量确定 每个LUN上的VMFS数据存储数 1 VMFS版本 5 表:存储配置建议 Ø 存储分层规划 每个存储层具有不同的性能、容量和可用性特征,只要不是每个应用都需要昂贵、高性能、高度可用的存储,设计不同的存储层将十分经济高效。一个典型的存储分层实例如下图所示。 图:存储分层实例 在规划存储分层时,我们主要考量应用和服务的如下存储特征。 u 每秒I/O操作数(IOPS)要求 u 每秒兆字节数
44、MBps)要求 u 容量要求 u 可用性要求 u 延迟要求 并依据下列信息将应用及服务移至设计有匹配特征的存储层。 u 考虑任何现有的服务级别协议(SLA) u 数据在信息生命周期中可能会在存储层之间移动 基于上述原则,我们为XXX客户所做的存储分层规划如下所示。 层 接口 应用 速度 RAID 磁盘数 注释 1 光纤通道 - 电子邮件 - Web 服务器 - 客户资源管理 15K RPM 10 8 10 VMs/VMFS 数据存储 2 光纤通道 - 薪酬管理 - 人力资源 15K RPM 5 4 15 VMs/VMFS数据存储
45、 3 光纤通道 - 测试 - 开发 10K RPM 5 4 15 VMs/VMFS数据存储 表:存储分层实现 Ø 数据存储群集规划 数据存储以及与数据存储群集关联的主机必须符合特定要求,才能成功使用数据存储群集功能。 创建数据存储群集时,应遵循下列准则。 u 数据存储群集必须包含类似的或可互换的数据存储。 一个数据存储群集中可以混用不同大小和I/O能力的数据存储,还可以混用来自不同阵列和供应商的数据存储。但是,下列类型的数据存储不能共存于一个数据存储群集中。 · 在同一个数据存储群集中,不能组合使用NFS和VMFS数据存储。 · 在同一个启用了存储DRS的数据存储
46、群集中,不能结合使用复制的数据存储和非复制的数据存储。 u 连接到数据存储群集中的数据存储的所有主机必须是ESXi 5.0及更高版本。如果数据存储群集中的数据存储连接到ESX/ESXi 4.x及更早版本的主机,则存储DRS不会运行。 u 数据存储群集中不能包含跨多个数据中心共享的数据存储。 u 最佳做法是,启用了硬件加速的数据存储不能与未启用硬件加速的数据存储放在同一个数据存储群集中。数据存储群集中的数据存储必须属于同类,才能保证实现硬件加速支持的行为。 基于上述原则,我们建议XXX客户采用如下数据存储集群规划。 集群名 存储 DRS 自动化 是否启动 I/O Metric
47、空间使用率 I/O 延迟 DataClusters-W/O 启用 全自动化 是 85% 15ms DataClusters-W 启用 未自动化 是 85% 15ms 表:数据存储集群设计 2.3 网络资源规划 正确的网络设计对组织实现其业务目标有着积极的影响,它可确保经过授权的用户能够及时访问业务数据,同时防止未经授权的用户访问数据。网络设计必须经过合理优化,以满足应用、服务、存储、管理员和用户的各种需求。 网络资源规划的目标是设计一种能降低成本、改善性能、提高可用性、提供安全性,以及增强功能的虚拟网络基础架构,该架构能够更顺畅地在应用、存储、用户和管理员之间
48、传递数据。 本小节将根据XXX客户的生产环境,对网络资源进行整体规划,包括虚拟交换机,网卡绑定等。 在规划网络设计时,我们主要从以下几个方面进行考量并进行相关的设计。 u 连接要求 u 带宽要求 u 延迟要求 u 可用性要求 u 成本要求 Ø 指导原则与最佳实践 在规划网络资源时,我们会遵循如下的指导原则与最佳实践。 u 构建模块化网络解决方案,该方案可随时间的推移不断扩展以满足组织的需求,使得用户无需替换现有的网络基础架构,进而降低成本。 u 为了减少争用和增强安全性,应该按照流量类型(vSphere管理网络(HA心跳互联网络)、vMotion在线迁移网络、虚拟机
49、对外提供服务的网络、FT、IP存储)对网络流量进行逻辑分离。 u VLAN可减少所需的网络端口和电缆数量,但需要得到物理网络基础架构的支持。 u 首选分布式交换机,并应尽可能少配置虚拟交换机。对于每一个虚拟交换机vSwitch应该配置至少两个上行链路物理网络端口。 u 可以在不影响虚拟机或在交换机后端运行的网络服务的前提下,向标准或分布式交换机添加或从中移除网络适配器。如果移除所有正在运行的硬件,虚拟机仍可互相通信。如果保留一个网络适配器原封不动,则所有的虚拟机仍然可以与物理网络相连。 u 连接到同一vSphere标准交换机或分布式交换机的每个物理网络适配器还应该连接到同一物理网络。将所有VMkernel网络适配器配置为相同MTU。 u 实施网络组件和路径冗余,以支持可用性和负载分配。 u 使用具有活动/备用端口配置的网卡绑定,以减少所需端口的数量,同时保持冗余。 u 对于多网口的冗余配置应该遵循配置在不同PCI插槽间的物理网卡口之间。 u 对于物理交换网络也应该相应的进行冗余设置,避免单点故障。建议采用千兆以太网交换网络,避免网络瓶颈。 u 对吞吐量和并发网络带宽有较高使用要求的情况,可以考虑采用10GbE,不过采用万兆网络在适配器和交换机上的投入成本也会相应增加。简单的方法是通过在虚拟机网络vSwitch或vPortGr






