1、数据中心需求分析第1章 总述为进一步推进信息化建设,以信息化推动股份有限公司业务工作的改革与发展,需要建设股份公司的新一代绿色高效能数据中心网络。1.1 数据中心建设需求1.1.1 传统架构存在的问题现有数据中心网络采用传统以太网技术以及X86服务器构建,随着各类业务应用对IT需求的深入发展,业务部门对资源的需求正以几何级数增长,传统的IT基础架构方式给管理员和未来业务的扩展带来巨大挑战。具体而言存在如下问题:l 维护管理难:在传统构架的网络中进行业务扩容、迁移或增加新的服务功能越来越困难,每一次变更都将牵涉相互关联的、不同时期按不同初衷建设的多种物理设施,涉及多个不同领域、不同服务方向,工作
2、繁琐、维护困难,而且容易出现漏洞和差错。比如数据中心新增加一个业务类型,需要新采购服务器,从选型到采购有一个漫长的周期,将新服务器设置完成,安装完必须的OS和补丁以及应用软件,又是一个过程,将服务器上线需要配合网络管理员调整新的应用访问控制需求,此时管理员不仅要了解新业务的逻辑访问策略,还要精通物理的防火墙实体的部署、连接、安装,要考虑是增加新的防火墙端口、还是需要添置新的防火墙设备,要考虑如何以及何处接入,有没有相应的接口,如何跳线,以及随之而来的VLAN、路由等等,如果网络中还有诸如地址转换、7层交换等等服务与之相关联,那将是非常繁杂的任务。当这样的IT资源需求在短期内累积,将极易在使得系
3、统维护的质量和稳定性下降,同时反过来减慢新业务的部署,进而阻碍公司业务的推进和发展.l 资源利用率低:传统架构方式对底层资源的投入与在上层业务所收到的效果很难得到同比发展,最普遍的现象就是忙的设备不堪重负,闲的设备资源储备过多,二者相互之间又无法借用和共用。最常见的现象就是有些服务器CPU利用率持续饱和,而有些服务器则利用率过低,资源无法得到有效利用。这是由于对底层IT建设是以功能单元为中心进行建设的,并不考虑上层业务对底层资源调用的优化,这使得对IT的投入往往无法取得同样的业务应用效果的改善,反而浪费了较多的资源和维护成本.l 服务策略不一致:传统架构最严重的问题是这种以孤立的设备功能为中心
4、的设计思路无法真正从整个系统角度制订统一的服务策略,比如安全策略、高可用性策略、业务优化策略等等,造成跨平台策略的不一致性,从而难以将所投入的产品能力形成合力为上层业务提供强大的服务支撑.因此,按传统底层基础设施所提供的服务能力已无法适应当前业务急剧扩展所需的资源要求,本次数据中心建设必须从根本上改变传统思路,遵照一种崭新的体系结构思路来构造新的数据中心IT基础架构。1.1.2 数据中心目标架构显着简化的架构 数据中心需要大大简化当今服务器和网络部署的方式。将交换资源集中在一起,通过消除刀片机箱内部的交换,减少了网络接入层分段.采用了统一阵列,在一个联合基础设施上传输局域网、存储和高性能计算流
5、量。这一方法能够整合或完全消除多个服务器适配器、机箱交换机、线缆及其它外围础设施.这种简化相比传统计算环境,可将支持基础设施所需的电源、冷却、管理和安全设备减少一半。 利用简化和嵌入的管理功能,数据中心管理员现在可以在一个作为统一计算中枢系统的统一管理域内,实现集中管理。嵌入式设备管理软件可以将一个拥有数百台服务器和数千台虚拟机的系统作为一个高度可用的联合系统来管理。这种嵌入式方法使多个管理员角色能够在管理基础设施及其策略方面实现动态交互。现在,管理员可以整合所需的一切基础设施策略,将应用部署到被称作服务配置文件的可重复移动结构中。这一结构可以有效改进IT生产率和业务灵活性。现在,基础设施可以
6、在数分钟内配置完成,而不必再花费几天的时间,从而让IT部门能够将工作重点从维护转向战略性工作。针对虚拟化的端到端优化 统一计算架构已针对从处理器到汇聚层的整个虚拟化环境进行了优化。最新工业标准技术可带来更出色的虚拟化性能,卓越的可扩展性和增强的灵活性.在服务器中,通过平衡CPU和I/O能力,同时提高内存容量,每服务器可以托管比以往更多的虚拟机.通过向虚拟机提供网络策略和安全性的可见性和可移植性,可在物理与虚拟环境之间实施一致的运营模式.结合嵌入式管理和服务配置文件结构,这一自动化功能可提高响应能力,减少人为错误出现机会,提高一致性,并缩短服务器和网络部署时间。不断满足未来需求的架构 统一计算架
7、构为数据中心提供了充足的扩展空间,同时能够支持未来的技术发展。统一计算元件经过预先设计,能够支持未来技术,例如未来将推出的4万兆以太网。该架构的简单性使得数据中心能够不断扩大规模、提高性能和增加带宽,而不会像旧平台一样出现复杂性的增加。这一方法可帮助提高当今的ROI,同时保护长期投资。1.2 数据中心设计目标在基于思科统一计算设计框架下,新一代数据中心应实现如下设计目标:l 简化管理:数据中心物理设施的复杂度降低,能够最低限度的减少了物理资源的直接调度,使维护管理的难度和成本大大降低。l 高效复用:使得物理资源可以按需调度,物理资源得以最大限度的重用,减少建设成本,提高使用效率.即能够实现总硬
8、件资源占用量降低了,而每个业务得到的服务反而更有充分的资源保证了。l 策略一致:降低具体设备个体的策略复杂性,最大程度的在设备层面以上建立统一、抽象的服务,每一个被充分抽象的服务都按找上层调用的目标进行统一的规范和策略化,这样整个IT将可以达到理想的服务规则和策略的一致性。1.3 数据中心技术需求下一代数据中心应被视为一个跨越所有单一技术领域的一体化的、集成的设计。通过在一个高度可用的联合系统中整合计算、网络、存储访问和虚拟化功能,实现灵活的数据中心自动化,进而降低成本和提高灵活性。要实现上述目标,必须对IT基础架构提出以下要求:降低总体拥有成本(包括前期投资开支与后期运营开支);通过减少管理
9、点数量,大大简化管理难度;通过将整合多个物理服务器到一个物理服务器大幅降低软硬件成本;通过在一个高度可用的管理域中运行物理服务器和大量虚拟机,在不增加复杂性的前提下,实现可扩展性;每个服务器的平均利用率从5%15%提高到60%80%;降低运营成本,包括数据中心空间、机柜、网线,耗电量,冷气空调和人力成本。通过加快基础设施配置来支持虚拟化和非虚拟化环境,提高数据中心员工的工作效率部署时间从小时级到分钟级,服务器重建和应用加载时间从 2040 hrs =15-30 min, 每年节省10,000 人/小时(300台服务器);原来硬件维护需要之前的数天/周的变更管理准备和1 - 3小时维护窗口,现在
10、可以进行零宕机硬件维护和升级。提高服务水平帮助您的企业建立业务和IT资源之间的关系,使IT和业务优先级对应;将所有服务器作为统一资源进行管理,并按需自动进行动态资源调配;无中断的按需扩容.旧硬件和操作系统的投资保护不再担心旧系统的兼容性,维护和升级等一系列问题。当前的能源日趋紧张,能源的价格也飞扬直上;绿地(Green Field)是我们每个人都关心的议题。如何最大限度的利用能源、降低功耗,以最有效率方式实现高性能、高稳定性的服务也是新一代的数据中心必须考虑的问题. 下一代数据中心通过将各种单项技术集成在一个联合系统中,管理功能将可以得到进一步整合,并内建在系统中,从而使得IT基础设施策略能够
11、在整个系统中得到一致的应用,同时,新的数据中心将大大简化管理难度,提高效率,为企业提供灵活,坚实的IT基础架构。第2章 数据中心技术实现根据以上新一代数据中心的技术要求,必须对传统数据中心所使用的常规运营模式进行革新,采用思科统一计算系统和虚拟化技术来打破各种孤岛这些孤岛在阻碍应用共享基础的同时,会导致IT资源不能得以快速充分利用。2.1 整合能力2.1.1 统一交换平台思科统一计算系统的重要目标是实现传统数据中心最大程度的资源整合。一般在传统数据中心中存在两种网络:传统的数据局域网和使用光纤存储交换机的存储交换网络。统一交换平台将这两种网络实现在统一的传输平台上,即使用一种交换技术同时实现传
12、统数据网络功能和远程存储。这样才能最大化的实现资源的整合,降低系统复杂程度,从而便于实现跨平台的资源调度和虚拟化服务,提高投资的有效性,同时还降低了管理成本。要实现存储网络和传统数据网络的双网合一,使用思科统一交换平台实现二者的一体化交换。当前在以太网上融合传统局域网和存储网络唯一成熟技术标准是Fiber Channel Over Ethernet技术(FCoE),它已在标准上给出了如何把存储网(SAN)的数据帧封装在以太网帧内进行转发的相关技术协议。由于该项技术的简单性、高效率、经济性,目前已经形成相对成熟的包括存储厂商、网络设备厂商、主机厂商、网卡厂商的生态链。具体的协议发布可参见 FCo
13、E 的相关Web Sites。 ( )本次数据中心建设将做好FCoE的基础设施准备,并将在下一阶段完成基于FCoE技术的双网融合。2.1.2 无丢弃以太网技术为保证一体化交换的实现,统一交换平台改变了传统以太网无连接、无保障的Best Effort传输行为,即保证主机在通过以太网进行磁盘读写等操作、高性能计算所要求的远程内存访问、并行处理等操作,不会发生任何不可预料的传输失败,达到真正的“无丢包”以太网目标。在思科统一交换平台中以硬件及软件的形式实现了以下技术:通过基于IEEE 802.1p类别通道的PAUSE功能来提供基于数据流类别的流量控制IEEE 802.1Qaz 标准定义基于IEEE
14、802.1p 流量类别的带宽管理以及这些流量的优先级别定义IEEE 802.1Qau 标准定义如何管理网络中的拥塞(BCN/QCN)l 基于优先级类别的流控在DCE 的理念中是非常重要的一环,通过它和拥塞管理的相互合作,我们可以构造出“不丢包的以太网架构;这对今天的我们来说,它的诱惑无疑是不可阻挡的。不丢包的以太网络提供一个安全的平台,它让我们把一些以前无法安心放置到数据网络上的重要应用能安心的应用到这个DCE的数据平台.l 带宽管理在以太网络中提供类似于类似帧中继(Frame Relay)的带宽控制能力,它可以确保一些重要的业务应用能获得必须的网络带宽;同时保证网络链路带宽利用的最大化。l
15、拥塞管理可以提供在以太网络中的各种拥塞发现和定位能力,这在非连接的网络中无疑是一个巨大的挑战;可以说在目前的所有非连接的网络中,这是一个崭新的应用;目前的研究方向主要集中在后向拥塞管理(BCN)和量化拥塞管理(QCN)这两个方面。2.1.3 统一管理集中、全面的管理,并与统一交换平台相结合,意味着不再需要人工配置和集成各种独立组件,就能创建一个高效的虚拟池。思科统一计算系统能够简单、自动地执行将一个新服务器部署到系统中的流程,在几分钟内就能完成新服务器的安装、配置并将其投入使用,而不必像传统配置方法那样耗费数小时乃至数天的时间。这一功能不仅有助于提高IT人员的生产率,而且在需要更多资源时能够快
16、速扩展虚拟池的能力。 Cisco UCS Manager是思科统一计算系统的中枢神经系统。它从端到端集成系统组件,因此系统能作为单一逻辑实体进行管理.Cisco UCS Manager提供一个直观GUI、一个命令行界面(CLI)和一个强大的API,因此它能单独使用,也能与其他第三方工具集成使用。通过单一控制台,能够全方位管理服务器配置系统身份、固件版本、网卡(NIC)设置、HBA设置和网络配置文件等,无需为个系统组件配备单独的管理模块。Cisco UCS Manager内嵌在两个互联阵列中. Cisco UCS Manager全方位配置服务器以及它在系统中的连接。它能设置或配置唯一用户ID (
17、UUID)、BIOS和固件版本;包括MAC地址、VLAN和服务质量(QoS)设置在内的NIC配置;包括全球名称(WWN)、VSAN、带宽限制和固件版本在内的HBA配置;以及包括VLAN、VSAN、QoS和以太通道设置在内的上行链路端口配置。2.1.4 全面整合 数据中心的设计目标之一就是全面整合所有设备,思科统一计算系统简化了当今服务器和网络部署的方式.它将交换资源集中在一起,通过消除刀片机箱内部的交换,减少了网络接入层分段。该架构采用了统一阵列,在一个联合基础设施上传输局域网、存储和高性能计算流量.这一方法能够整合或完全消除多个服务器适配器、机箱交换机、线缆及其它支外围础设施。这种简化相比传
18、统计算环境,可将支持基础设施所需的电源、冷却、管理和安全设备减少一半。 思科统一计算系统采用“一次布线”部署模式,机箱只通过线缆连接到统一交换平台一次,I/O配置的改变只需通过管理系统进行,而无需安装主机适配器以及对机架和交换机重布线.思科统一计算系统不再需要在每个服务器中部署冗余以太网和光纤通道适配器,也不必采用独立布线连接接入层交换机,并为每种网络媒体使用不同交换机,因此大大简化了机架布线。所有流量都路由到中央服务器互联,随后以太网和光纤通道流量可独立传输到本地非整合网络。2.2 虚拟化 几乎每个人都知道虚拟化的优势: 整合工作负载;提高利用率;降低运营、投资、空间、耗电和冷却开支等. 在
19、虚拟池中动态地移动工作负载,提高使服务器离线或新增加服务器在线的灵活性. 管理虚拟机与物理机之间的关系,优化性能,保证服务水平。 使用现有资源池创建更多虚拟机,从而扩展当前应用或部署新应用。 使用虚拟化软件的高可用性和灾难恢复功能,来解决本地和跨地区故障问题。 虚拟化使应用部署与服务器购买分离开来,但是这一优势和其他虚拟化优势只有在应用程序运行在一个或多个统一的服务器资源池时,才能能够最好地发挥出来,思科统一计算系统就旨在提供这样一个环境。专为虚拟化环境而优化的思科统一计算系统是下一代数据中心平台,在一个紧密结合的系统中整合了计算、网络、存储接入与虚拟化功能,旨在降低总体拥有成本(TCO),同
20、时提高业务灵活性。该系统包含一个低延时无丢包兆的统一交换平台,以及多台企业级x86架构服务器.它是一个集成的可扩展多机箱平台,在统一的管理域中管理所有资源。2.2.1 使用虚拟接口和Cisco VN-Link技术进行联网 传统的刀片服务器为部署虚拟环境增加了不必要的成本、复杂性和风险。在大多数网络部署中,网络接入层被分为三个层次,很难控制网络连接并保证其安全,增加了VM到VM联网的延迟,难以进行高效管理: 接入层交换机通常属于数据中心基础设施范畴,由网络管理员管理,对安全和QoS进行高效控制。 刀片服务器中的交换机增加了一个新网络层,它们使用的处理器和特性集常常与数据中心接入层交换机所用的处理
21、器和特性集不同. 虚拟软件厂商部署的软件交换机占用CPU周期来模拟网络硬件,其代价就是降低应用性能。这些软交换机常常超出了网络管理员的控制范围,经常由服务器管理员配置。这些环境中的接入层划分导致的结果是,在同一刀片服务器中的虚拟机、同一机箱中的虚拟机或不同机箱中的虚拟机之间通信时,采用不同交换设备来实现VM到VM通信。很难在各层实现统一管理,尤其是在虚拟机在服务器间动态移动时就更为困难。 思科统一计算系统将VM到VM通信所需的交换机精简为统一交换系统,由此简化、加速并保护了交换。这种方法为系统中的所有网络通信提供了单一控制和管理点: 单一接入层交换机,即Cisco UCS 6200系列互联阵列
22、,支持虚拟机间的所有网络流量传输,而无论虚拟机位于何处,为网络流量提供了单一控制和管理点。 无需在刀片中部署交换机,而是使用Cisco UCS 2200系列阵列扩展模块,将所有流量从刀片服务器传输到6200互联阵列. 无需使用件交换机,虚拟机直接连接到物理NIC,采用直通交换或采用Hypervisor-bypass技术对其进一步加速。2.2.2 Cisco VN-Link技术 思科统一计算系统中的每台服务器都通过一条或多条物理链路连接到统一交换平台。Cisco VNLink技术能在单一物理链路上配置多条虚拟链路.虚拟链路将虚拟机中的一个虚拟NIC (vNIC)连接到交换平台中的一个虚拟接口。当
23、使用Cisco UCS 1280虚拟接口卡时,从与虚拟机连接的物理接口创建一条虚拟链路(参见下图)。这使得对于虚拟机的网络连接的管理能像管理物理服务器的物理链路一样进行.虽然进出虚拟机的所有流量都通过各自不同的虚拟链路传输,但QoS、VLAN和访问控制列表(ACL)等属性能从单一管理点统一管理。 一个虚拟接口与一个物理接口相关联,这种关联能根据需要改变。当一个虚拟机从一台服务器移动到另一台服务器,该虚拟机的虚拟链路所连的虚拟接口只要简单地与另一个物理端口建立关联就可以了。现在,虚拟机的网络特性也能随它们一起在服务器间移动,不必再在多个交换层间进行复杂的协调. 在统一交换平台中的虚拟接口与服务器
24、中虚拟接口卡所支持的物理接口之间,思科统一计算系统通过硬件部署了Cisco VNLink技术。在使用非Cisco UCS VIC1280接口来传输虚拟机网络流量时,使用Cisco Nexus? 1000V系列交换机,在软件中也能实现相同的管理简洁性。2.2.3 Cisco UCS 1280虚拟接口卡的Cisco VNLink技术 当服务器配置了Cisco UCS 1280虚拟接口卡时,思科统一计算系统能发挥最大功效。这些卡采用灵活配置的I/O,使Cisco UCS Manager能创建多达256个(其中8个预留,供系统使用)以太网NIC或光纤通道HBA的任意组合,其身份(MAC地址和WWN)可
25、动态编程。这个虚拟接口卡提供了足够的接口,保证每个虚拟机都能拥有一个或多个专用物理接口,因此不再需要虚拟软件层面的交换。Cisco UCS Manager与VMware vCenter软件共用,能够协调虚拟机及它们直接与之通信的接口的创建和移动。Cisco UCS Manager中的端口配置文件定义了虚拟机所使用的NIC配置,在创建VM或将VM移动到另一服务器时,灵活地引导管理器配置虚拟机所需的接口。端口配置文件的名称与VMware ESX服务器中的端口组名称相对应。当VMware ESX服务器希望创建一个新虚拟机或设置虚拟机移动的目的地时,它将端口组名称告知虚拟接口卡。虚拟接口卡向Cisco
26、 UCS Manager询问具有相同名称的端口配置文件,然后虚拟机就能使用预期的设备来连接网络. VM Direct Path技术进一步优化了虚拟机I/O,使所有I/O流量完全绕行绕开了虚拟软件的管理程序,因此消除了I/O敏感型工作负载虚拟化时所遗留的瓶颈之一。思科支持采用Cisco UCS VIC 1280的VM Direct Path,它建立在同一VNLink基础上,便于配置和管理2.2.4 服务器虚拟化服务器虚拟化可以使上层业务应用仅仅根据自己所需的计算资源占用要求来对CPU、内存、I/O和应用资源等实现自由调度,而无须考虑该应用所在的物理关联和位置。当前商用化最为成功的服务器虚拟化解决
27、方案是VMWare的VMotion系列,微软的Virtual Server和许多其它第三方厂商(如Intel、AMD等)也正在加入,使得服务器虚拟化的解决方案将越来越完善和普及. 虚拟化将更多关注服务器如何拥有更多以及更经济的内存配置。虽然高性能的Intel XEON系列CPU的虚拟化技术提高了虚拟机性能,但现在服务器需要更大内存来充分利用服务器的处理器。提高虚拟系统中的虚拟机密度的传统方式是,购买更昂贵、更大型的四路服务器。但这种方法既提高了投资和运营开支,又没能实际解决如何为两路服务器提供更为经济高效的内存的问题。 思科扩展内存技术提供了一种具有极大潜力、经济高效的方法,与其他方式相比,能
28、以更低TCO提高虚拟化密度,使IT机构能够凭借更少资源完成更多任务。Cisco UCS B200 M3扩展内存刀片服务器和Cisco UCS C220 M3扩展内存机架安装服务器就采用了这种技术。从处理器的内存通道角度来看,该项技术将四个物理上独立的DIMM映射为单一逻辑DIMM(参见下图).这一映射支持拥有48个DIMM插槽的扩展内存服务器,而采用相同处理器的传统服务器和刀片系统最多只能配备12个最高性能插槽,或18个较低性能插槽.14个8GB DIMMCisco UCS扩展内存技术1个32GB DIMM(最多12个)思科扩展内存服务器中的48个DIMM插槽能插入2、4或8-GB DIMM,
29、为XX公司提供了平衡处理能力、内存容量和成本的极高的灵活性. 低成本选项使用低成本的4-GB DIMM来提供高达192 GB的内存,而不必像使用相同处理器的其他服务器那样,为获得高内存容量而使用8GB DIMM。根据2009年8月公开的内存价格,该选项能够节约60%的内存成本. 大内存选项能够为需要最大内存的工作负载提供支持。思科扩展内存服务器在使用16GB DIMM时内存高达512 GB,实现了采用Intel Xeon 5600系列处理器的双路服务器的最大内存。 无论需要大型内存还是极大内存来优化虚拟化密度,现在都能更加经济地整合更多应用,创建更多虚拟机。2.3 自动化在高度整合化和虚拟化的
30、基础上,服务的部署完全不需要物理上的动作,资源在虚拟化平台上可以与物理设施无关的进行分配和整合,这样我们只需要将一定的业务策略输入给智能网络的策略服务器,一切的工作都可以按系统自身最优化的方式进行计算、评估、决策和调配实现。2.4 绿色数据中心数据中心的整合化、虚拟化和自动化本身就是在达到同样业务能力的要求下实现高效率利用硬件资源、减少总硬件投入、节约维护管理成本等方面的最佳途径,这本身也是绿色数据中心的必要条件。思科统一计算系统在硬件实现上实现低功耗、高效率,包括l 采用更少的部件,比传统刀片服务器系统少1/2到1/3的管理部件l 利用最新半导体工艺(越小纳米的芯片要比大纳米的芯片省电)l
31、降低逻辑电路的复杂度 (在接入层使用二层设备往往要比三层设备省电)l 减少通用集成电路的空转(使用定制化的专业设计的芯片往往比通用芯片省电)l 等等综上所述,在本次新一代数据中心网络的建设中,将采用基于思科统一计算平台的设计,构建面向服务的高效能数据中心网络平台。第3章 数据中心设计3.1 总体结构本次数据中心的建设将采用思科统一计算系统。该系统将大大简化目前的服务器架构,并大大简化管理难度,并提供高可用性。3.2 简化服务器架构的优势采用此架构有如下好处:l 单一管理入口:所有服务器的配置,更改,以及VLAN和VSAN的配置和更改都在一个界面内完成,无需登陆多个管理模块或管理服务器。同时,也
32、是在同一个管理界面,可以监视所有服务器和统一交换平台的健康状况.l 便于扩展:添加新服务器时,只需简单地将服务器插入机箱,UCSM会自己发现新设备,并根据策略自动或手动地将服务器的网卡,HBA或虚拟网卡配置好,并联如相应的VLAN和VSAN。l 加强故障隔离能力:所有的链接都是冗余的,整个系统不存在单点故障,在保证系统的简洁性的同时,也保证了系统的安全性。3.3 思科统一计算系统结构l 统一交换阵列:由2台思科6248UP组成统一交换平台,是企业数据交换网络的骨干,并且由它实现对所有刀片服务器的设置。6248UP有32个全万兆端口,全线速,无阻塞无丢包交换阵列,l 刀片服务器及机箱:思科510
33、8刀片服务器机箱可以安装8台刀片服务器,由2208XP通过光纤连至6248UP,每个2208XP有8个10G上行端口,支持80G带宽,每刀片机箱安装2个,共160G带宽。2个2208XP可以组成冗余链路.l 统一交换阵列扩展模块:6248UP可以安装多种扩展模块,接入目前的传统IT架构里已有的设备如SAN交换机等,保护用户以前的投资.3.4 数据中心的扩展的业务应用特点决定了目前的数据中心必须有很强的扩展能力,而同时又不能增加系统管理的难度和复杂性。采用思科统一计算平台可以很好的解决这个问题。当需要扩展时,只要将新的刀片机箱接入6248UP,6248UP上内置的管理软件会自动的发现新的硬件,可
34、以根据事先定义好的服务配置脚本对服务器进行设置,如新服务器应该接入那个VLAN,服务器上的HBA卡或应该接入那个VSAN都可以在几分钟内设置完成。在最大规模的系统时,其管理难度和复杂度都没有增加,下图显示了思科统一计算系统较大规模时的架构示意图,可以看到,虽然服务器数量和刀片机箱数量大大增加,但是,从整体架构上看,没有任何改变-所有服务器和刀片机箱都接入统一交换平台,所有管理都从统一交换平台内置的管理软件实现,同时,完全融合已有的网络和存储环境:第4章 两种数据中心技术方案的综合对比我们在此针对传统数据中心的网络架构和刀片服务器进行横向对比和总结.4.1 技术方案对比在技术上,我们除了传统上的
35、从性能、可扩展性、安全、可靠性和可管理性等方面进行对比以外,还需要根据前面对新一代数据中心的技术发展要求的阐述,从如何适应建设新一代的数据中心要求出发,按面向服务的数据中心的技术要求进行对比分析,这些技术要求在前面有过详细描述,分别是:整合化,虚拟化、自动化和绿色数据中心能力。下面一一进行比较分析.4.1.1 各项技术领域对比类别方案1:思科统一计算系统方案方案2:传统刀片机箱方案网络端口性能- 48或96口全万兆全线速- 无阻塞无丢包- 支持FCoE- 刀片机箱内无需交换机- 整套系统只需2台就全冗余- 增加刀片机箱无需对网络结构做任何更改- 每个刀片机箱都需要配交换机,如果要冗余必须配2个
36、- 10G以太网平台;- 很多型号不支持堆叠,数据中心还需要配主干交换机- 不支持FCoE,无法对应未来的技术- 刀片机箱越多,网络结构就越复杂扩展性能- 只要配扩展模块就可以连接传统SAN存储;- 有多种扩展模块可选- 无扩展模块- 连接SAN存储必须采用SAN交换机,冗余配置必须2台管理性- 一次连接技术,物理连接后,无论如何更改配置,都不需要更改物理连接- 传统技术,更改配置需要物理更改连接机箱管理- 无需管理模块,所有管理配置工作由6248UP完成,且天然冗余;- 单一入口,全局视图,可以看到所有设备,包括交换机本身;- 每机箱配置2个管理模块,否则没有冗余;- 刀片机箱需要单独管理,
37、管理员帐号和密码需要一一对应;- 需要额外的服务器和软件才有全局视图,需要额外的费用和设备配置- 由思科的管理模板对相同性质的服务器做批量设置;- 由于在统一界面看到所有设备,跨机箱设置极其简单;- 对服务器预先设置网络和存储如VLAN和VSAN;- 单台服务器管理,无法规模配置;- 需要进交换机配置界面配置VLAN;- 需要进入SAN交换机配置VSAN- 跨机箱配置很困难可靠性- 在保证结构简单的同时,整个系统无单点故障;- 内嵌的管理模块天然冗余配置;- 如果要保证无单点故障,需要配置大量LAN交换机和SAN交换机;- 管理服务器出现故障则整个系统不可管理;刀片服务器内存扩展性- 思科内存
38、扩展技术可以大大扩展虚拟机的密度,对大内存应用如数据库和搜索提供极大扩展余地- 在给定的内存需求是,可选用多条低密度内存条来大大降低费用- 需要大内存要昂贵的4路服务器- 无法支持经济型的内存配置,需配置昂贵的大密度内存条网络和SAN连接- 有融合网卡选件,支持万兆以太网和传统的HBA卡- 有虚拟网卡选件,可为每个虚拟机单独配置网卡,无需设置软交换机,大大提高虚拟机的效率- 配合VN-LINK技术,虚拟机迁徙可以将网络和SAN端口一起迁徙,保持一致性,跨机箱迁徙也如此- 无融合网卡选件- 需单独配置HBA卡- 无虚拟网卡选件,虚拟环境中只能用软交换机,性能和效率低下- 无VNLINK技术,虚拟
39、机迁徙可能需要重新配置交换机和SAN连接,跨机箱迁徙很难4.2 总结根据以上对比,在技术上,方案1的思科统一计算平台全面满足新型数据中心的需求,可以容纳更多万兆服务器、提供更高性能存储网络、支持FCoE以满足未来存储需求,大大提高VMware虚拟化服务器的密度和自动化管理,且即使数据中心做较大规模升级也不会增加管理难度和复杂性。同时,思科的统一计算平台兼容了目前设备和技术,保护了用户的投资。由于已经制定了向新一代面向服务业务架构的数据中心转变的既定发展目标,而方案1无疑是在技术上实现这一目标的最佳解决方案,因此我们向用户郑重推荐采用方案1作为本次新一代数据中心的建设方案。第5章 数据中心虚拟化
40、建设实施方案数据中心虚拟化实施步骤一般可分为以下几步:1. 数据中心网络结构设计:包括核心层设计、汇聚层和接入层设计、应用服务设计与均衡负载设计、网络安全设计、服务质量保证设计以及网络业务管理设计等。2. 服务器虚拟化结构设计:包括虚拟化平台网络拓扑图、网络,服务器与存储的连接拓扑图、根据历史数据计算得出的所需硬件的详细配置等。3. 实施第一阶段:包括硬件安装,操作系统安装,补丁安装等,并在一个测试网络里实现虚拟化的各项功能,如虚拟创建,删除,虚拟机的启动和迁徙,虚拟机的备份,动态资源配置等。同时,在这一阶段,系统管理员应熟悉虚拟化软件的各项功能,硬件平台的各项功能,特别是硬件平台和软件平台相
41、结合功能。4. 实施第二阶段:配置好虚拟化系统的各项参数后(特别是网络方面的),将虚拟化系统接入生产网络,如有必要,可将第一阶段的所有数据删除后,将裸机先接入网络,然后重新安装虚拟机软件。5. 实施第三阶段:安排停机时间,将需要虚拟化的原物理机数据导出,并形成虚拟机,原服务器数据需全部保留,以防止意外,等虚拟机正式上线运行无误后,可将原服务器安排他用。6. 重复将各个物理机数据导入,实现整个数据中心的虚拟化。下面,本文将逐一介绍每一步骤的详细实施方案.5.1 数据中心网络结构设计网络结构设计不是本文讨论重点,只做一般介绍,详细设计应由专门的网路结构设计方案给出。一般来讲,数据中心网络结构设计应
42、包含以下部分:总体网络结构: 标准的网络分层结构与的网络结构 全网核心层设计与分布层设计 数据中心地址路由设计 VLAN/VSAN和地址规划应用服务控制与负载均衡设计 应用优化和负载均衡需求 应用优化和负载均衡设计 地址和路由 安全功能的设计 SSL分流设计网络安全设计 网络安全整体架构 网络设备级安全 防蠕虫病毒的等Dos攻击 防VLAN的脆弱性配置 防止DHCP相关攻击 安全域的划分 防火墙部署与策略设计 网络准入控制 分布式威胁抑制系统服务质量保证设计 服务质量保证设计分类 数据中心服务质量设计 带宽及设备吞吐量设计 低延迟设计 无丢弃设计 QoS策略的制定和部署5.2 服务器虚拟化结构
43、设计在具体实现中,为了实现数据的集中存储、集中备份以及充分利用VMware虚拟架构中虚拟机可动态在线从一台物理服务器迁移到另一台物理服务器上的特性等,建议配置一套光纤通道存储阵列产品,同时配置冗余的光纤交换机,组成标准的SAN集中存储架构。此SAN架构可沿用数据中心的原有存储设备来,或新购买支持FCoE的存储设备为新数据中心的基础设备.由VMware虚拟架构套件生产出来的虚拟机的封装文件都存放在存储阵列上。通过共享的存储架构, 可以最大化的发挥虚拟架构的优势,进行在线地迁移正在运行的虚拟机(VMware VMotion),进行动态的资源管理(VMware DRS), 和集中的基于虚拟机快照技术
44、的Lan Free的整合备份 (VMware VCB)等,而且为以后的容灾提供扩展性和打下基础。为了集中管理和监控虚拟机、实现自动化以及简化资源调配,建议单独配置或使用原有一套物理服务器安装Window系统,用于安装虚拟软件套件中的Virtual Center软件,对物理服务器及其上的虚拟服务器进行统一的管理.采用思科统一计算系统的虚拟化平台,其机构相当简单,因为在思科统一交换平台上,所有的流量都由2台6248UP互联阵列来处理,无论是传统的LAN还是FC SAN还是FCoE协议。企业的主干交换机只有一台,且SAN交换机也只有一台,但现实中很有可能是2台组成冗余.此图中采用的思科统一交换阵列为
45、6248UP,是一个最大48口全万兆低延时无丢包交换阵列,在每机箱80GB上联时支持最大4个刀片机箱,最多32台刀片服务器。 数据中心可根据实际情况采用6296UP交换阵列,6296UP为96口全万兆低延时无丢包交换阵列, 在每机箱80GB上联时支持10个刀片机箱,最多80台刀片服务器。当然,在刀片机箱上联带宽要求不高时,整套系统的扩展性就大大增强了,最大支持40个刀片机箱,最多320台刀片服务器。通常虚拟化软件采用虚拟交换机来弥补物理服务器网卡数量不足的缺憾,通常每个服务器的物理网卡只有2个或4个,然而在物理服务器上运行的虚拟机可能会到20甚至更多,每个虚拟机都需要自己的网卡,为了解决这一矛
46、盾,虚拟机软件采用了虚拟交换机vSwitch技术,用软件模拟一个交换机,将物理网卡的端口和虚拟机上的虚拟网卡端口都连接到虚拟交换机上,解决网络连接问题。这里,每个物理服务器上都需要运行一个虚拟交换机,如下图:思科公司和VMWare公司合作推出的Nexus 1000V交换机是一个横跨所有物理服务器的虚拟交换机,在整个虚拟化环境中,已无需每个物理服务器上运行一个虚拟交换机。这个虚拟交换机支持思科的IOS CLI,数据中心管理员可以认为所有虚拟机都和这个虚拟交换机连接,通过使用Nexus 1000V,当虚拟机在迁徙时,所有的端口都可以和虚拟机一起迁徙,管理员还可以监视每个虚拟机的网络流量,而不仅仅是
47、监视物理网卡上的总体流量,这样就大大方便了管理员制定自动化策略,以使虚拟机在流量高时自动迁徙到网络资源更丰富的服务器上.思科公司在刀片服务器上还推出了1280虚拟网卡(如下图),这个网卡可以通过编程,为虚拟机软件展现256个设备,这256个设备可以是标准的NIC,也可以是标准的FC HBA,并且支持任意的组合,这样就大大简化了虚拟机的网络连接的复杂性-直接在这块虚拟网卡上模拟出128个NIC和128个HBA,对于Vmware来说,它就认为这台物理服务器上插了128块网卡和128块HBA卡,然后,直接可以将网卡和HBA定义给某台虚拟机就可以了,实际上,结合这块虚拟网卡,就可以实施基于硬件级别的Nexus 1000V方案