服务器虚拟化关键技术及其在电视台业务中的应用浅析.doc

摘要 本论文简介了虚拟化基本概念，发展过程及技术特点，并结合我台播出虚拟化系统阐述了虚拟化平台技术架构，分析虚拟化技术在电视台业务中应用。核心词 虚拟化 VMware NetApp一 引言虚拟化是一种资源管理技术，是将计算机各种实体资源，如服务器、网络、内存及存储等，予以抽象、转换后呈现出来，打破实体构造间不可切割障碍，使顾客可以比原本组态更好方式来应用这些资源。这些资源新虚拟部份是不受既有资源架设方式、地区或物理组态所限制，服务器虚拟化是虚拟化技术一种典型应用。本文将概述虚拟化基本概念和发展历程，并结合我台虚拟化项目分析服务器虚拟化技术实现及重要特点。二 服务器虚拟化发展及特点1 发展背景集群技术已经比较成熟并在高性能计算领域得到了广泛应用。然而，随着应用需求不断增强，集群规模不断扩大，集群使用中浮现一种较为严重问题：集群中大量资源因得不到充分运用而效率低下，另一方面庞大集群规模占用了大量机房空间，机房供电也随规模增大而不断扩展，给项目建设带来了诸多不便。基于上述因素，一种旨在提高集群资源运用率，提高应用和服务安全性技术-虚拟化技术应运而生。2 发展过程虚拟化技术浮现于上世纪六、七十年代，最初只是应用在大型主机上。1965年，IBM公司就创造了一种操作系统虚拟机技术，容许顾客在一台主机上运营各种操作系统，让顾客尽量地充分运用昂贵大型机资源。随着硬件价格下降和多顾客多任务操作系统浮现，虚拟技术在七八十年代几乎销声匿迹，进入九十年代，随着服务器技术和操作系统发展以及人们对资源运用率低下不满，虚拟技术再次进入人们视野，基于x86平台服务器系统虚拟化技术成为新研究热点。3 技术特点虚拟化技术是解决服务器数量增多带来管理不便以及硬件使用效率低下等问题一把利器。引入虚拟化优势重要有如下几种方面：l 服务器整合：将多台运用率较低机器上负载整合到少数几台或一台机器上，提高资源运用率，节约硬件、管理和维护成本。l 创立各种操作系统或运营环境：在同一台机器上创立各种不同系统或运营环境，每个系统最大资源占用量及调度优先级可以动态调节，通过保证某些系统指定资源占用量或增大其优先级来提高服务质量。l 应用和服务无缝、动态迁移：运用虚拟技术，应用和服务无缝动态迁移、备份、恢复变得更迅速简便和易于管理，有助于提高系统可靠性和可用性。l 构建可信计算平台：虚拟机之间及虚拟机和虚拟抽象层之间是安全隔离，某个虚拟机崩溃不会影响到其她虚拟机正常运营。这样可以将不可信应用程序放到一种单独虚拟机上运营，以防止故障和错误蔓延，消除对其她程序也许导致影响。三 技术实现1 完全虚拟化通过在物理服务器和操作系统之间建立中间软件层Hypervisor,可容许各种操作系统和应用共享一套基本物理硬件，因而可将Hypervisor看作是虚拟环境中“元”操作系统，它可以协调访问服务器上所有物理设备和虚拟机（如图一所示）。Hypervisor是所有虚拟化技术核心。Hypervisor可以捕获CPU指令，为指令访问硬件控制器和外设充当中介。因而，完全虚拟化技术几乎能让任何一款操作系统不用改动就能安装到虚拟服务器上，而它们不懂得自己运营在虚拟化环境下。重要缺陷是，Hypervisor给解决器带来开销。图一 完全虚拟化2 硬件辅助虚拟化硬件辅助虚拟化是在完全虚拟化基本上进行优化，硬件厂商通过提供构造支持协助创立虚拟机监视并容许客户机操作系统独立运营。通过引入硬件技术，将使虚拟化技术更接近物理机速度。硬件辅助虚拟化在1972年开始运营，它在IBM System/370上运营，使用了第一种虚拟机操作系统VM/370。在与，Intel和AMD为虚拟化提供了额外硬件支持。3 半虚拟化半虚拟化与完全虚拟化有某些类似，它也运用Hypervisor来实现对底层硬件共享访问，但是由于在Hypervisor 上面运营客户操作系统已经集成与虚拟化关于代码，使得客户操作系统可以非常好地配合Hypervisor来实现虚拟化。通过这种办法将需重新编译或捕获特权指令，使其性能非常接近物理机，这种模式和全虚拟化相比，架构更精简，并且在整体速度上有一定优势，但是需要对客户操作系统进行修改，因此在顾客体验方面比较麻烦。4 操作系统层虚拟化操作系统虚拟化是在操作系统层面增添虚拟服务器功能，强调是在单一操作系统内核算例基本上实现虚拟化，而前文中提到三种虚拟化方式都是在虚拟硬件层上安装各种客户操作系统，然后再运营应用程序。就操作系统层虚拟化而言，没有独立Hypervisor层，主机操作系统自身就负责在各种虚拟服务器之间分派硬件资源，并且让这些服务器彼此独立。使用操作系统层虚拟化，所有虚拟服务器必要运营同一操作系统，虽然操作系统层虚拟化灵活性比较差，但本机速度性能比较高。此外，由于架构在所有虚拟服务器上使用单一、原则操作系统，管理起来比异构环境要容易。图二 操作系统层虚拟化技术四 江苏台播出虚拟化系统随着频道增多，播出业务扩展，服务器规模日渐庞大，机房空间和用电量已接近饱和。为解决这些问题，咱们采用虚拟机将数据库、迁移、计审、数据检查等应用服务集中布置于虚拟化平台，节约了资源，提高管理效率。1 系统架构在系统设计时，为防止机房断电、火灾等意外状况，将设备分开放置于四楼和五楼，虚拟化主机通过光纤互换机访问共享存储，主机内部通讯使用私有网络互换机实现，主机外部通讯使用公用网络互换机实现，系统拓扑图如图三所示。图三 虚拟化系统拓扑图1.1 硬件平台PC服务器 IBM System X3750 M42颗E5-4607 V2 (6C 2.6G )CPU/128G内存/2块300G硬盘/M5200-RAID(1GB Cache)/dvd-rw/8口千兆以太网/2口8GB HBA/双电源/双电源/三年7*24*4小时原厂服务/2U8台存储Netapp E2700存储系统配备两个控制器，16GB缓存，控制器架构为Active-Active，控制器之间互相冗余。I/O 途径保护提供负载平衡和多途径功能，在发生连接、HBA 或服务器故障时可以实现途径故障转移。解决器集成了高速RAID引擎，可在完全无性能影响状况下进行RAID计算，从而轻松高效解决计算密集型任务,4个16Gb FC光纤端口，4个12Gb SAS端口，配备24块600GB 10k rpm NL-SAS硬盘，原厂保修3年2套光纤互换机Brocade 6505互换机16Gb,24端口互换机，12端口激活，含12个8Gb短波SFP，Web tools、Zoning、EGM软件授权,全光纤支持级联，可按需要扩展到24端口，双电源（热拔插），机架套件，原厂保修3年2台表一 虚拟化系统硬件设备虚拟化系统采用了8台IBM System X3750 M4作为主机，共享存储使用是Netapp E2700存储系统，主机和存储均与博科光纤互换机相连，所有运营在主机上虚拟机都可以访问四楼和五楼共享存储。存储选用Netapp E2700，重要考虑到该产品有如下几种特点：l 简朴管理和配备E2700上轻型 NetApp SANtricity存储管理软件兼具强健性和易用性，管理软件可简化繁忙管理员任务，让她们可以集中精力处 理重要业务，而不是使用资源来管理数据存储。广泛诊断功能可提供预测性分析，协助发现问题，防患于未然。E2700 模块化设计有助于轻松扩展来增长容量，支持业务增长。SANtricity 软件支持即时扩展、重新配备和维护，而不会中断存储系统 I/O。动态磁盘池 (DDP) 可以在驱动器数量发生变化（无论是增长驱动器还是浮现驱动器故障）后实现动态重新平衡，大大简化老式存储管理，由于在增长驱动器或驱动器发生故障后，没有要管理或重新配备闲置备件。这样一来，E2700 便可自动配备、扩充和扩展存储。l 无缝应用程序集成E2700 提供了各种主机连接接口、各种驱动器技术和磁盘架选项灵活性，可无缝集成到几乎任何工作负载任何环境。该系统支持最新16Gb/sFC、10Gb/s iSCSI 和 12 Gb/s SAS 主机连接选项。 借助 FC 和 iSCSI 接口选项，E2700 可运用已建立存储网络无缝集成到既有数据中心，12 Gb/s SAS 接口可为高性能直连存储解决方案提供高速连接。NetApp E2700已在 VMware和 Microsoft Exchange 等当今主流应用环境中以及 Oracle 数据库、Microsoft SQL Server及其她数据库中布置和使用。l 优化性能保证明现高效率E2700 可以以经济高效方式最大限度地提高磁盘 I/O，性价比较高。其架构响应能力和线性扩展能力为数据库驱动型事务解决应用程序（普通需要稳定持续性能）增添了优势。该架构可以维持高读写吞吐量，甚至对带宽密集型应用程序也能如此。使用 SSD 缓存功能智能缓存分层技术可运用性能卓越固态驱动器 (solid state drive，SSD) 介质来存储最常访问数据块，从而增强性能。1.2 软件平台虚拟系统使用是VMware vSphere虚拟化平台，vSphere可以将服务器、存储等硬件资源转换到一种逻辑运算资源池中，操作系统及其应用程序被隔离到安全、可移动虚拟机中。随后，系统资源会依照需求和优先级动态地分派给每台虚拟机，这种对服务器资源运用和控制可与大型机相媲美。由于虚拟机可以在资源池中任一物理服务器上运营，并且无需宕机便可在这些服务器之间无缝地转移。因而，就可以将虚拟机动态、自动地分派给资源池中最适当主机，从而保障应用程序服务级别。通过将硬件资源聚合到资源池，IT环境可得到优化，进而满足不断变化业务需求，同步保证灵活性以及硬件资源高效运用。VMware vSphere虚拟化平台重要包括vCenter Server、vSphere Client、ESXi等，各组件功能分别是：vCenter Server是VMware vSphere虚拟化管理组件，自身是一种服务，可提供对数据中心便捷单点控制。它运营于windows服务器之上，可集中管理VMware ESX/ESXi主机，并提供基本数据中心服务，如访问控制、性能监控和配备。vCenter Server还可提供诸如vShpere DRS、vSphere HA和vMotion等vShpere高档功能。vSphere Client是创立、管理和监控虚拟机机器资源和主机主界面，此外还提供对虚拟机控制台访问，可安装于能通过网络访问vCenter Server或ESX/ESXi主机Windows计算机上。顾客可以直接使用vSphere Client直接管理ESX/ESXi主机，也可以通过vSphere Client登录到vCenter Server，再通过vCenter Server管理ESX/ESXi主机。一台vCenter或ESX/ESXi主机可以支持同步连接多台vSphere Client。ESX/ESXi是运营在物理服务器硬件和操作系统之间中间软件层，可理解为虚拟化元操作系统，是实现各种虚拟机共享硬件资源基本。图四 VMware sphere软件平台2 功能分析2.1 群集群集是一组共享资源和管理接口主机，本系统使用了8台IBM System X3750 M4高性能服务器组建了虚拟化主机群集。通过群集，可实现vSphere Distributed Resource Scheduler（DRS）和vSphere Availability（HA）解决方案。DRS可持续保持主机间虚拟机工作负载平衡，HA可使运营虚拟机从浮现故障主机中自动迁移到其她正常运营主机上。2.2 数据存储数据存储是用于保存虚拟机文献以及虚拟机操作所必须其她文献逻辑容器。数据存储能存在不同类型物理存储，涉及本地存储，ISCSI、光纤通道SAN或NFS。数据存储可以基于VMFS，也可以基于NFS，通过格式化LUN或装在NFS卷到既有主机方式来创立新数据存储。本系统中咱们使用是物理存储是Netapp E2700存储系统（光纤通道SAN），通过格式化LUN创立数据存储。2.3 vSphere中网络VMware vSphere可提供vSphere Distributed Switch和原则互换机两种类型网络架构。vSphere Distributed Switch网络是从数据中心级别驱动，可用作所有有关主机虚拟互换机，将网络作为一种聚合资源进行解决，使虚拟机在主机之间进行迁移时可以保持一致网络配备。原则互换机网络工作方式与物理互换机类似，它可检测每个虚拟端口所连接虚拟机并使用这些信息将流量转发到对的虚拟机，每个虚拟机网卡均可分派到一种端口组。本系统中咱们配备使用网络模式是原则互换机网络，如图五所示：图五 原则互换机网络模式3 系统长处3.1 原则化虚拟化平台设计及实行方案采用了原则化设计方式，从基本架构到运维流程，以适应将来扩展需求。3.2 高扩展虚拟化平台架构具备弹性，可扩展特性，随着业务不断发展，更多应用将不断迁移至虚拟化平台，因而高扩展性是使之成为台内应用系统统一平台重要因素。3.3 可控性一种稳定虚拟化平台是发展基本，通过详细迁移方案设计，稳步实行和测试，让迁移应用系统稳定运营在虚拟化平台上，同步建立应用迁移原则，为将来更多应用运营提供基本保证。3.4 可靠性虚拟化平台可以保障软、硬件冗余性，可以通过虚拟化镜像备份方式建立备份系统。咱们可以通过对既有应用系统各种备份需求进行记录，制定不同备份方略满足应用系统需求，同步建立虚拟机镜像备份方略，保护虚拟化平台上操作系统和应用程序及数据可靠性。3.5 易管理虚拟化平台管理方式简朴明了，vCenter提供了统一集中管理平台，依照原则化运维流程，采用自动化运维工具，减轻运维人员压力，避免人为操作过程当中失误。五 结束语以上对服务器虚拟化基本概念进行了简介，并结合江苏台虚拟化项目分析了虚拟化特点和优势，在大数据时代，虚拟化推动有着其必然性，然而电视台业务较其她行业有其独特之处，如制作网拥有高品位板卡以及应用加密硬件设备，播出工作站需要控制录像机、切换台等硬件，这些非原则化设备很难运营于虚拟化平台，虚拟化发展道路还很长。相信随着技术发展，会有更好解决方案来应对上述难题。