高校数字校园数据中心建设方案建议书.docx

高校数字校园数据中心建设方案建议书目录一、项目概述41.1建设背景41.2建设目标51.3建设原则61.4云平台技术打造大数据与高性能优势7二、需求分析92.1现状分析92.2总体建设92.2.1XXX高校校园云平台需求102.2.2大数据分析需求102.2.3高性能需求12三、数据中心总体规划14四、云数据中心建设规划174.1 资源池规划184.2 资源池规划内容204.3 虚拟化软件选型规划234.4 云管理平台建设规划244.5数据中心统一管理平台规划27五、大数据建设规划295.1大数据平台规划295.2 大数据架构介绍345.3新型分布式处理技术基础355.4 分布式文件系统355.5 MapReduce计算框架365.6数据管理与分析385.7 分布式数据库385.8 Hive数据仓库395.9 大数据调优服务39六、高性能建设规划426.1高性能平台建设内容426.2高性能平台总体性能要求426.3节点配置详解436.3.1计算节点（大数据DataNode节点）436.3.2GPU节点436.3.3八路胖节点446.3.4管理节点（NameNode节点）456.3.5 IO节点（JobTracker、TaskTracker节点）456.3.6存储系统466.3.7计算网络466.3.8 TSDM集群部署软件介绍516.3.9 备份还原软件介绍536.3.10集群并行环境介绍54七、机房建设规划55八、方案配置清单56一、 项目概述1.1建设背景遍布全球的互联网络正在无时无刻、无所不在地渗透到人们工作、生活和学习中，成为推动社会发展的强大动力。在商业化的世界中，众多企业正在把自己转变成一种称为“数字神经系统”的新型组织，让企业能够以数字神经系统的方式对内部业务流程、知识共享和网络商务进行整合，快速响应全球化的竞争。高校不仅承担着人才培养的重任，还承担了一些前沿科技和技术的研究。同样，作为培养和造就新世纪人才的教育系统和学校，也面临同样的社会环境变化趋势。然而，很多学校却明显落在了互联网络时代的后面，尽管学校已经采用了一些先进的设备和工具，但是还在沿用千百年来的传统教学方法和管理模式。电化教学设备、电脑乃至校园网都变成了利用率很低的简单摆设，真正起决定性变化的管理和教学的方法和模式却没有随着社会发展的大趋势进行相应变革。面对知识全球化和民族素质提高的教育要求，以及一系列的教育市场化竞争的挑战，“数字化校园”正在日臻成熟并发挥越来越重要的作用。“数字化校园”的目标就是为了使校园的使用者可以更有效的利用校园来开展教学、科研活动并更方便快捷地进行学习、生活。因此校园的主人：学生教师管理人员就成为数字化校园的服务对象，他们的主要校园活动：教学科研管理生活就成为数字化校园的内容主体。“数字化校园”的目标用一个词来表示就是服务”，为学生、教师、管理人员提供更好的服务就是数字化校园的宗旨。目前云计算、互联网+、大数据分析、移动和物联网发展迅猛，数以亿计的用户通过互联网服务时时刻刻都产生大量的交互，这些交互通过手持设备、RFID、无线传感器产生大量的数据，IDC预计到2020年全球数据将增加到35ZB（1ZB=1024EB、1EB=1024PB），是2009年的45倍，其中80%以上为非结构化数据。这些需要处理的数据量越来越大、增长迅猛，而业务需求和竞争压力对数据处理的实时性、有效性又提出来更高的要求，常规的数据库技术手段根本无法应付与处理。由此而生产了Big Data技术来处理此类问题。大数据技术将是IT领域新一代的技术与架构，他将帮助人类从大量、复杂的数据中提取价值，它可以帮助决策者在储存的海量信息中挖掘出需要的信息，并且对这些信息进行分析研究，从而发现重要的趋势信息。因此大数据的有效管理和挖掘将成为未来竞争和增长的基础，并日益成为企业的生产要素和战略资产，预计也将带来新一轮生产率的提升和消费者体验改善，类似工业革命的大数据时代已经来临，我们有理由相信未来大数据的产业规模将会至少以万亿美元来进行衡量。大数据将给IT行业开拓一个新的黄金时代，作为成都重要的高校我们有义务在这些前沿科技上做出对人类、社会、四川、成都有帮助的研究并造福人类、造福四川和成都。云计算是一种新型的信息资源管理和计算服务模式，是继大型计算机、个人电脑、互联网之后信息产业的一次革命。云计算可将分散的计算、存储、服务资源有机整合起来管理和服务，转变了传统IDC运行管理理念，是未来计算的发展方向。云计算以其资源动态分配、按需服务的设计理念，具有低成本解决海量信息处理的独特魅力。云计算+大数据将会为现有的数据中心增加可用性特点能高效地、安全地运营；另一方面，并能降低数据中心的能源消耗和运行成本；我们对云计算的理解是：云计算一种基于网络的支持异构设施和资源流转的服务供给模型，它提供给客户可自治的服务，实现资源的按需分配、按量计费。云计算导致资源规模化，促进分工的专业化，使得资源供应商和用户都更加关注于自己的业务，有利于降低单位资源成本，促进全社会的开拓创新。浪潮从事教育行业已经有数十年经验，致力于帮助教育用户提供一体化的数字化校园解决方案，在教育行业有数量众多的成功案例，浪潮承诺站在用户角度，寻求最为合理的解决方案，最大限度满足客户需求。1.2建设目标本次建设目标为：利用云计算技术打造XXX高校大数据分析、高性能应用等高校科研基础平台。云计算资源中心建设后，将包括校园云计算虚拟化中心、大数据分析、和高性能计算中心，并为此三个中心提供统一管理平台。通过云计算资源中心的建设，物理资源将被组织起来统一调配和供应，提供给学校各学院、部门、教师及学生使用。并且通过云数据中心为学校提供大数据分析和高性能计算服务。通过资源集中化，资源的共享得以实现，应用在资源之间的迁移也成为可能。当资源集中后，对于相同资源进行管理的代价将大幅度降低，而资源的使用率将成倍提升。从而解决数据中心当前面临的问题，更有效的推动信息化的发展。基于云计算的大数据和高性能中心建设目标主要有以下几个方面：1、资源纬度集约化。通过虚拟化方式，为各学院、部门和师生提供基础计算服务和数据存储。2、数据纬度一体化。方便数据共享，为大规模数据整合和交换提供可能。3、管理纬度服务化。利用云计算方式，实现基础软硬件资源的统一管理、按需分配、综合利用，降低各部门系统建设成本和日常运行维护费用。高校数字校园云计算平台建设着重点为：提供IAAS服务的服务器虚拟化中心，提供校园师生教学办公用的校园云盘中心和提供高性能计算服务的高性能计算中心。建设完成后的高校云计算平台实现以下功能：1、建设服务器虚拟化中心；为学校各大业务平台提供IAAS服务，以虚拟服务器的方式为校园各大业务平台提供业务支撑服务；2、建设大数据分析；为前沿的大数据分析和研究提供服务，为部分在校学生课题提供服务；3、建设校园高性能计算中心；为学校一些需要进行高性能计算的部门提供高性能计算基础平台，为业务部门高性能计算需求提供服务；4、建设云计算中心统一管理平台；为校园云计算中心中的业务云平台、大数据分析系统、高性能计算中心提供统一的管理平台，为不同管理用户和业务用户提供统一入口；5、通过建设云计算平台，学校实现对资源的大集中统一管理并提升整体计算能力；通过虚拟化技术提高资源利用率，避免重复建设，节约整体成本。1.3建设原则结合本项目的实际应用和发展要求，在进行云计算+大数据+高性能平台方案设计过程中，应始终坚持以下原则： （1）可扩展性原则为了保护已有的投资以及不断增长的业务需求，系统必须具有灵活的结构并留有合理的扩充余地，以便根据需要进行适当的变动和扩充；主要业务平台系统应采用开放的结构，符合国际标准、工业标准和行业标准，适应技术的发展和变化。（2）合理性原则在一定的资金条件下，以适当的投入，建立性能价格比高的、先进的、完善的业务系统。所有软硬件的选型和配置要坚持性能价格比最优原则，同时兼顾与已有设备和系统的互联互通能力，以及与目前操作系统和应用系统的兼容性。在满足系统性能、功能以及考虑到在可预见的未来不失去先进性的条件下，尽量取得整个系统的投入合理性，以构成一个性能价格比优化的应用系统。系统架构的设计应尽可能地运用虚拟化、云计算等新技术，以符合未来的技术发展方向。这种设计方法可以最大化地利用投资，并在利用率、管理、能源等各方面提高用户投资的效率，降低总体拥有成本，减少浪费的发生。结合新技术的运用，也可以让各应用系统更好地融入未来整体IT建设规划中，避免发生推到重建的现象，从而更好地保护学校在信息系统上的投入。（3）可靠性原则系统要具有高可靠性及强大的容错能力。该系统必须保证724全天候不间断地工作，核心设备比如数据库服务器和存储设备具有全容错结构，并具有热插拔功能，可带电修复有关故障而不影响整个系统的工作，设计应保持一定数量的冗余以保证整体系统的高可靠性和高可用性。即便是在系统建设初期也要着重考虑系统可用性、可靠性问题，防止出现系统停顿等问题造成信息系统的中断服务。通过结合云计算等新技术，可以更好地提高系统的可靠性和可用性。（4）可管理性原则选择基于国际标准和开放的技术，采用标准化、规范化设计；同时采用先进的设备，易于日后扩展，便于向更新技术的升级与衔接，实现系统较长的生命力；保证在系统上进行有效的开发和使用，并为今后的发展提供一个良好的环境；在设计、组建中心机房系统时，采用先进的、标准的设备；在选购服务器、存储和连接设备时，选用同一家公司的系列产品，确保系统部件间的严密配合和无缝联接，并获得良好的售后服务和技术支持；整个系统建成后按照整理一套完整的文档资料，以便提高整个系统的可管理性与可维护性。1.4云平台技术打造高校数字化校园优势通过建立云计算平台，通过服务的方式交付对物理硬件的需求，代替传统硬件设备跟随着应有系统的增加而增加的模式，对现有应用系统进行整合，实现IT服务的快速交付，节能响应国家号召，提升业务系统安全。1、合理利用硬件资源，减少运行消耗云计算平台可将服务器物理资源转换成池化的可动态分配的计算单元，从学校业务具体需求出发，在资源池中划分出适合具体业务需要的服务计算单元，不再受限于物理上的界限，从而提高资源的利用率，简化系统管理，让信息化建设对学校业务工作的变化更具适应力，从而构建出信息系统平台的基础。云平台建成后，可减少物理服务器数量至原有数量的一半以上，机房空间占用面积大大减少，机房相应配套设施建设也可能够相应减少，在实际工作中预计可节省能源达到70%以上，响应国家节能减排的要求。 2、增强业务部署速度，提高即时响应能力云平台能够对学校业务系统提出的建设需求做到快速响应、快速部署，部署更新工作时间由原来数天或数星期缩短为只需几分钟即可完成。如果总资源池中的硬件计算资源告急，只需要添加相应的物理服务器，简单的将新购的服务器部署到资源池集群中，云平台会根据整体资源池的动态资源平衡来自动分配新增加的计算资源给应用程序，真正的实现新服务器的即插即用。3、完善应急安全机制云平台可以自动监控资源池中计算单元和应用单元的可用性，检测物理服务器故障，如果检测到故障，可重新在资源池中其他物理服务器上重新启动相关业务，整个过程无需人工干预。通过专线光纤将同城异地的两个云平台连接起来，既可形成一个稳定的基于云平台技术的容灾系统。可以实现应用级数据备份和业务系统的应用级容灾，容灾系统切换时间可以实现分钟级，并且能进行容灾演练操作。4、提供便捷的管理运维方式。云平台可以通过一个统一的管理平台，来进行对平台中运行的各项业务设立不同权限的管理账号，根据工作需要设置不同的管理权限，并可通过其管理日志追溯操作过程。还可以通过在平台上安装第三方安全软件的方式，一次性解决平台内所有计算单元的病毒防护、木马查杀、补丁升级等工作。二、 需求分析2.1现状分析随着信息技术的不断发展，学校在信息化建设方面加大投入，各部门陆续购置了相关业务软件和服务器，越来越多的业务实现了信息化。学校目前使用的服务器多数为一路、两路的小型PC架构服务器，每台服务器仅仅只能运行单一操作系统和单个应用程序，且服务器使用时间基本上都在5年以上。目前的平台建设模式导致服务器数量越来越多，产生了如下问题：1服务器使用效率低。由于一台物理服务器对应一个应用系统，服务器的计算、存储等资源得不到充分利用。2系统存在安全隐患。大多数服务器购置于5、6年前，设备老化，可靠性下降；相当一部分服务器管理权在学院或者部门，缺乏技术人员管理；除学校一卡通服务器采用双机热备模式以外，其余的应用没有做任何保护，每周需要做一次手工备份，数据丢失危险时刻存在。3机房空间紧张。4. 电力系统告急，能耗增加，空调功率跟不上。5系统不便管理，新业务部署时间长。6. 校园师生对云盘的应用需求日益强烈，对移动办公、数据备份等需求明显。7. 一些院系有高性能计算的业务需求，自建高性能中心涉及重复投资且高性能计算中心维护复杂，分散维护困难。2.2总体建设现有应用系统与底层硬件之间存在的“竖井式”结构，需要根据海量数据处理、实现应用弹性、构建多活数据中心等关键技术的发展，渐进式的对基础架构进行全方位规划。现有的服务器、网络、存储、终端需要根据云计算平台的发展需求，对硬件资源进行动态的统筹划分，充分发挥了现有硬件的整体效能，以满足云计算平台的发展需要。 通过云计算中心平台建设，利用虚拟化技术、集中建设服务器虚拟化中心、大数据分析系统和高性能计算中心，为校园提供弹性，即时，可定制的云计算服务。节约建设成本，提升云计算服务质量，为校园内广大师生和业务部门提供基于云计算的IAAS，云盘，高性能计算等业务支撑服务。2.2.1 XXX高校数字化校园云平台需求在信息化建设的不断发展过程中，校园中业务不断发展，对服务器数量需求不断增加，同时各部门各院系分散申购服务器，浪费极大，维护不方便，集中部署服务器又造成机房空间压力不断增大，维护难度不断增大，服务器数量不断增加等一系列问题。基于服务器虚拟化技术为基础的服务器虚拟化中心提供弹性、可扩展、可定制的虚拟服务器系统，即IAAS服务。2.2.2 XXX高校常见业务系统分析需求一卡通业务系统校园“一卡通”系统是指利用智能卡技术、网络技术、数据存储技术、数据加密技术、系统与网络安全技术、计算机控制技术和软件工程等技术；采用银行卡社会金融功能与校园卡校务管理功能相结合的方式；遵循国家金融、技术标准和行业规范；在校园内提供身份认证和金融服务的管理信息系统。一卡通系统（以下简称“一卡通”）是数字化校园的基础工程和重要的有机组成部分，旨在为广大师生员工的教学、科研和生活提供方便、快捷的电子化服务，使其既可以代替学校目前使用的各种证件，又可以应用于各个消费场所，还可以应用于需要身份认证的场所，同时又可通过银行转帐系统与指定的银行进行转帐、圈存，实现校园无现金流通，从根本上实现“一卡在手，走遍校园”的设想。给师生带来一种全新方便的现代生活，从而有效提升工作效率，提高学校的现代化管理水平。“一卡通”系统是以软件、硬件集成的综合信息集成系统，构建在数字化校园之上的统一身份认证、数据中心平台、统一信息门户等基础平台，与学校其它业务管理信息系统紧密结合，实现数据共享和交换，组成数字化校园的重要信息采集网络，为学校提供实时可靠的信息来源和决策依据。综合信息服务系统综合信息服务系统以学校数据中心为基础，将分散在各部门的数据集中到一起，以师、生角色为主线，提供跨部门立体式的人事、教学、学工、科研、设备资产、财务经费等综合查询服务。查询服务以学校基表（由教育部制定的，用以反映高等教育的各级各类学校基本情况的基层统计报表）为基础，支持面向主题的多维查询。个人用户也可以查询自身相关基本情况（个人数字档案）。同时通过全面的数据分析，给院系领导、校领导决策提供数据支持，可以对学校的基本情况有一个全面的了解，通过其掌握学校发展的宏观情况。校园网站系统校园网站系统主要提供Web页面的浏览服务。整个网站系统提供了对外及对外接口。对外访问接口提供了外界了解学校的途径，展示学校形象以及师资力量，招生最新信息等。对内接口的主要适用对象为校内师生，为在校师生提供内部信息展示，课程安排，最新活动咨询等相关信息。另外，目前Web、FTP、BBS三类应用有极大的相关性，方便教师和学生进行课内外交流和授课内容、课外辅导资料等的下载等。同时，可以将图书馆供公开使用的资料在Web服务器上公布，即整合图书馆信息系统和校园网系统。邮件系统E-Mail服务器是一套电子邮局系统和信件发送、接收系统，主要为校园广大的教师及学生提供方便、及时的电子通信手段。邮件系统主要使用对象为校内教师，如果应用资源条件允许，可以考虑为学生开设独立的邮箱账户，方便师生沟通。办公OA系统办公自动化服务器只为学校日常办公服务，现在的OA技术能够提供文字处理、表格制作、公文流转、会议安排等等服务。教务系统主要承担教务处日常新闻发布、学生没学期课程安排和选课等应用，考虑峰值同时选课学生在线人数。数据库系统数据库系统是整个系统中的核心业务系统，推荐使用两台物理服务器做RAC部署，保证业务的连续稳定以及性能的充足。数据库主要存放师生注册信息，一卡通消费信息记录，日常报表学生成绩等校园核心信息，是整个系统最为关键的部分，推荐采用Oracle RAC。2.2.3大数据分析需求当前中国正面临从粗放到可持续发展方式的转变挑战。大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来，为人类的社会经济活动提供依据，从而提高各个领域的运行效率，大大提高整个社会经济的集约化程度。在我国，大数据将重点应用于以下三大领域：商业智能商务智能可有效提高企业运营活动的效率。如在零售行业，由于同类产品的差异小，可替代性强的特点，零售企业销售收入的提高离不开出色的购物体验和客户服务。零售企业需要根据销售有特色的本地化商品并增加流行款式和生命周期短的产品，零售企业需要运用最先进的计算机和各种通信技术对变化中的消费需求迅速做出反应。通过对大数据的挖掘，零售企业在选择上架产品时，为确保提供式样新颖的商品，需要对消费者的消费行为以及趋势进行分析；在制定定价、广告等策略时，需进行节假日、天气等大数据分析；在稳定收入源时，需要对消费群体进行大数据分析，零售企业可以利用电话、Web、电子邮件等所有联络渠道的客户的数据进行分析，并结合客户的购物习惯，提供一致的个性化购物体验，以提高客户忠诚度。同时，从微博等社交媒体中挖掘实时数据，再将它们同实际销售信息进行整合，能够为企业提供真正意义上的智能，了解市场发展趋势、理解客户的消费行为并为将来制定更加有针对性的策略。政府决策通过对大数据的挖掘，可有效提高政府决策的科学性和时效性。如：日本大地震发生后仅9分钟，美国国家海洋和大气管理局（NOAA）就发布了详细的海啸预警。随即，NOAA通过对海洋传感器获得的实时数据进行计算机模拟，制定了详细的应急方案，并将制作的海啸影响模型发布在YouTube等网站。公共服务一方面，政府利用大数据技术把积累的海量历史数据进行挖掘利用，可以提供更为广深的公共服务，另一方面，政府可以通过对卫生、环保等领域的大数据实时分析，提高危机的预判能力，为实现更好、更科学的危机响应提供了技术基础。如在交通系统，随着汽车工业的发展，车辆保有量的不断攀升，车与路，车与环境之间的矛盾日趋加剧，诸如交通堵塞、事故增多、能源浪费和环境污染等问题的恶化，需要通过对历史以及现在的车辆情况、路网情况的实时大数据分析，制定更为优化的系统方案，使车辆行驶在最佳路径上，缩小行车时间、节省燃料、减少环境污染，提高路网通行能力和服务质量。大数据虽然极具价值，但由于类型复杂、规模巨大，不论传统的OLAP数据仓库技术还是新兴的分布式处理技术等单一方案都有特定的短板，不可能满足所有的需求，因此，要真正释放大数据的能量，推动大数据应用并非易事，主要面临着以下问题和挑战。挑战一：基础设施的持续扩展问题IDC公司2012年发布的数据显示，数据总量每两年至少增长一倍，但是硬件基础设施由于摩尔定律失效很难进行无限制扩展，即使是MapReduce等分布式技术的扩展性比OLAP等技术有了重大的提高，但是仍存在扩展上限，如Oracle RAC最大支持100个节点，Hadoop集群技术理论支持4000个节点，并且其设计初衷是建立在大量廉价、低端服务器上的，在充分横向扩展架构的同时也需要纵向扩展才能进一步提升整体性能。与此同时，基础设施规模不断增大也会带来其他的问题，首先是系统的可用性，因为大规模分布系统只要其中一个节点出现故障，就会引起整个系统的恢复，所以分布式系统应该采取多副本、检查点等容错技术。另外，随着系统节点规模的扩展，网络流量的增加是指数级的，网络瓶颈也会制约系统性能的提升，限制系统的可扩展性。挑战二：数据处理的个性化、一体化需求问题大数据时代同时催生了多种数据类型结构，无论是结构化、半结构化还是非结构化的数据，从采集到挖掘都需要精细划分，形成准结构化数据，并在此基础上进行关联性分析，最后呈现挖掘后的结果。在上述过程中，每一个环节对于数据、软件和硬件的要求是不一样的，用单一的软硬件无法满足所有类型应用。更为重要的是，作为大数据应用的主体的行业用户并非都是IT方面的专家，不可能独立实现上述过程以及大数据相关技术方案的整合部署和应用的移植、二次开发，因此就需要一个涵盖数据采集、归类、挖掘、呈现、部署和移植的一体化解决方案。总之，多类型、多维度数据处理环节的复杂性决定了无法依靠单一类型的设备完美处理，为不同的应用类型和数据处理阶段提供针对性的软硬件一体化方案也是大数据应用面临的挑战。挑战三：天价成本问题目前数据存储越来越频繁，相对于存储的低廉价格，大规模数据处理成本仍然较高，特别采用传统的方法，比如构建数据仓库技术通常需花费几千万元，而能够处理数据规模不过是TB级的，平均每TB的成本超过十万元。以此推算，若要处理PB级数据大概需100亿元，这个成本对于很多用户来说无法接受。如何寻找低成本的方案帮助用户实现大数据的处理技术，也将为大数据的应用带来挑战。研究大数据领域对社会和人类、还有学校都具有很大的意义，所以XXX高校建立大数据分析系统是很有必要性的。2.2.4高性能需求XXX高校作为人才培训和学术研究的重要机构，学科主要研究方向有：“网络与通信技术”研究新型网络体系架构，转发与控制分离技术系列标准、关键设备、产业化应用；“信息安全与量子通信”研究量子信息、密码技术、网络和系统安全；“系统建模和先进控制”研究系统建模、智能检测、综合自动化、非线性控制、Petri网；“信息传输与无线网络”研究泛在网络、计算机视觉、融合网络；“信号检测与智能信息处理”研究信号检测、RFID、人工智能、模糊神经系统等。随着研究的加深和项目的增多，现有的设备无法满足教学和研究的需求，有效提升了和增加设备迫在眉睫。三、 数据中心总体规划云资源中心加大数据分析与高性能主要分为计算资源、内存资源、存储资源、网络资源，大数据分析系统，高性能作业调度系统，本项目在充分整合XXX高校数据中心资源的基础上，配置必要软硬件设备，为XXX高校信息系统提供统一的基础设施服务，在IaaS层构建较为完整的XXX高校云计算平台。建设内容包括以下几部分：硬件设备：服务器、存储、SAN交换机、交换机、负载均衡、VPN网关。软件设备：物理服务器和虚拟服务器的操作系统、虚拟化软件、中间件、大型数据库系统、云计算管理平台、Hadoop组件、高性能管理软件、高性能作业调度软件、高性能集群存储系统。安全系统：防火墙、入侵防御、防毒墙、网页防篡改、身份认证系统、运维安全审计系统、数据库安全审计系统、漏洞扫描系统。同时采购专业机构提供的云安全服务等。机房配套设备：UPS、精密空调、标准机架。如上图，XXX高校云计算中心将建设三大块业务中心，分别是云平台虚拟化中心、大数据分析系统和高性能计算中心。并且通过统一管理平台提供对整体云计算中心的统一软硬件管理，为学校云平台虚拟化应用、大数据分析系统、高性能计算业务和管理提供统一界面入口，对服务器虚拟化中心软硬件设施、大数据分析平台硬件设施、高性能计算软硬件设施以及三大业务中心的业务管理提供统一管理运维平台。为学校云计算用户提供业务发布、业务使用、业务管理等功能。服务器虚拟化云中心：在校园云计算资源中心中利用服务器虚拟化技术、存储虚拟化技术和网络虚拟化技术等建设集中统一的服务器虚拟化中心，利用高性能云计算服务器组成虚拟化集群，为各院系提供数以百计，数以千计的弹性虚拟服务器架构，并且提供虚拟服务器的生命周期管理、利用服务器虚拟化的高可用技术提供业务连续性保障。为各院系和校园各业务系统提供弹性可扩展、快速可恢复、安全可靠的服务器基础架构。为旧业务的迁移、新业务的部署提供快速、安全、自动化的业务部署模式。大数据分析系统：高校研究项目众多，教师教学任务等很多都会用到大数据分析平台，大数据将给IT行业开拓一个新的黄金时代，作为成都重要的高校我们有义务在这些前沿科技上做出对人类、社会、四川、成都有帮助的研究并造福人类、造福四川和成都，为提高资源利用率所一建议建立统一的大数据分析平台供学校各学科教学和个科研方向研究使用。高性能计算中心：高校有很多院系都存在需要进行高性能计算的相关业务需求，比如水文分析、化学分子分析、机械模型分析、数据建模等都有高性能计算的需要。如果各院系都自己建设高性能计算平台的话，会造资源的极大浪费。通过在云数据中心建设一套统一的高性能平台，在各院系需要进行相关计算时，进行对应的软件部署，并进行相关业务运算。即可以提高硬件的使用效率，又可以节约资源。本期方案将为学校在云数据中心建设一套高性能计算中心，以便为学校各院系服务。统一管理平台：高校云计算资源中心包括服务器虚拟化中心、校园云盘系统、高性能计算中心等云计算系统，这些系统的维护均有自己的维护页面，再加上云计算中心的硬件设施，维护会非常复杂，为了降低维护和使用难度，提供统一管理平台，为各系统管理员提供统一管理的界面。对各系统进行统一维护，且提供安全保障。在硬件上实现散热、电源、管理功能等非IT资源的集中化和模块化，并利用软件虚拟化技术实现计算、存储等IT资源的池化和集中管理；将非计算部分的存储、网络等IO设备进行池化，机柜内采用高速网络互联，并以软件定义的计算、软件定义的存储和软件定义的网络来满足业务需求，并实现完全的软件定义；将CPU、内存等所有的IT资源完全池化，从硬件上可实现任意组合，根据应用需求智能地分配和组合相关资源，实现完全意义上业务驱动的软件定义数据中心，软件上实现业务驱动和应用感知。四、 云数据中心建设规划云计算平台逻辑架构图云设施即服务(IaaS，Cloud Infrastructure as a Service)：系统供应商可以向用户提供同颗粒度的可度量的计算、存储、网络和单机操作系统等基础资源，用户可以在之上部署或运行各种软件，包括客户操作系统和应用业务。云平台即服务 (PaaS，Cloud Platform as a Service)：云计算平台供应商将业务软件的开发环境、运行环境作为一种服务，通过互联网提交给用户。云平台即服务，需要构建在云基础设施之上。用户可以在云平台供应商提供的开发环境下创建自己业务应用，而且可以直接在云平台的运行环境中上运营自己的业务。云软件即服务(SaaS，Cloud Software as a Service )：运营商通过互联网，向用户提供软件服务的一种软件应用模式。传统的SaaS与云SaaS，在客户体验上基本类似，如新浪邮箱和Gmail邮箱，客户感受是类似的。但传统的SaaS直接构建在硬件设备之上，不能实现后台资源的多租户共享，也无法实现资源的动态流转，实际并不属于云计算的范畴。云SaaS，要求这些软件业务运行在云平台服务层或构建在云基础设施层之上。云SaaS的优势，体现在后台资源的动态伸缩和流转上，资源可扩展性更强，这一重大优势是传统SaaS所不具备的。本方案中云计算平台由资源池、虚拟化平台、云管理平台组成。资源池部分主要有物理设备组成，包括服务器，存储和网络等基础架构资源，通过虚拟化平台对基础架构设备进行池化，从而形成资源池；虚拟化平台就是将物理资源进行池化的软件组合；云计算管理平台就是对底层资源池和虚拟化软件进行管理，并且，针对管理和运维需要，云计算管理平台实现云计算服务的交付和云计算中心用户和流程的管理以及数据中心的监控。4.1 资源池规划什么是资源池云计算的核心特性是利用规模化效应降低单位资源的管理成本和使用成本，而规模化的一个前提是资源的物理集中，因此被管理的资源最好集中在少数几个中心，而不是分布在很多物理位置。云计算资源池是采用池化的办法，把服务器、存储、网络等资源按照不同的标准组织成不同的资源池。通过资源池的管理模式，云计算管理员无需去考虑具体的服务器、存储和网络配置。在一个资源池内，通常可以包括服务器、存储空间、网络端口等，这样，在一个资源池中我们就可以为某一个应用系统提供它所需要的所有计算资源。通过云计算的自动化功能，云计算平台管理员可以方便、快速的在资源池中定制化的选择应用系统需要的计算资源数目,根据业务的应用类型进行云计算平台资源的分配。资源池的特征（1）多实例通过服务器虚拟化，在一个物理服务器上可以运行多个虚拟服务器，即可以支持多个客户操作系统。服务器虚拟化将服务器的逻辑整合到虚拟机中，而物理系统的资源，如CPU，内存，硬盘和网络等，是以可控方式分配给虚拟机的。（2）隔离性在多实例的服务器虚拟化中，一个虚拟机与其他虚拟机完全隔离。通过隔离机制，即便其中的一个或者多个虚拟机崩溃，其他的虚拟机也不会受到影响，虚拟机之间也不会泄露数据。如果多个虚拟机内的进程或者应用程序之间想互相访问，只能通过所配置的网络进行通信，就如同采用虚拟化之前的几个独立的物理服务器之间需要通过网络来访问一样。（3）封装性即相对硬件独立性。在采用了服务器虚拟化智慧，一个完整的虚拟机环境对外表现为一个单一的实体（例如一个虚拟机文件、一个逻辑分区），这样的实体非常便于再不同的硬件间备份、移动和复制等。同时，服务器虚拟化将物理机的硬件封装为标准化的虚拟硬件设备，提供给虚拟机内的操作系统和应用程序，保证了虚拟机的兼容性。（4）高性能与之间在物理机上运行的系统相比，虚拟机与硬件之间多了一个虚拟化抽象层。虚拟化抽象层通过虚拟机监视器VMM或者虚拟化平台来实现，并会产生一定的开销。这些开销为服务器虚拟化的性能损耗。服务器虚拟化的高性能是指虚拟机监视器VMM的开销要被控制在可承受的范围之内。（5）兼容性随着技术的不断推进，新的服务器无法运行原来比较古老的操作系统，例如，某客户很久之前在某个服务器上安装了win2000的操作系统，应用的开发团队因为某些原因解散了，因而用户失去了应用升级的支持。随着时间的发展，原来的服务器已经损耗非常严重，用户希望对服务器进行升级。在没有做相应新的驱动开发的情况下，无法在新的服务器上安装win2000。通过虚拟化技术可以虚拟出一个标准的虚拟硬件设备，兼容稍微陈旧的操作系统。这样就能实现用户应用运行在原有的系统环境中，但是支持用户应用系统是最新架构的、性能强劲的新的服务器。资源池规划要素（1）硬件类型。应该支持同样的虚拟化引擎。例如X86服务器和Power服务器的虚拟化技术不同，它们不能划入同一资源池。（2）性能差异。高端和低端服务器在性能上存在较大差异，如果划入统一资源池，会导致上面的应用体验到不同的性能指标。因此，应该采用统一档次、统一类型的服务器。（3）网络分区。同一资源池应该位于一个局域网，这样可以避免大量数据的跨局域网传输。因此，对于多个数据中心的资源，推荐为每个数据中心独立创建一个资源池。（4）灵活扩展。能够对云计算平台进行设备的热添加。在业务不中断的情况下对资源池进行扩充、对业务进行扩展，确保云计算平台资源池满足当下应用及未来三至五年业务增长的需求。（5）安全隔离。生产系统一般对应用的安全性有很强的要求，因此对服务器及存储资源进行不同程度的隔离，如物理隔离、逻辑隔离（如VLAN）等。云计算的引入不能破坏现有的安全要求，因此资源池的组织也需要按照相应的规则进行。4.2 资源池规划内容资源池建设硬件部分围绕着计算、存储和网络三个方面进行，包括服务器、存储空间、网络端口等。图1. 资源池示意图计算资源池建设规划方案规划为用户云计算平台建设一个高性能计算能力的虚拟机的云计算平台，从而满足用户业务的IT需求。云计算平台要求具备超高的扩展性，动态地对云计算平台进行扩展，以满足业务快速增长的需求。方案采用虚拟化技术，在虚拟化技术中物理服务器计算能力影响着虚拟机性能。将单台物理服务器的计算能力最大化，以便于进行资源池资源动态分配，有别于传统的部门级和企业级服务器。云计算中心的数据库较传统模式更大，所处理的数据规模也将会十倍于、甚至百倍千倍于现在的系统，这些系统需要更大的集中式处理的服务器，而不是集群系统。因此对于底层的硬件资源我们应该从更大规模和尺度去考虑，系统需要有更高的计算性能、更大的内存、更好的可扩展性，本方案中我们建议选择性能更加强劲、扩展性更好的x86八路服务器平台。目前浪潮4路服务器服务器，具备60个计算核心、120个逻辑核心，是传统服务器计算能力的20倍以上。服务器整机采用模块化设计，支持物理分区，具备高性能、高可靠、高扩展、高可用等特性。在性能及可靠性等方面均可与IBM、HP、SUN等传统UNIX小型机竞争，填补了国产品牌的空白，是构建云计算和物联网的最佳选择。存储资源池建设规划统一SAN存储系统：成熟的SAN网络技术，使用存储虚拟化技术进行不同SAN协议和网络的融合，最终向云计算平台提供统一的数据存放接口。目前主流采用8Gb FC主机接口，提供海量存储空间，适合于对于海量数据存放的性能和安全性有较高要求的高校业务应用系统。业务高可用建设规划图2. 业务高可用示意图由上图可以看出，系统采用多台x86服务器，每台服务器运行多个业务系统，后端共同连接一个磁盘阵列。高可用方案能够不间断地监控资源池中的所有服务器并监测服务器故障。放置在每台服务器上的代理会不断向资源池中的其他服务器发送“心跳信号”，而心跳信号的中止会导致所有受影响的业务应用在其他服务器上重新启动。高可用方案确保资源池中始终有充足的资源，以便能够在出现服务器故障时在不同的物理服务器上重新启动业务应用。当服务器上的任意一个业务系统运行出现故障的时候，通过高可用方案管理节点可以在其他两台服务器上按照资源利用情况，重启一个故障的业务应用环境，使业务继续运行下去。即使当一台服务器出现故障的时候，其他两台服务器仍然能够根据资源利用的情况，通过高可用方案管理节点重启已宕服务器上的所有业务应用环境，这样就使整个系统都处于一种HA状态，进而保证了整个系统业务运行的连续性。同时减少了硬件投入数量和开销。4.3 虚拟化软件选型规划虚拟化技术的诞生已经有将近30年的历史。它曾经用于一些大规模