1、教育云平台建设方案编 制 审 核 批 准 北京达沃时代科技 年 04 月 29 日目 录第1章 项目概况11.1 项目背景11.2 教育信息化发展总体特征11.3 面临问题21.4 建设目标31.5 所处理问题4第2章 设计方案52.1 设计标准52.2 总体架构52.2.1 逻辑架构52.2.2 技术架构72.2.3 布署架构92.2.4 方案优势92.3 总体性能要求112.3.1 存放容量要求112.3.2 计算资源要求11第3章 基础设施层123.1 总体方案拓扑123.1.1 逻辑架构123.1.2 组成123.2 虚拟化云平台建设133.2.1 系统特征143.2.2 虚拟化系统硬
2、件构建选型193.3 集群存放系统建设203.3.1 系统组成213.3.2 系统特征223.4 云平台网络系统建设28第4章 设备配置29第1章 项目概况1.1 项目背景伴随教育信息化不停推进和教育改革不停深化,多年中小学校园信息化建设成为中国基础教育发展关键。3月,教育部公布了教育信息化十年发展计划(),文中明确提出了“充足整合现有资源,采取云计算技术,形成资源配置和服务集约化发展路径,构建稳定可靠、低成本国家教育云服务模式”。9月5日国务院副总理刘延东(时任国务委员),在全国教育信息化工作电视电话会议上提出:要以建设好“三通两平台”为抓手,也就是“宽带网络校校通、优质资源班班通、网络学习
3、空间人人通”,建设教育资源公共服务平台和教育管理公共服务平台,为中国教育工作深入发展指明了方向。教育信息化是衡量一个国家和地域教育发展水平关键标志,实现教育现代化、创新教学模式、提升教育质量,迫切需要大力推进教育信息化。1.2 教育信息化发展总体特征目前,从全国基础教育信息化建设发展进程来看,有以下部分基础趋势。(1)基础教育信息化建设正从普及期走向整合期,怎样将日益广泛存在硬件设施、海量数字化资源、多种有效信息化教学模式整合和应用到广大一线老师例常化教学行为中,推进信息化教学方法,并深刻培养学生信息化学习方法,使得信息技术教育教学应用向常规化方向发展。(2)自以来,信息技术和教育整合有效性已
4、清楚地演化成两个发展关键:一是高可用性区域级信息化支撑基础平台/设施/环境;二是广大老师及学生群体个体化信息化素养提升,伴伴随信息化进程加深,上述步骤作用正日益凸现。(3)从信息技术和教育系统耦合整体要素来看,支持老师有效教学和促进老师专业发展正成为深化信息技术有效应用关键突破点,而打造在线互动学习环境、培养学生在线学习习惯、促进学生自主学习和自我发展正成为信息技术教育应用新路标。1.3 面临问题从信息化角度来看,中小学教育工作在开展过程中面临以下问题。(1)校园网络建设发展不平衡学校校园网络是信息时代老师和学生经过网络获取教育信息和学习资源关键渠道,是衡量学校教育信息化关键指标。即使“校校通
5、”工程使中国一部分中小学能接上了网络,不过只有部分关键中小学校开通了校园网络,拥有独立网站及专职网管人员。大部分中小学全部没有自己独立网站及专职网管人员。(2)教育信息资源建设滞后信息资源建设是实现教育信息化关键,内容包含各科学习视频、教学课件、电子教案、练习资料、试题样卷、学科网络资料、课外资料及师生交流小区等等。信息资源建设滞后在目前中小学教育信息化建设当中普遍存在,关键表现在缺乏对应学科多种信息资源或学科多种信息资源极少;网站内容陈旧,更新不立即等。(3)教育信息资源共享程度低信息资源共享程度低,关键受到以下多个原因影响: 教育平台标准不一样 信息资源建设滞后 部分名校不愿把优异教育信息
6、资源共享 老师教育信息资源共享主动性不高,或没有条件把教育资源放到网上共享。(4)教育信息化软硬件配置不均衡在学校教育信息化建设中,现在普遍存在重硬件投入、轻软件建设问题,侧重于硬件等基础设施建设,如:服务器、路由器、交换机、网络建设及电脑配置等;不过软件建设却相正确滞后,关键表现在专业人员配置缺乏,专职管理人员少、兼职管理人员多,校园网络各项管理制度和规范建设不完备,网络建设和应用建设并未同时进行等。(5)网络利用不高即使建立了校园网络,但校园网络处于闲置状态,网络利用不高。学生缺乏网络学习主动性,学生访问校园网受到限制(很多资源在校外网不能访问或访问速度过慢),校园网里面资源对学生吸引力不
7、大。1.4 建设目标教育云服务平台,是云计算在教育领域中迁移,是利用教育信息化所需一切硬件资源构建基础设施,加载丰富数据资源,提供给教育机构、教育管理机构、教育从业人员、学生、家长和社会公众所需服务云计算平台。(1)建设基础云环境采取优异计算、存放、网络虚拟化技术,融合基础设施,建设覆盖全县、分布合理、开放基础云环境,提供海量数据存放能力和强大数据处理能力,实现全局环境服务通信、数据交换、资源监控和资源调度,为运行于云之上应用和业务提供基础运行环境。(2)建立教育信息资源库整合全县教学、教研、教务等资源,形成全局数据视图,为教育资源管理提升和深入开发奠定基础,从而处理教学资源需求连续增加和教育
8、投入增加不足、教学资源相对短缺矛盾,提升优质教学资源利用率。(3)构建教育应用平台,为教育机构、教育管理机构、教育从业人员、学生、家长和社会公众提供所需应用服务。(4)适应未来发展为教育信息化应用奠定柔性扩展基础,优化教育信息化建设和服务模型,实现传统模式向“三通两平台”下教育模式平稳过渡。1.5 所处理问题节省硬件设备投入成本:云计算扩展性很强,多个学校能够将现有硬件资源共同加入到一个“云”中,降低单个学校在资金和时间上投入, 并实 现真正意义上资源共享。云存放中心更安全可靠:因为对教育信息资源 建设投入不停加大,各个学校全部积累了大量教育 信息资源。数据存放安全性、可靠性显得越来越重 要。
9、学校使用云计算服务时,有技术优异数据中心来帮助保留数据,有强大技术管理团体来帮助管理 提交数据和程序,可为学校提供可靠和安全数据存放中心。整合教育资源:云计算模式最小化了终端设备需求,在一个云计算环境中,不仅是课堂个人电脑、试验室全部能够从“云”中取得,在“云”中存放,让全部学生随时随地进行学习。能够处理教学资源需求连续增加和教育投入增加不足、教学资源相对短缺矛盾,又能够提升优质教学资源利用率,让更多学 生取得优质受教育机会。第2章 设计方案2.1 设计标准 坚持以需求为主导、以应用为关键标准紧紧围绕目前教育工作迫切需求,坚持以校本服务指导方针,主动推进教育信息资源深入挖掘和综合利用。 坚持平
10、台模块化开发、分布和集中相结合标准采取分层灵活架构,采取云计算、分布式存放等最新技术,不停提升项目服务性能,经过将业务模型资源和项目实现技术相分离,从根本上提升管理系统技术无关性。 坚持实用性、优异性、可扩展性相结合标准项目设计要有前瞻意识,必需着眼长远,坚持高起点计划、高标准要求。设计必需采取成熟技术,同时依据信息系统发展趋势,在设计中充足考虑到未来可能发展。 坚持智能维护、扩展标准需要含有完备智能维护、扩展功效,能符合教育信息化整体趋势,为以后项目标功效扩展、升级留有接口,并有利于系统推广应用和再次开发。2.2 总体架构2.2.1 逻辑架构基于虚拟化及云计算管理技术,实现区级网络、技术、带
11、宽资源统一管理已经成为可能。这能够经过两种方法实现:一个是集中布署、统一分配、分散管理、分散使用、统一监控;另一个是分散布署、分散管理、分散使用、统一监控。前一个模式,硬件资源集中布署在县教育云中心,统一对计算、带宽、存放资源进行虚拟化,构建成全县整体资源池。由县教育云中心对资源依据需要进行分割,分配给各级学校使用,各学校能够自主管理和使用由区分配资源池,教育云中心能够集中监控多种资源状态和使用情况。各学校能够依据需要向云中心申请更多资源,而云中心依据需要随时调整资源分配。这种模式实际上是由区统一提供硬件、网络资源,由学校来使用。这么硬件、网络维护负担由云中心统筹管理,每个学校则免去了这部分工
12、作负担,也增加了全区范围内资源分配响应性。不过,这种模式对网络带宽和可用性要求比较高。后一个模式,保留现在布署方法,每个学校建设自己硬件和网络资源,不过学校硬件和网络资源依据规范进行统一池化,并注册到统一云计算管理平台。这种模式下,每个学校能够依据需要建设自己资源池,校级资源池分配、管理和使用由学校本身负责,云中心能够监控校级资源状态和使用情况。这种模式硬件资源重用在学校粒度上发生,不利于全县资源调配,但能够使得云中心掌握全区资源情况,保障全县硬件资源在统一规范下进行管理,对硬件资源建设进行统一计划。鉴于以上分析,考虑到各校IT维护力量比较微弱,提议在网络条件许可情况下,进行第一个模式建设。图
13、 1 逻辑架构图如上图所表示,各学校经过光纤链路直接连接到教育云服务中心,由云中心统一为各学校和用户提供服务。2.2.2 技术架构图 2 技术架构图总体架构共分为五层,如上图所表示,自底向上依次为接入层、基础设施层、资源层、服务层、用户层。(1)接入层接入层关键实现信息资源接入,包含: 各学校监控区域实时监控视频; 烟雾、温度、湿度等环境监测系统; 门磁、门禁、周界报警等安全防护系统; 教育示范课录播平台。(2)基础设施层基础设施层关键为教育云服务平台提供资源池化硬件基础环境并配置管理调度和监控功效。基础设施层建立在超融合服务器集群、网络设备和数据库集群基础上,统一为平台提供虚拟化计算资源、统
14、一文件存放环境和数据库环境。(3)资源层资源层是整个平台文件和数据库资源,是云服务平台关键数据分类存放区。其汉字件存放用于实时监控视频、示范课视频、网络教程、媒体素材、题库、课件等文件集中存放,数据库用于老师信息、教务信息、学校信息、教研信息等业务数据库存放。(4)服务层服务层为教育云服务平台对外提供访问窗口,由教学服务平台、教研服务平台、管理服务平台、学校和测评服务平台、资源服务平台和视频统一管理平台组成。(5)用户层用户层关键包含教育管理用户、学生用户、家长用户、老师用户和社会公众用户等。(6)教育云支撑技术相关规范教育云支撑技术相关规范包含教育云平台管理规范、教育云开放服务接口规范、教育
15、云数据存放规范、教育云数据采集规范、教育云认证和授权规范、云端教育资源权利描述规范。它是教育云服务平台中处理教育、教学、管理业务关键技术支撑规范。在这个层面,云平台在对平台本身进行管理同时,还需要对外提供统一服务接口,使用统一数据采集和数据存放规范,确保数据在源头上统一,为以后数据利用、传输和互操作奠定基础。(7)教育云应用相关规范教育云应用相关规范包含云端教育资源元数据规范、云端应用和服务接入和使用规范、云端教育资源分类和标识规范、云端教育资源推送服务接口规范、云端学习分析规范。云端教育资源元数据规范意在对云平台注册应用和服务、学习资源进行描述,使用户能快速有效地在资源云海找到特定资源和服务
16、应用,促进资源共享。云端应用和服务接入和使用规范关键在于规范外部应用接入平台统一接口和接入要求,规范接入到云平台应用和服务。云端教育资源分类和标识规范意在根据不一样维度对云端教育资源进行分类并标识,是资源统一管理基础。云端教育资源推送服务接口规范为不一样学习者推送适合学生个性化学习资源规范统一服务接口。学习分析规范基于在平台中产生过程性和结果性数据对学习进行多维度分析和评价,为学生个性化学习提供指导。资源权利描述规范从内容和服务版权角度对云端资源进行版权保护,协调资源供给方和使用方利益。教育云应用相关规范是确保教育云应用和服务含有较高可利用性和互操作 性关键规范。2.2.3 布署架构2.2.4
17、 方案优势教育云服务平台将深入规范化区域教育信息化建设,并提升全县应用价值和管理水平。 实现硬件资源集约化管理,降低总体拥成本(TCO)教育云建设,将实现硬件、网络、存放资源池化管理,实现全县基础设施资源集约化管理和响应性分配。基础设施云建设,实现硬件资源在云中心集中布署和维护,大大减轻了学校维护成本和人员负担。云中心能够依据学校需求,灵活分配对应容量主机和存放资源,而且能够时刻掌握这些资源使用情况,并依据需要回收空闲资源,这些操作只要经过一个管理界面就轻松完成。建设过程中,能够充足利用陈旧服务器设备,提升服务器资源利用率。而且,实现硬件整合,在支持相同数量应用及用户时,比传统模式总体上降低服
18、务器硬件数量,从而总体上降低了硬件维护成本及网络运行成本。 提升区域教育数字资源整合能力传统模式中,各学校各个应用全部是独立建设,这些应用生成数字资源形成一个个数据孤岛。基于数据交换技术能够处理部分应用间数字资源整合问题,不过当应用数量不停增加时,带来交换复杂性会无法管理,对于全县资源整合,不适合完全依靠于交换技术来实现。云服务平台基于云存放实现数字资源统一存放、统一索引,基于应用云构建统一数字资源处理层。构建于平台之上教育应用,在授权基础上能够直接访问平台中任何一个数字资源,甚至是其它应用产生资源。在部分业务场景,仍然需要经过数据交换实现整合,但此时交换只是资源平台标识,而不是资源内容,因为
19、应用能够经过标识向平台索取资源内容。此时,应用产生资源统一存放到平台中,而应用之间数据共享变得直接透明,这就大大提升了区教育数字资源整合能力。 促进区域信息技术和教育教学融合信息技术和教育教学融合需要经历一个不停探究、不停创新过程,每往前走一步,全部要依靠和前人智慧和经验。在这个过程中,常常需要重用以往数据结果和应用结果,而不是每次全部是从无到有构建过程。云服务平台使数据沉淀、应用沉淀成为可能,而且这种沉淀是以重用为目标。平台应用不停建设,使得以后者能够借鉴、重用资源就会不停积累,从而加紧技术和教育融合。当这种积累和沉淀范围打破学校边界,发生在整个区域时,效果将愈加显著。 成为学校信息化建设催
20、化剂学校信息化建设面临硬件和软件两部分问题。云服务平台处理了学校硬件建设问题,学校只需要依据需求向信息中心申请存放、计算和带宽资源,而不需要自己建设和维护,从而省去了这部分时间和人员消耗。对于软件部分来说,存在大部分类似业务应用,能够有区统一建设,开通给每个学校使用。另外,学校会依据实际情况建设个性化或创新应用,这些应用建设能够直接使用平台数据结果和应用结果,从而加速应用开发。最终,经过授权能够访问其它学校创新应用,从而借鉴其它学校优异结果,加速本校应用建设。 实现区域教育信息化建设效能累加模式云服务平台建设会大大提升信息化建设规范程度。为了实现数据 和功效沉淀,平台会建设对应规范接口,并公布
21、平台数据描述、功效描述 及业务描述标准。植入平台应用须要遵照这些规范,才能利用平台提供多种 数据和功效。而一旦应用迁移到平台上,其生成数据将沉淀到平台中,其提供功效也成为平台服务。这实际上组成一个信息化系统建设生态环境,组成教育信息化建设效能累加。 大大提升区域教育信息系统应用价值和用户体验云服务平台采取优异云计算架构,最大程度实现了全县范围内数据融合和应用融合。不一样学校人员经过平台能够随时互动,发生数据共享和交换;不一样学校产生数据,能够一起进行分析和展现;不一样应用能够随时访问对方数据。应用能够访问更丰富关联数据,能够借助更多其它应用功效完成自己工作时,就会为用户提供更大价值。而用户在使
22、用单一应用时,就能够获取到其它应用产生相关数据时,则会大大提升应用用户体验。2.3 总体性能要求2.3.1 存放容量要求2.3.1.1 视频接入设计要求设计接入高清视频1000路,单路视频码流为2Mbps,存放1星期,根据磁盘空间90%利用率,所需存放容量为160TB,两副本存放,所需存放空间为320TB。2.3.1.2 其它设计网络教程、媒体素材、题库、课件等文件存放量为50TB,两副本存放,所需存放空间为100TB。2.3.2 计算资源要求设计虚机数量大于40台,每台虚机最少为1颗虚拟CPU,2G以上内存,100G以上存放空间。第3章 基础设施层3.1 总体方案拓扑3.1.1 逻辑架构图
23、3 逻辑架构图本计划逻辑图由存放层、计算层、业务层三部分组成: 存放层由含有良好可扩展性、高可靠性集群存放系统组成,整个存放层为计算层计算提供存放资源访问支撑。 计算层以标准X86服务器为硬件基础,以云管理、服务器虚拟化为关键进行建设,为应用系统提供灵活资源分配、快速应用支撑环境构建能力。 应用层以计算层为基础,直接构建在计算层提供计算、存放虚拟资源之上,并含有直接访问底层存放层能力,以实现海量数据高速存放访问。3.1.2 组成图 4 云管理系统组成本节将描述各部分具体硬件组成和层级直接连接系统: 存放层基于标准X86服务器为硬件基础,利用每台服务器多块SSD、SATA磁盘构建含有高可靠性、高
24、IOPS能力集群存放系统YeeStor。集群存放系统采取标准POSIX接口经过以太网为计算层提供虚拟机镜像存放支撑服务,并为未来业务层提供海量数据存放访问支持。 计算层服务器采取标准高性能X86服务器构建,利用高性能服务器实现多虚拟机资源支撑,虚拟化技术统一采取KVM技术支撑。对于应用层则经过以太网构建业务访问网络,保持各应用系统原有使用模式。 应用层包含多类应用,运行在云计算虚拟化提供Linux、Win虚拟机中,利用云计算虚拟化平台支撑能力实现系统高可用、系统能力按需调用,以保障其愈加可靠、高效稳定运行。3.2 虚拟化云平台建设计算池关键为服务器虚拟化,设备数量伴随系统规模增加后期设备会越来
25、越多,且需要针对不一样应用系统提供差异化服务,所以为了实现整体系统有效管理,将采取统一管理平台来实现对硬件资源虚拟化和虚拟化云管理。平台需要经过单一Web界面提供广泛管理功效,包含资源池管理,网络管理,服务产品管理,资源监控。在此提议采取利用EasyCloud平台进行统一管理和服务。图 5 EasyCloud平台3.2.1 系统特征3.2.1.1 计算资源复用在将服务器硬件资源虚拟化后,其CPU、内存等资源为多台虚拟机共享使用,在应用系统虚拟机创建时需要指派定量CPU和存放资源,理论上多台虚拟机CPU和内存分配资源综合等于物理服务器资源配置。但在实际运行环境中,各应用系统不会将分配给自己CPU
26、、内存资源用到100%,所以可能仍然存在一定资源浪费。图 6 计算资源服用为了处理此问题,本方案EasyCloud云管理系统提供CPU和内存超量配置功效,以物理服务器CPU、内存配置为基础单位,在此基础上进行倍率增加,这么云管理系统会认为该物理设备能够分配更多资源,从而也就能够建立更多虚拟机。当某台虚拟机运行所需实际资源不足时则能够利用本平台负载迁移功效进行整体迁移。3.2.1.2 个性化网络服务作为整体云平台管理系统,应用网络也是其关键组成部分之一。在传统IT系统中,应用服务器网络安全、集群负载处理等需要专门设备来提供,而在虚拟环境假如没有有效方法,则在虚拟化服务器内部多台虚拟机之间网络则成
27、了完全透明无保障环境,为了处理此问题需要在虚拟化服务器系统内部进行合适隔离、策略定制。图 7 网络管理云管理平台为了处理以上问题,提供了可针对掌握不一样资源不一样用户差异化网络管理方案。每一个掌握有资源用户,均可建立自己独立网络环境,并由云管理工具提供诸如防火墙、地址映射、负载均衡等网络管理功效,这么每个用户就能够针对自己环境进行针对性配置,以保障应用系统访问安全、高效。3.2.1.3 多等级用户管理在云计算环境中,使用少许虚拟化服务器替换了大量物理机,怎样有效对资源进行分配和管理将成为考验每位IT系统管理人员能力基础指标。而在超大规模环境下,IT管理人员往往只进行设备管理,应用系统对于CPU
28、、内存、磁盘等资源需求往往只是遵照前端业务人员提供信息,而伴随业务数量、类型增加,管理工作会变异常复杂、耗时。图 8 用户管理为了处理此问题,云管理平台提出了用户分级管理模式,特权管理员能够管理全部资源能够直接建立虚拟机直接分配给相关应用。同时管理人员还能够将一定量CPU、内存、磁盘空间、vlan数量可量化资源分配给某一个team管理人员,最终到了最熟悉应用环境布署人员手中,既减轻了特权管理员工作量,同时也实现了对资源最好配置、最好利用。最终达成:云平台由运维中心管理,各应用模块及接入单位自己管理维护自己小云(虚拟机系统)。3.2.1.4 快速布署传统数据中心中经过多年实践,为了实现应用系统快
29、速布署多采取镜像分发模式,针对每个应用提供一整套镜像,每个应用布署时需要经过批量分发网络配置镜像分发系统空间微调网络分配等一系列步骤,即使相比逐台安装、配置缩短了布署时间,但在大规模环境下布署和变更仍然是一个很大工作量。图 9 快速布署为了处理此问题,云管理平台从多个角度入手,提供了整体系统快速布署处理方案。 首先采取系统模板技术,为每个应用制作了统一操作系统,一旦应用需要布署直接选择对应模板即可。 其次在系统布署过程中提供了友好导航界面,只需点几下鼠标,不一样CPU、内存、数据磁盘、应用网络便快速匹配到所要建立虚拟机之上。 另外,在系统内部网络无法连通情况下,云管理平台提供了终端显示功效,有
30、了终端显示功效就如为虚拟机接入了显示器和键盘,能够在排出网络环境条件下进行系统调试、设置。3.2.1.5 资源监控面对大规模系统,怎样有效管理需要多个路径提供依据,其中最关键依据便是来自于系统整体资源监控。当系统利用云计算技术进行布署以后,原有监控手段已经无法正确表现资源使用情况,所以本方案中云管理平台针对实际情况开发了自有含有针对性监控模块。图 10 资源监控云管理平台资源监控包含了CPU、内存、网络、存放、IP等方方面面监控,一旦管理代理被布署到云计算服务器上,便自动搜集服务器可用性及性能信息,立即通知管理员潜在问题,使得管理员能够掌握峰值,并灵活依据需要调整临界值。3.2.1.6 业务可
31、连续性保障业务连续性保障是数据中心建设需要提供有效保障之一,尤其是在利用云计算技术构建基础平台后,每台虚拟化服务器全部承载着数台虚拟机且会包含到多个应用,一旦系统发生负载能力不足、硬件损坏等故障,将直接对大量应用造成影响,所以怎样保障业务可连续性将成为云计算平台选型基础考量指标质之一。3.2.2 虚拟化系统硬件构建选型 多路多关键CPU服务器使用多路多关键使得一台服务器能够支持处理更多并发软件任务,对于虚拟化来说将能够提供更多虚拟机同时运行,这么就能够以愈加低廉成本、取得更高效处理能力。同时在一台服务器中采取多路处理器,则意味着能够在单位设备中提供更高处理能力,能为更多虚拟机提供计算服务。 大
32、容量内存虚拟机在分配时,除了cpu计算能力外,内存大小也将是其性能保障关键选项之一,应用程序首先全部要读到内存,CPU才能对内存中数据进行操作,应用服务器在配置布署时对内存全部有着标准容量需求,在采取服务器虚拟化技术后,一台物理服务器内存将同时支撑其上运行多台虚拟机使用,更多内存则意味着能够支撑个更多数量虚拟机运行,也就意味着降低物理设备数量,为节能、减排提供有效保障。所以在选择服务器时,需要服务器能够容纳更多物理内存容量,尽可能选择含有多内存插槽、支持高主频、支持单条内存容量能够达成8GB以上产品。 支持硬件虚拟化在选择服务器时,处理器是否支持虚拟化将是必需选项之一。现在流行虚拟化平台均需要
33、CPU从底层支撑虚拟化技术。现在支持CPU虚拟化技术包含:(1)Intel虚拟化技术VT:Intel虚拟化技术VT是一个硬件方案,支持虚拟技术CPU带有尤其优化过指令集来控制虚拟过程,经过这些指令集,VMM会很轻易提升性能,相比软件虚拟实现方法会很大程度上提升性能。(2)AMD虚拟化技术AMD-V: AMD企业推出了支持虚拟化硬件辅助技术AMD-V。含有AMD-V功效处理器中,有一套指令用于帮助VMM进行虚拟化,从而有效降低了虚拟化开销,提升性能。3.3 集群存放系统建设YeeStor存放池将作为虚拟机磁盘、应用系统海量数据文件存放支持,它含有高可靠性、高吞吐高IOPS能力、在线扩展和基于标准
34、X86构建等个适适用于云计算、虚拟化环境优异特征。YeeStor集群存放系统利用集群式文件系统软件、标准X86架构存放服务器和热插拔高速SSD磁盘、大容量SATA磁盘构建,对上层云计算虚拟化提供高效IOPS支持、高吞吐能力支持。其目标是“存得住-支持海量数据存放;读得出-含有较高性能;用得好-使用方便灵活”,帮助用户应对IT系统存放基础设施面临挑战。YeeStor集群存放系统有着和业内最优异规模最大存放系统谷歌-FS(GFS)相同要求,比如性能,可扩展性,可靠性,和可用性等。3.3.1 系统组成图 11 系统组成分布式集群存放系统由四部分组成 元数据服务器集群(MDSC Meta Data S
35、erver Cluster):存放整个文件系统元数据,管理整个文件系统名字空间。提供单一系统映像,布署在一组通用X86 结构PC服务器上。 对象存放服务器集群(OSSC Object Storage Server Cluster):存放应用系统文件数据,含有故障探测、自我修复功效,内置独特文件存放和备份机制,每个文件被系统分割成多块后按一定规则存放在多个存放服务器中,而且每块文件在其它服务器中最少有1份备份(依据安全和性能需求可设定为多份),这些软件布署在一组通用X86 结构PC服务器上。 访问用户端(AP:Access Point)对上层提供标准POSIX语义访问接口和统一文件系统映像,响应
36、上层应用对文件访问请求并经过内部私有协议高速访问后端集群存放上文件数据。访问用户端软件替换操作系统中原有文件访问接口,能够安装在应用系统服务器上,对应用系统提供访问存放文件支撑,也能够单独安装在一组服务器上并和NFS系统结合对外提供统一虚拟存放池。 网络支持,分布式集群存放系统提供了标准以太网连接,支持千兆以太网、万兆以太网和IP O IB连接模式。3.3.2 系统特征3.3.2.1 存放空间复用能力图 12 空间复用集群存放系统含有支持空洞文件特征,在建立虚拟机镜像文件时不需要将实际空间占满,初始创建只需要创建头尾标识既可,伴随虚拟机磁盘汉字件数量增加空洞文件会慢慢被填满,真正做到了按需使用
37、。基于此特征分布式集群存放系统将能够为前端虚拟化服务器子系统提供几倍于自己实际存放空间可分配虚拟磁盘空间,达成存放空间复用效果。另外,伴随虚拟磁盘文件数量不停增加,分布式集群文件系统空间也将逐步填满,而在系统配置时虚拟磁盘总计划空间大幅度超出了分布式集群存放实际空间,为此分布式集群存放系统将采取空间预警信息,在存放空间实际占用超出80%即提醒扩容。3.3.2.2 高效IOPS支持在传统模式中,应用服务器往往单独使用存放,配置存放IO能力只需要支撑本身应用即可,而当此环境变为云计算虚拟化环境后,每台物理服务器将运行多台虚拟机将支撑多个应用系统,所以也就需要存放系统能够同时应对多个应用系统整体IO
38、支撑。在IO支撑方面,有两个关键指标,一个是吞吐量、一个是IOPS,本节将分别叙述YeeStor是怎样适配虚拟化环境提供良好支撑。 并发访问保障高吞吐能力图 13 高吞吐能力YeeStor集群存放系统采取带外架构,可扩展元数据服务器组能够良好支撑无限量并发访问请求,同时多台存放设备能够同时提供访问服务,其吞吐能力随存放设备数量增多而呈近线性增加,完全能够满足多应用系统并发访问吞吐能力要求。同时,YeeStor集群存放系统采取多副本技术,每一份数据副本全部是能够被前端虚拟化服务器和应用程序所访问和使用,所以集群存放系统多副本模式首先保障了系统稳定性,同时也为应用提供了更高存放访问效率。 极速IO
39、PS能力图 14 极速IO能力YeeStor集群存放系统针对云计算虚拟化环境大量并发访问,提供了高效IOPS支撑能力。利用特有内存优化技术、磁盘缓存技术提供了大量小文件并发写能力(配置7200转磁盘数量1500 IOPS);同时在文件写入时将数据复制到SSD磁盘并结合热点文件缓存技术,为每台虚拟化服务器支撑上层应用访问40000 IOPS(SSD磁盘为Intel DC S3700)极速读取能力。另外,YeeStor针对云计算虚拟化环境设计读写分离技术,将可保障SSD写操作将到最低,大幅度缓解SSD磁盘写放大问题,延长SSD设备整体服务周期。3.3.2.3 更高可靠性YeeStor集群存放系统在
40、设计之初即把多种故障看成常规现象考虑,针对多种故障均制订对应处理方案,相比传统存放在可靠性方面要更有保障。图 15 高可靠保障针对磁盘故障和存放服务器故障,YeeStor集群存放系统则抛弃了传统RAID技术而采取创新数据副本作为数据保护模式,依据数据副本数量它将准许整台存放设备损坏,同时因为采取磁盘直连模式,存放设备故障后只要磁盘不受到较大冲击,其数据仍可保障其完整性。3.3.2.4 存放空间免计划图 16 存放免计划对于传统磁盘阵列,往往需要依据应用进行存放空间计划,且为了实现多年服务支撑能力往往需要提前分配较大存放空间。这么一来,需要进行充足调研、具体了解应用类型、文件大小、几年内发展情况
41、。一旦计划不好,未来将可能面临某一应用数据空间已满而其它应用存放空间还大幅度剩下问题。而对于YeeStor集群存放系统来说,其本身为共享型文件系统,全部应用共享使用全部存放空间,不用提前针对应用进行空间分配,伴随整体系统存放当空间占用达成80%会报警提醒扩容,且因为其独特架构在扩容时完全实现在线增加存放空间而不对应用造成任何影响。3.3.2.5 在线扩容能力图 17 在线扩容YeeStor集群式文件存放系统支持元数据服务器、存放服务器在线扩展,在扩展实施同时将保障前端系统服务连续性。当扩容完成,在挂载目录属性中能够立即看到使用空间已经大幅增加。集群式文件存放系统在扩展元数据服务器、存放服务器规
42、模同时,文件访问处理效率和文件读取聚合带宽也将成近线性提升。满足应用规模扩展对存放系统扩展、性能要求提升要求。3.3.2.6 良好兼容性图 18 良好兼容性集群存放系统关键是软件,其硬件支撑平台为标准X86服务器,不管是Intel处理器还是AMD处理器只要是X86架构即可,不管您选择是HP、DELL还是曙光、联想服务器,只要是标准X86服务器不管是什么时期、不管什么型号均可作为硬件平台,不再受厂商、型号、采购时间限制。为产品选型及未来系统升级、维护带来来便利。3.4 云平台网络系统建设图 19 网络系统为了保障数据高安全性,提议采取存放网络和应用网络相分离策略。为了使融合服务器能够取得最好存放
43、IO能力,使网络不成为制约原因,需要为为每台融合均配置双网卡并进行绑定,考虑到一台融合服务器支撑多台虚拟机,且有应用数据需要直接访问底层存放要求,提议存放网交换机采取万兆交换机。第4章 设备配置设备总体造价为xxxx元RMB,见下表所表示。表 1 设备配置序号名称规格参数数量单位单价(元)小计(元)1云管理服务器a)机架式服务器;b)Intel xeon E5 2620v2*1;c)DDR3内存 16GB,2块300GB 10K系统磁盘,4块3TB 7200转磁盘;d)4块千兆网卡、IPMI管理口、冗余电源。2台2融合服务器a)机架式服务器;b)Intel xeonE5 2620v2*1;c)
44、DDR4内存 32GB,2块300GB系统磁盘,1块480GB SSD 2.5寸磁盘,10块 4TB 7200转磁盘(none raid);d)双万兆网卡;双千兆网卡;IPMI管理口;4块千兆网卡,IPMI管理口,冗余电源。11台3万兆存放交换机24口万兆交换机,支持堆叠1台4千兆业务交换机48口三层千兆交换机1台5集群存放软件-容量授权a)非对称分布式集群架构,独立元数据管理,数据分布存放于各数据节点;b)纯自主国产设计,非基于开源软件或OEM国外产品;c)单套系统最大容量60PB,单目录支持1000万文件存放,单文件最大支持64TB,自动容量均衡,在线扩容,支持基于用户磁盘配额;d)支持空
45、洞文件,可升级为广域文件系统,实现多地域间跨地域数据中心统一全名空间、数据共享和权限管理;e)同时许可N-1块硬盘或N-1个节点同时故障,不影响业务运行,可指定对存放池、目录、文件创建副本策略,细粒度备份管理,节省存放空间提供汉字图形化Web管理界面和CLI命令行管理能力;f)针对Hadoop提供专用接口,能够和MapReduce无缝融合;g)分布式元数据管理,元数据节点采取集群模式并支持按需扩展,元数据节点(MDS)全活集群同时对外服务,非单点或主备模式,最少配置三元数据节点,支持元数据快照保护。440个6云平台软件a)兼容目前主流虚拟化平台(包含VMWare、KVM、XenServer、Hyper-V)、采取Intel VT和AMD-V硬件虚拟化技术,支持Intel扩展页表技术;b)可提供跨物理区域统一管理功效,实现多数据中心多节点资源统一管理;按需按要求提供给用户不限制数量虚拟计算资源;c)资源管理:支持虚拟机生命周期管理,含有多等级用户管理模式;d)提供vDC功效,支持从逻辑上对集群计算、存放、网络资源按用户或组织进行资源逻辑配额分配。11个累计