云计算资源池建设方案教学内容.ppt

北京天云融北京天云融创科技有限公司科技有限公司SkyCloud Technology Ltd.郑州高新区云州高新区云计算算资源池源池建建设方案方案传统平台的问题基于传统平台部署的IT资源配置模式-“烟囱式”结构。部门A部门B部门Z传统“烟囱式”数据中心的缺陷资源利用率低下的原因为应付少量峰值负载而过度配置服务器需要的CPU数量时间用户发展迅速，流量快速增加用户自定义内容、大规模数据处理迅速增加业务发展不平衡，资源利用不平衡6“冰山模式”-传统数据中心的成本支出结构看的看的见的花的花费：30%预算用于新基础设施建设和新应用开发看不看不见的花的花费：70%预算用于现有设施维护和人员支出问题：如何节省运营性支出把预算更多地用于IT基础设施创新？主要成本在向电力冷却与维护转移Source:The IT Infrastructure of the Future:New Technologies in a Constrained Market,Matt Eastwood,March 2009电力与管理力与管理成本占有超成本占有超过2/3的的IT预算算自动化虚拟化安全系统平台和支持服务实现新一代数据中心的关键因素传统数据中心新一代数据中心关键支持因素高成本烟囱式IT低成本共享IT资源池7x24自自动运行运行电源和冷却统一管理工业标准高伸缩性IT支持服务高能效比的计算方式内置安全机制和主动式安全防护资源的池化和优化，容易共享根据业务需要自动调整资源分配统一的基础设施管理超云服务器云存储分布式文件系统分布式数据库天云专业电源和冷却解决方案SkyCloud SkyCloud 云云计算算环境境（Cloud Computing Environment）TCoud云平台介绍TCloud 云云计算操作系算操作系统供给配置监测多客户共享优化安全云间互操作开放接口计算存储网络应用应用商店商店电子电子书店书店社交社交网络网络商业商业应用应用挖掘挖掘和分析和分析游戏游戏广告广告,市场活动市场活动数字数字内容内容云应用平台开放接口动态负载配置及 优化自适应配比及 加速开发部署发布TCloud 云云应用平台用平台云安全TCloud产品Roadmap低总体拥有成本(TCO)集中物理服集中物理服务器，器，进行行资源整合源整合可以利旧现有设备资源充分利用，资源使用的优化节省机房电力、空间和制冷方面的投入更少的硬件和维护费用提升系统的运作效率提升IT支撑系统性能和响应能力加快新业务创新、孵化和部署速度，降低投入高性能提供高弹性计算能力，满足高峰时段的需求高效，可靠的数据传输交换和事件(event)处理随系统规模扩大，总吞吐量近线性增加采用MapReduce并行计算框架,海量数据处理能力服务等级设定，基于业务策略实现自动化供应根据节点资源状态对任务进行分发，并动态调整负载均衡开放式架构，无厂商绑定基于通用x86平台基于web的API，便于整合和后期开发开放式编程接口，提供分布式应用开发和运行平台传统计算中心数据中心的算中心数据中心的问题TCLOUDTCLOUD平台的平台的优点点 资源利用率太低：据IDC统计，现有服务器 资源利用率只有15%-20%弹性化计算:-高资源利用率，节能减排-能够满足高峰期的资源请求 海量数据单位存储成本过高低成本:-不需要特殊硬件设备 很难部署和管理大规模，高可用性的云计算中心容易部署和管理高可用性:-适合运行关键应用 很难保证应用程序的伸缩性和高可用性高伸缩性-能够处理大规模业务封闭式系统，只能使用特定厂家的解决方案开放式Web API，易于与现有系统整合和进行二次开发传统平台vs.TCloud平台运营商级的云计算平台可以提供IaaS、PaaS服务基于通用x86平台提供弹性计算资源和弹性存储资源高可用性：防止single point of failure，快速灾难恢复提供高弹性计算能力，满足高峰时段的需求多语言应用程序运行环境全面的安全防护，包括主机/网络/数据安全提供自动部署工具批量安装系统基于web的API，便于整合和后期开发TCloud平台主要特性开放式TCloud云平台架构物理物理层虚拟化及管理层（Xen）系系统监控控和和故故障障报警警平平台台分布式资源管理层服务管理层业务流程分析和集成流程分析和集成基础设施即服务平台即服务资产管理管理层开放式开放式应用用计费系系统安全防防护系系统2024/5/1617TCloud 基础设施即服务（IaaS）物理层主机主机 普通主机到高性能服务器均可采用存存储既可用现有主机的存储也可兼容各种SAN/NAS存储设备网网络 单数据中心组网，跨数据中心组网资产管理管理层提供提供现有有设备的登的登记，清点及注，清点及注销物理物理层虚拟化及管理层（Xen）系系统监控控分布式资源管理层基础设施即服务资产管理管理层2024/5/1618TCloud 基础设施即服务（IaaS）虚拟化Hypervisor基于Xen进行增强开发，重点提高高可用性和虚拟机迁移功能虚虚拟化化层和和资产管理管理层独立独立虚拟化层和物理物理层松散耦合，支持松散耦合，支持绝大多数大多数现有主机有主机物理物理层虚拟化及管理层（Xen）系系统监控控分布式资源管理层基础设施即服务资产管理管理层2024/5/1619TCloud 基础设施即服务（IaaS）自主开发的分布式资源管理源管理层跨虚拟机和物理机分布式文件系统CephFS 通用分布式文件系统(开源+功能修补)资源的管理，分配和高可用性分布式资源管理层和虚拟化层松散耦合，既可以管理分配物理资源也可以管理分配虚拟资源物理物理层虚拟化及管理层（Xen）系系统监控控分布式资源管理层基础设施即服务资产管理管理层2024/5/1620TCloud 平台即服务（PaaS）服服务管理管理层自主开发服务开通，运维保障，服务管理完全兼容Amazon EC2/S3 标准系系统监控控服务管理层业务流程分析和集成平台即服务TCloud 平台即服务（PaaS）业务流程分析和集成流程分析和集成提供提供API供供计费系系统和和业务系系统整合整合系系统监控控服务管理层业务流程分析和集成平台即服务 管理与调度系统TCloud的功能架构TCloud TCloud 云操作平台云操作平台云操作平台云操作平台lHosting servicesl外包软件服务l邮件服务l虚拟桌面服务l面向用户的应用服务PaaSPaaS（开放的（开放的（开放的（开放的软软件开件开件开件开发发平台）平台）平台）平台）分布式分布式分布式分布式计计算算算算分布式文件系分布式文件系分布式文件系分布式文件系统统 计算算存存储网网络SaaS（基于独有的接口开（基于独有的接口开发)虚虚虚虚拟拟化平台化平台化平台化平台 部署部署配置配置优优化化ProvisioningProvisioning监监控控虚虚拟化平台：化平台：主机虚拟化、存储虚拟化和网络虚拟化，将服务器、存储、网络等资源全面形成一个巨大的资源池，消除资源物理边界，提升资源利用率，统一资源池分配。分布式文件系分布式文件系统：将文件切片分布在磁盘上存储，通过副本方式备份,数据平均分布,负载均衡,支持标准化的API调用接口分布式数据分布式数据库：大容量半结构化数据的分布式存储分布式分布式计算：算：海量数据的并行处理,提高系统容量，具备弹性扩展业务的能力PaaS:开放式编程接口，提供分布式应用开发和运行平台SaaS:按需定制和快速部署的应用软件分布式数据分布式数据分布式数据分布式数据库库 云安全TCloud 功能详述TCloud是一个运行在基础硬件之上的云操作系统，可以提供如下功能：弹性计算云存储基于云的应用平台易升级的弹性计算平台中央控制台弹性计算弹性计算TCloud 虚拟化功能虚拟机生命周期管理虚拟机负载优化虚拟机弹性化控制高可用性VLAN和虚拟机的网络分割26Copyright 2010 TCloud Computing Inc.基本工作流程261启动虚拟机2分配到某一个Hypervisor3读取虚拟机镜像4启动虚拟机271启启动 VM3分配分配 hypervisorCluster Controller负载优化引擎化引擎2检测hypervisor 负载虚拟机负载优化-启动时28虚拟机负载优化-Scale outCluster Controller负载优化引擎化引擎1监控虚控虚拟机机负载情况情况2负载过大，触大，触发Scale out策略策略3从从资源池内源池内获取物理取物理资源源4迁移迁移Vms实时负载分配Cluster Controller负载优化引擎化引擎2迁移虚迁移虚拟机到其他机到其他Hypervisor3关关闭虚虚拟化化设备退回退回资源池源池1监控控资源源负载情况情况30虚拟机弹性化控制Cluster Controller负载优化引擎化引擎VM1监控虚控虚拟机机负载2触触发弹性策略性策略(avg.CPU 80%)3启启动新虚新虚拟机机分担分担负载VMVMVMVM4发送提醒至用户或管理员31高可用性Cluster Controller负载优化引擎化引擎1监控Hypervisor状态2一个一个hypervisor 不可用不可用3分配新虚拟机用来运行已崩溃的Hypervisor上的虚拟机第三方虚拟化软件的支持TCloud 支持使用第三方虚拟化软件，包括：VMWare vSphere,Cirtix XenServer,Redhat KVM,Microsoft Hyper-v，Xen等。第三方虚拟化方案以集群的方式集成到TCloud中，接受管理。用户可以决定使用不同的集群来提供虚拟化服务。云存储云存储TCloud 云存储系统基于分布式文件系统，扩展灵活，稳定高效为TCloud 提供基础数据存储服务为现有的应用提供存储服务为用户提供网络存储服务TCloud分布式文件系统优点扩展性PB 级别的分布式文件系统在线缩放可靠性可配置备份级别服务器自动恢复无单点故障负载均衡文件分块存储于多台服务器之上添加删除文件服务器后自动平衡易用性标准访问接口，多种协议支持权限控制，容量控制Classification 5/16/202435传统存储vs.云存储传统存储传统存储云存储云存储性能随机读写性能较好批量写入性能一般批量读取性能较差随机读写性能较差批量写入性能一般批量读取性能较好接口光纤或iSCSI接口Gb-E/10Gb-E/Infiniband 网络接口与计算能力的整合本身没有计算能力，每次计算都需要从远程读取数据大部分存储节点具备计算能力，尽量保证计算在本地进行扩展性和开放性几TB至几十TB，并需要和原有系统同品牌的专用硬件几百TB至PB级，可以用任意x86服务器进行扩展TCloud云存储系统架构Storage ClusterMeta ServerClusterNFSNFSFTPSMBFile Server ClusterHTTPHTTPHTTPS3 API Server ClusterClients(enduser or client app)S3 API via HTTPSMBNFSFTPAD/LDAPDNS or L4 load balanceNASNASSMBSMBSMBSQL ClusterHIVE磁盘阵列JDBC文件存储File Server Cluster提供文件存储服务支持POSIX/CIFS/NFS/FTP接口非结构化数据存储S3 Server Cluster提供对象存储服务，兼容Amazon S3结构化数据存储SQL Cluster提供数据库服务HIVE提供分布式数据库服务TCloud 云存储系统功能云存储应用-为平台自身提供存储TCloud 分布式文件系统VM ImagesVM ImagesHypervisorVMsTCloud网络文件系统TCloud 分布式文件系统云存储应用-提供通用存储共享目录共享目录HypervisorVMsNFSFTPSMB用户云存储应用-提供对象存储（S3)TCloud对象存储系统TCloud 分布式文件系统HypervisorVMsS3S3S3用户磁盘阵列云存储应用-提供弹性块存储TCloud 分布式文件系统HypervisorVMs用户TCloud运营管理平台运营管理平台架构集中管理、分布服务资源自治、高度共享省公司省公司资源源集集团资源源省公司省公司资源源资源源调度引擎度引擎资源源调度引擎度引擎资源源调度引擎度引擎资源管理平台源管理平台运运营服服务平台平台系系统监控平台控平台资源共享源共享运营管理平台功能需求服服务的交付的交付应用程序运行需求用程序运行需求虚拟机管理系统物理机部署工具服服务器器资源分配引擎源分配引擎资源整合源整合存存储网网络应用程序集成和运行管理匹配资源的请求和供给创建一个共享的“资源池”，将虚拟机资源和物理机资源整合，提供统一的分配、管理、使用接口服务的创建、访问、交付和计费根据系统当前负载、系统资源的使用情况，有序的运行应用程序。门户/命令行命令行/开开发接口接口资源分配引擎源分配引擎存存储系系统服服务管理器管理器资源池源池Virtual MachineVirtual Machine用于虚用于虚拟机的存机的存储Virtual MachineVirtual MachineVirtual MachineVirtual Machine物理机Physical ServerVirtual Appliance节能拓扑结构TcloudWebLogicSAS外部的服务目录接口外部的审批接口资源的统一管理XenCenterBladeLogicNetworkStorageVCenter用户管理支持用户角色与权限支持与第三方管理工具的集成用用户管理管理门户云系云系统管理管理员部门经理开发经理应用程序所有者应用程序用户,开发人员最最终用用户应用用经理理云的客户选择服务提供给最终用户负责合同签署资源使用的规划 定义优先级&资源的分配策略将资源转变为服务成本管理管理和维护资源的清单发布可用的服务请求并使用特定应用的虚拟机或物理机按照应用经理规定的优先级和资源分配策略使用计算机资源安全及接口要求安全要求用户认证与鉴权数据与信息加密与第三方安全管理系统集成接口要求提供与底层资源的接口提供与业务平台等其他平台的接口其他要求开放性：提供API接口、易于定制的开放框架兼容性：兼容主流的硬件、虚拟化系统、管理软件性能：高扩展性、高效率部署Tcloud平台利用TCloud建设私有云大数据存储(冗余,备份，存档.etc)常规文件存储服务虚拟机上运行可扩展的服务桌面虚拟化运行可扩展的Web应用处理、分析TB,PB数据面向内部使用，不用于商业运营50利用TCloud建设公有云云存储服务个人云存储(Dropbox)文件共享服务(rapidshare,.)文件托管服务(Amazon S3)IaaS(Amazon EC2,Rackspace.etc)PaaS(Google AppEng,Microsoft Azure)运行Web应用及服务(SaaS)视频点播(Youtube,Hulu,土豆网.etc)音乐收藏面向公众，用于商业运营5152Copyright 2010 TCloud Computing Inc.系统建设架构52基本网络拓扑典型网络Topology典型应用，用VLAN来实现虚拟化数据中心快速大规模部署提供自动部署工具批量安装系统只需一张DVD安装盘就可以完成所有部署Copyright 2010 TCloud Computing Inc.部署服务器天云帮助郑州高新区实现云平台建设适适应性架构性架构提升效率提升效率保保护已有投已有投资 资源整合和源整合和优化化资源虚源虚拟化和共享化和共享资源源弹性性扩展展服务器虚拟化现有的40台服务器 计算资源扩容分布式存储现有的网络设备存储资源扩容利旧已有设备IT基础架构基础管理 业务连续性和可用性传统平台到云平台运营云平台提供云计算服务实现节能减排迁移及优化服务根据业务调整云平台规模在线扩容提供更丰富的服务