收藏 分销(赏)

分布式集群系统的调研分析-Mesos.ppt

上传人:仙人****88 文档编号:14771223 上传时间:2026-11-19 格式:PPT 页数:28 大小:1.29MB 下载积分:10 金币
下载 相关
分布式集群系统的调研分析-Mesos.ppt_第1页
第1页 / 共28页
分布式集群系统的调研分析-Mesos.ppt_第2页
第2页 / 共28页


点击查看更多>>
资源描述
,LOGO,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,分布式集群系统,调研分析,By,吴文泰,分布式系统,/,平台,proActive Parallel Suite,Cluster Virtual Machine for Java,(,cJVM,),Parallel Virtual Machine(PVM),Apache,Hadoop,(,这里不做介绍),Apache,Mesos,2,ProActive Parallel Suite,1,ProActive Parallel Suite,3,ProActive Parallel Suite,Brief Intro:,通过,ProActive,平台,用户可以立刻对(企业级)应用进行业务优化和加速,同时可以对企业云进行管理。,Keys:,可并行、分布式、业务流程优化加速、可以集成高效的云管理。,平台关键组成:,3,个,:,Workflow&Parallelization,-,各种业务的并行化,Orchestration&Scheduling,-,多应用、多接口支持,Clouds&Grids,IaaS,-,设施上的异构资源管理,4,ProActive Parallel Suite,Workflow&Parallelization,支持多种技术来,优化,业务性能:方便应用编程,本地并行化:,支持消息传递接口(,MPI,),,OpenMP,编程,多线程技术等,分布式,+,并行:,支持用于并行分布式编程的,Java API,,,REST,,以及,MapReduce,等,核心技术:,JAVA Active Objects,IC2D,5,ProActive Parallel Suite,Orchestration&Scheduling,支持多种平台上的应用,:,作为,调度者,区别,于,Workflow&Parallelization,:,Workflow&Parallelization,为客户端提供一系列接口,Orchestration&Scheduling,为,管理员,管理不同业务提供特殊的,服务器和工具支持,核心:,Orchestration&Scheduling,Server,6,ProActive Parallel Suite,Clouds&Grids,IaaS,管理异构资源(基础设施),核心:,Clouds&Grids,IaaS,Server,譬如:跑,Linux,的,VM,和,Windows,的,VM,7,ProActive Parallel Suite,可用状况,:Open-sourced,组件:,Studio 1.4,Java Active Objects 5.4,Scheduler 3.4,Scheduler Web Portal 1.4,Resource Manager 3.4,Cloud&Grid,IaaS,Web Portal 1.4,Matlab Connector 1.2,Scilab,Connector 1.2,8,ProActive Parallel Suite,组件下载:支持,windows32+64,linux32+64,以及,MacOS,注册信息,压缩包,包含项目文件和,exe,,是一个,IDE,,对应,Workflow&Parallelization,对应,Orchestration&Scheduling,server,对应,Clouds&Grids,IaaS,中的计算单元,9,支持的编程方法:在,proActive,studio,中,采用图形化方式设计,workflows,来定义并行化调度。,集群搭建的难易程度:,一般,,除了安装,IDE,外,还要配置好另外两个组件,(server,和,agent),;但网站,资料很完整,。,支持的语言:,JAVA,REST,CLI(,命令行),ProActive Parallel Suite,Orchestration&Scheduling,和,Cloud&Grid,Iaas,也可以在这一,IDE,中进行管理,10,Cluster Virtual Machine for Java,2,Cluster Virtual Machine for Java(cJVM),11,Brief Intro:,通过对一个集群进行,虚拟化,使得对应用,可见的仅是单个系统;,而实际上对象和线程是存在和运行于多台虚拟机上的。,优点:应用编程方便,高可扩展性,Transparent,对,App,透明,Cluster Virtual Machine for Java,12,核心:,Java Server Applications(JSAs),Cluster Virtual Machine for Java,JSAs,的运行环境,Cluster VM(for java),扩展性:,throwing more hardware at the problem.,要扩展服务器上,App,的性能,就投入更多的硬件(,VM,)到中间这层,13,支持编程语言,:Java,可用情况:,“,NOTE:This project is no longer active since 2000!,”,还没有找到可用资源,Cluster Virtual Machine for Java,14,Parallel Virtual Machine,3,Parallel Virtual Machine(PVM),15,Brief Intro:,使用网络连接各种,异构,系统(如,Windows,Unix,),使之看起来就像一个大型“,并行,计算机”。,Parallel Virtual Machine,Keys:,模拟并行计算机,从而,App,可以使用并行编程技术,Supported Language:C,C+,Fortran,16,代码示例:,Parallel Virtual Machine,Pvm3.h,库,并行编程的风格,17,可用情况:,Open-Sourced,,提供,lib,还有,PVM,安装程序,还有详细安装,/,配置的说明文档;,Parallel Virtual Machine,里面是,exe,文件,Lib,18,Parallel Virtual Machine,安装,PVM,最好先装,installshield,(微软开发的一个软件),否则就要按如下步骤人工配置,1999,年编写的文档,所以只提到了,Windows NT,和,95/98,系统;要试一下才知道是否支持,2000,以上的系统。(,PVM,项目到,2011,年都有更新),19,支持语言:,C,C+,Fortran,算法接口,:,基本上是并行编程用到的基本算法,主要包含在,pvm3.h,中,支持环境:,Windows(only NT,95/98?),搭建难易程度:难,因为说明文档比较旧;,使用方式:安装,installshield,版本的,PVM,,使用源码库,Parallel Virtual Machine,20,Apache,Mesos,4,Apache,Mesos,21,Mesos,Mesos,计算框架一个集群管理器,提供了有效的、跨分布式应用或框架的资源隔离和共享,可以运行,Hadoop,、,MPI,、,Hypertable,、,Spark,结构:,Master/Slave,结构,资源申请,内部调度,单例,管理整个集群,负责资源分配,+,调度,运行于,Slave,服务器上,负责执行,tasks,22,可用性:开源(代码也可,在,github,上下载),Mesos,官方最新版本:,0.19.0,23,支持环境:,Linux(,64,Bit)and,MacOSX,(,64,Bit),(可能因为是一个很新的项目),配置难易程度:一般(官网配置介绍是以,Ubuntu,12.04 64,位为例,详见:,,mesos.apache.org/gettingstarted,/,支持语言:,C+,Java,Python,执行,task,前要,运行对应的框架,:,Mesos,C+,Java,Python,24,总结,25,Comparison,proActive,cJVM,PVM,Hadoop,Mesos,运行环境,W,indows,linux,Mac,Windows NT,Windows,Unix(,linux,),Linux(64 Bit)and,MacOSX,(64 Bit),支持语言,Java,REST,CLI,Java,C,C+,Fortran,C,+,C,Java,Java,Python,C,+,搭建难易,一般,N/A,难,一般,一般,并行调度算法,/,方法,M,ap-Reduce,等,P,vm3.h,中包含的算法,Map-Reduce,等,MPI,Spark,等,26,其他架构,Some others:,dJVM,:,ANU,(澳大利亚国立大学)项目,JavaParty:,通过“透明”将一个对象地,重写,为一个远程对象的方法来使,App,变为分布式的。,Java/DSM:,修改,JVM,成为一种分布式共享的,VM,,这种,JVM,的堆栈是建立在,共享内存系统,上的。,27,Thank you!,
展开阅读全文

开通  VIP、SVIP  下载更划算
下载10份以上建议开通 VIP 会员
下载20份以上建议开通SVIP会员


开通VIP      成为共赢上传

当前位置:首页 > 包罗万象 > 大杂烩

移动网页_全站_页脚广告1

关于我们      便捷服务       自信AI       AI导航        关注我们

©2010-2026 宁波自信网络信息技术有限公司  版权所有

客服电话:0574-28810668  投诉电话:18658249818

gongan.png浙公网安备33021202000488号   

icp.png浙ICP备2021020529号-1  |  浙B2-20240490  

关注我们 :微信公众号    抖音    微博    LOFTER 

客服