集群技术概述.ppt

集群技术概述,高性能服务器事业部,议程,集群技术体系结构,集群技术的分类,集群高速互连设备,浪潮集群服务器产品,议程,集群技术体系结构,集群技术的分类,集群高速互连设备,浪潮集群服务器产品,什么是集群？,“,联结起来的计算机的集合，整个系统使用起来像一个单一的一体的计算资源,”,-Greg,Pfister,In Search of Clusters,通用设备的竞争促使价格下降性能上升,NCSA Super Cluster,集群计算使用通用设备构成,集群技术的产生,提高计算能力的手段,单点计算能力的提高,计算机技术的发展，摩尔定律,并行计算技术的发展,早期向量机到目前的,MPP,、集群（,Cluster,）,常见的几种并行计算体系结构,SMP,DSM,（,C,C-NUMA,）,MPP,Cluster,多个,CPU,连接于统一的内存总线,内存地址统一编址，单一操作系统映像,可扩展性较差，一般,CPU,个数少于,32,个,目前商用服务器多采用这种架构,Chipset,Memory,NIC,System,CPUs,CPUs,CPUs,CPUs,I/O Bus,Memory Bus,4 CPUs may require switching,Local Area Network,SMP,-Symmetric,MultiProcessing,物理上分布存储、所有内存模块统一编址,非一致内存访问（NUMA,）模式,基于,Cache,的数据一致性，又称,CC-NUMA,节点数可扩展到几百个，小型机多为此类架构,Local Area Network,.,System,.,NIC,Memory,CPUs,Chipset,I/O Bus,Memory Bus,I/O,NIC,Memory,CPUs,Chipset,I/O Bus,Memory Bus,I/O,NIC,Memory,CPUs,Chipset,I/O Bus,Memory Bus,I/O,NUMA,Link,NUMA,Link,DSM,-Distributed Shared Memory,节点个数可达成百上千个,节点类型可以是,DM,、,SMP,、,DSM,节点之间采用专用高速互连设备,排列在,Top500,前面的多数系统属于这种类型,.,.,专用高速互联,NIC,Memory,I/O Bus,System,局部总线,/,互连网络,CPUs,NIC,Memory,I/O Bus,System,CPUs,局部总线,/,互连网络,NIC,Memory,I/O Bus,System,CPUs,局部总线,/,互连网络,MPP,-Massively Parallel Processors,独立的节点、商品化网络连接,开放的硬件设备、操作系统、应用编程接口,节点数可达几百个，性能已接近超级计算机系统,近年来发展很快，已广泛应用到高性能科学计算领域,.,.,System Area Network,Local Area Network,LAN,Memory,I/O Bus,Memory Bus,System,Chipset,SAN,CPUs,LAN,Memory,I/O Bus,Memory Bus,System,Chipset,SAN,CPUs,LAN,Memory,I/O Bus,Memory Bus,System,Chipset,SAN,CPUs,Cluster,体系结构的比较,可用性,/,可伸缩性比较,集群技术的优点,更高的计算能力,系统的高可用性,可扩展性,更高的性价比,议程,集群技术体系结构,集群技术的分类,集群高速互连设备,浪潮集群服务器产品,集群技术的分类,科学计算集群,负载均衡集群,高可用性集群,并行数据库集群,科学计算集群（,1,）,科学计算集群的分类,计算密集型、通信密集型、数据密集型,科学计算集群的应用领域,有限元分析、分子模拟、图像处理、流体仿真、油藏模 拟、数值天气预报等,科学计算集群（,2,）,HPC,集群网络拓扑,科学计算集群（,3,）,科学与工程计算应用,性能测试软件,MSC Nastran,Fluent,气象,MM5,ADS/VSS,油藏模拟软件,UD/,namd,LinPack,/,NPB/SPEC,服务器聚集软件包（集群操作系统）,管理软件,中间件,编译器,/,编程环境高性能数学库,资源管理,作业管理,机群管理,MPI PVM,文件系统,GNU C/C+,GNU,Fortran,Java,Blitz+,、,POOMA,、,MTL,Intel,编译器,/,优化工具,Intel,数学库,MKL,Linux OS,BIOS,EFI,硬件,HPC,软件逻辑结构,负载均衡集群（,1,）,负载均衡的定义,使网络流量负载可以在计算机集群中尽可能平均地分摊处理。,负载均衡的应用,海量,WEB,、,Email,服务、,VOD,视频点播、并行中间件等,负载均衡集群（,2,）,三种,IP,负载均衡技术,V,S/NAT,VS/TUN,VS/DR,八种调度算法,轮叫调度,加权轮叫调度,最小连接调度,加权最小连接调度,基于局部性的最少链接,带复制的基于局部性最少链接,目标地址散列调度,源地址散列调度,负载均衡集群（,3,）,地址转换模式,NAT,负载均衡集群（,4,）,IP,隧道模式,TUN,负载均衡集群（,5,）,直接路由模式,DR,高可用性集群（,1,）,高可用性集群,HA,（,High Available,）,主节点与从节点,切换时间,实现方式,镜像服务器双机,双机与磁盘阵列柜,多机,HA,集群,高可用性集群（,2,）,镜像服务器双机,高可用性集群（,3,）,双机与磁盘阵列柜,高可用性集群（,4,）,多机,HA,集群,Switch,备份服务器,并行数据库集群（,1,两种并行数据库体系结构,无共享并行体系结构,（,Share Nothing,）,共享磁盘体系结构,主流并行数据库软件,DB2 EEE,Oracle RAC,并行数据库集群（,2,）,无共享并行体系结构,（,DB2 EEE,）,在性能和可扩展性方面有优势,适合于决策支持类应用（小并发,/,大查询）,并行数据库集群（,3,）,共享磁盘体系结构（,Oracle RAC,）,在可用性和故障恢复方面有优势,适合于在线交易类应用（大并发,/,小查询）,并行数据库集群（,4,）,一个典型的商业集群应用环境,internet,WEB,集群,Email,集群,数据库集群,CNC,电信,防火墙,议程,集群技术体系结构,集群技术的分类,集群高速互连设备,浪潮集群服务器产品,互连设备的分类,科学计算领域,GbE,/QSNET/SCI/MYRINET/IBA,商用计算领域,GbE,/FC SAN/IBA,科学计算集群,影响选用互连设备的指标,带宽,延迟,网络拓扑,价格,/,端口,Giga Ethernet,商用千兆以太网卡和交换机,MPI,点到点通信带宽,11MB/s,延迟,85us,价格较便宜，但仅限于构建节点间通讯量较小的小型集群,技术简单，但性价比不高,QsNet,Quadrics,公司开发、制造,MPI,点到点通信带宽,400MB/s,延迟,5us,价格较高，适合于构建超大规模集群系统,交换芯片或交换机的网络拓扑采用胖树结构,SCI,ANSI/IEEE,制定点到点高速通信协议标准,MPI,点到点通信带宽,320MB/s,延迟较低,4us,性价比较高，是目前构建中小型科学计算集群的主流技术,交换芯片,/,交换机互连采用环面或超立方拓扑结构,性能卓越，但只适用于部分高性能计算应用,Myrinet,Myricom,公司开发、制造,MPI,点到点通信带宽,260MB/s,延迟,10us,性价比较高，是目前构建中小型科学计算集群的主流技术,交换芯片或交换机的网络拓扑采用胖树结构,Infiniband,（,1,）,新兴的交换,IO,网络技术，得到业界大多数软硬件厂商的支持,10Gb/s,接口速率MPI,点到点通信带宽达,820MB/s,，延迟,7us,性价比较高，有明显取代,Myrinet,技术的趋势,兼容性广泛，适用于科学计算集群和商业计算集群,主要硬件设备厂商,Mellanox/Infinicon/Topspin/Votaire,Infiniband,（,2,）,基于,IB,技术的,HPC,集群拓扑,High availability,InfiniCon,environment,Shared Intelligent I/O system,(2)InfiniBand paths per server to IB fabric,(6)FC paths to storage&(2)paths from fabric,(4)Ethernet paths per I/O subsystem to network,(2)I/O system maintenance paths per I/O system,Reduce LAN Switches,Tape,SAN,or,Direct,Attached,几种互连技术比较,集群互连技术,MPI,带宽,(MB/s),MPI,延迟,(us),网络拓扑,每端口,价格,$,应用领域,Ethernet(,千兆,),11,85,胖树拓扑,140,科学计算,Myrinet,260,10,胖树拓扑,1850,科学计算,SCI,320,4,环形拓扑2000,部分科学计算,Quadrics,400,5,胖树拓扑,4300,科学计算,Infiniband,820,7,任意,2500,科学计算,/,商用计算,商用计算集群,影响选用互连设备的指标,通信性能,稳定性与可靠性,协议,/,应用的兼容性,商用计算互连设备,Infiniband,Fiber Channel,Ethernet,商用数据库集群拓扑,Database Servers,Application Servers,Shared Storage,Application Servers,Shared Storage,Database Servers,GigE Switch,GigE Switch,Fibre Channel Switch,IBA,方案,传统方案,Client,Client,议程,集群技术体系结构,集群技术的分类,集群高速互连设备,浪潮集群服务器产品,浪潮天梭高性能服务器,天梭,TS10000,天梭,TS20000P,天梭,TS20000D,天梭,TS10000,产品特性,支持,IA32/IA64,架构,节点数,16-256,采用,GbE/IBA,高速互连,模块化部署，方便扩展,浪潮天梭集群管理软件,成功案例,山东大学高性能计算中心,中石化中央研究院,浙江师大图象数据处理,华中理工大学生命科学院,天梭,TS20000P,产品特性,支持,IA32/IA64,架构,采用,GbE/FC,或,IBA,互连,模块化配置，弹性部署,支持,Web/Email/VOD,负载均衡,浪潮天梭集群管理软件,成功案例,赛尔网络高考咨询网站,柳州财政局,湖南工商,天梭,TS20000D,产品特性,支持,IA32/IA64,架构,采用,GbE/FC,或,IBA,互连,模块化配置，弹性部署,支持,Oracle/DB2,并行数据库,浪潮天梭集群管理软件,成功案例,山东地税,吉林地税,Web,中间件系统,STORAGE,Oracle/DB2,分布式数据库软件,在线事务处理,/,决策支持,TS20000D,谢谢,!,