GPU发展及在地球物理界的应用.ppt

*,中国石油勘探开发研究院西北分院,2010,年,12,月,21,日,GPU,计算技术及地球物理的应用,1,一,GPU,发展历程,GPU/CPU,地球物理应用,三 技术展望,汇 报 提 纲,2,计算机技术的发展,一、,GPU,发展,历程,20,世纪,70,年代,向量机,20,世纪,90,年代初,对称多处理共享存储并行机（,SMP,，,Symmetric Multi-Processor,）,20,世纪,90,年代中期,分布式共享存储多处理机（,DSM,，,Distributied Shared Memory,）,20,世纪,90,年代后期,大规模并行处理机,（,MPP,，,Massively Parallel Processor,）,21,世纪初期,计算机集群系统,（,PC Cluster,）,并行机需要在,CPU,、内存、操作系统等进行定制，成本非常昂贵，技术实现难度大，实现周期长。,3,一、,GPU,发展,历程,1,、,CPU,的发展,单核,CPU,双核,CPU,多核,CPU,单核,CPU,性能在主频提升受限,多核,CPU,提供了更强的并行处理能力，并大大减少了散热和功耗,4,一、,GPU,发展,历程,多核,CPU,系统的的两大难题,受限的加速比,内核数目的线性增加,不,能带来整体处理性能的线性增长,延时问题,系统规模扩展超过数万个处理器、数十万个处理器核时，该问题变得十分突出。,5,添加,对,C,和,C+,等高级语言的支持。此举最终推动诞生了面向,GPU,（图形处理器）的,CUDA,架构,GPU,的卓越浮点性能为众多科学应用程序带来显著的性能提升。这一发现掀起了,GPGPU,的浪潮。,可编程性日益增加，,NVIDIA,（英伟达,）推出了第一款,GPU,（图形处理器）。,最初用作固定功能图形管线,GPU,的,CUDA,架构,GPGPU,的浪潮,第,GPU,（图形处理器,）,图形芯片,一、,GPU,发展,历程,20,世纪,80,年代,，以,GE,为标志的图形处理器；图形处理功能逐渐从,CPU,向图形处理器转换；,1999,年，,NVIDIA,推出具有标志意义的图形处理器,GeForce 256,，第一次在图形芯片上实现了,3D,几何变换和光照计算,GPU(Graphic Processing Unit),图形处理器，常用于显示（显卡）。,2,、,GPU,发展历程,2003,年,，可编程的,GPU,出现，使,GPU,可用于科学计算,2006,年,，可进行高级语言编程的,GPU,，即,CUDA,（统一计算）架构,6,CPU,，,中央处理器,GPU,，,图形处理器,（显卡,),接屏幕的端口,内置显卡,CPU,GPU,实物照片,Tesla S1070 1U,系统,一、,GPU,发展,历程,7,1,、法国网站,PC INpact,报道称，法国原子能委员会等机构正准备构建一台新的超级计算机，其中有,Intel,的下一代四核心处理器，同时会加入将近两百颗,GT200,（,Tesla 1060/1070,），有望成为世界上第一台,GPU,超级计算机。,2,、据,2008,年,11,月,21,日，美国德克萨斯州奥斯汀市,SC08,大会报道：东京工业大学（,Tokyo Tech,）正式宣布与,NVIDIA,展开合作，采用,NVIDIA Tesla GPU,来提升其,TSUBAME,超级计算机的计算能力。,GPU,国际研究进展及报道,一、,GPU,发展,历程,8,一、,GPU,发展,历程,2009,年,10,月,30,日国防科技大学宣布研制成功我国首台千万亿次超级计算机系统“天河一号”。,9,2010,年,5,月,31,日中国研制成功世界排名第二的“星云一号”。,年内中国即将宣布研制成功世界排名第一的计算机，其硬件架构都是,GPU/CPU,异构并行模式。,一、,GPU,发展,历程,10,Cache,ALU,Control,ALU,ALU,ALU,DRAM,CPU,的微架构,DRAM,GPU,的微架构,GPU,和,CPU,架构差异很大，,CPU,功能模块很多，能适应复杂运算环境；,GPU,构成则相对简单，运算单元多。,3,、,GPU,技术优势,一、,GPU,发展,历程,目前单个,GPU,可高达,480,核,GPU,比,CPU,更适合并行计算！,11,CPU,逻辑运算能力强；,GPU,则浮点运算能力强，计算速度非常快。,3,、,GPU,技术优势,GPU,与,CPU,浮点计算对比,GPU,与,CPU,存储通道对比,一、,GPU,发展,历程,12,GPU/CPU,计算加速效率,Telsa C1060,，可以用到普通的,PC,和工作站中，性能是,957Gflops,（万亿次），功耗只有,160,瓦。,CPU/GPU,矩阵运算时间对比研究,(,毫秒,),一、,GPU,发展,历程,13,CPU/GPU,算法,FFT,计算二维卷积执行时间,(,毫秒,),GPU/CPU,计算加速效率,一、,GPU,发展,历程,14,一、,GPU,发展,历程,GPU/CPU,协同发展,15,一,GPU,发展历程,GPU/CPU,地球物理应用,三 技术展望,汇 报 提 纲,16,二、,GPU/CPU,地球物理应用,1,、应用现状,地球物理技术发展历史与计算技术发展历史是不可分割的。计算技术在石油物探中的应用起始于二十世纪六十年代，但大规模的应用开始于二十世纪八十年代。总结了过去,40,年间地球物理计算的发展历程，经历了四次重大变革。,（王宏琳教授）,20,世纪,70,年代,20,世纪,80,年代,20,世纪,90,年代,21,世纪初期,2007,17,二、,GPU/CPU,地球物理应用,1,、应用现状,世界超级计算,500,强地球物理应用图表,国外两大主要地球物理服务公司,WesternGeco,和,CGG,地震数据处理中心配置的集群计算机系统的,CPU,（核）数达到,10,万，形成强大的地震资料处理能力，尤其是地震叠前偏移成像能力。,国内中国石油和中国石化各油田和研究机构、技术服务公司也建立大型地震资料处理解释中心，计算性能规模从数十万亿次到数百万亿次不等。,2009,年,6,月,29,日发布的全球超级计算,500,强中，地球物理应用占有,43,套。,2009,年,11,月,1,日发布的中国超级计算,100,强中，地球物理应用达到,20,套。,（据赵改善）,18,二、,GPU/CPU,地球物理应用,石油物探技术发展现状,1,、石油勘探开发技术的特点：地震成像技术广泛应用，油藏描述技术水平不断提高，地球物理技术应用从勘探走向开发，水平井,-,丛式井技术广泛应用，智能井,-,智能油藏技术的发展，交互勘探或实时勘探技术的提出等。,2,、地震勘探特征：从叠后到叠前，从时间域到深度域，从单分量到多分量，从声波到弹性波，从构造成像到岩性反演、储层特征描述，从单一技术应用到多技术综合，从勘探到开发及勘探开发的一体化，数据量和计算量成指数增加等。,3,、未来一段时间内地震勘探技术发展：万道以上地震仪得到广泛应用，高密度单点地震技术，高精度或高分辨率地震勘探技术将成为未来一段时间的主流。,从地震数据处理方面来看，叠前时间偏移已经成为标准化处理流程中的一个常规处理内容，波动方程叠前深度偏移将更加广泛应用，逆时偏移技术将逐渐成为主流技术。,综合利用多分量地震勘探信息的弹性反演技术将成为由地震数据转换为地层、油藏信息主要手段。,这些都将带来,巨大计算量的需求,，是我们未来一段时间面临的重大挑战。,19,二、,GPU/CPU,地球物理应用,2,、叠前成像对计算性能的要求,地震数据量日益巨增，预计,2015,年将分别达到,100TB,；在未来，为适应油气勘探开发精度的要求，地震勘探将采用,5m,的空间采样密度和三分量技术，而地震勘探项目的数据量将达到,PB(1000TB,即,10,15,字节,),级规模，计算量将达到,10,23,（即,100ZFlops,）级规模。,20,年,份,2003,2005,2010,2015,未来,面积（,km,2,）,500,500,1000,1000,1000,面元大小（,m,2,）,25x50,20 x40,10 x20,10 x10,5x5,覆盖次数（次）,60,60,100,100,100,记录分量数,1,1,1,3,3,记录长度（,s）,6,6,6,6,6,采样率（,ms）,2,1,0.5,0.5,0.5,叠前数据总道数（道）,3000万,4700万,6亿,36亿,144亿,叠前数据量,360GB,1200GB,30TB,180TB,700TB,叠后数据总道数（道）,100万,160万,1250万,1250万,5000万,叠后数据量,12GB,40GB,600GB,1.8TB,7.2TB,典型地震勘探数据规模预测一览表,二、,GPU/CPU,地球物理应用,21,二、,GPU/CPU,地球物理应用,2,、叠前成像对计算性能的要求,地震叠前成像始终是地球物理的焦点。自,20,世纪,70,年代初至今，波动方程偏移经历了发展停滞再发展的阶段。到,20,世纪,90,年代，随着计算技术的发展，再次把偏移技术推向了发展高峰。,21,世纪，波动方程叠前偏移技术得到较快发展。,大规模集群计算机系统的应用，叠前时间偏移技术的应用已经成为常规化；叠前深度偏移由基于射线的克希霍夫积分算法向波动方程算法发展；深度域叠前属性分析技术和各向异性介质叠前偏移技术将成为下一个发展方向。,近年来，随着计算技术的发展，在基于单程波波动方程算法的地震成像技术得到应用的同时，基于双程波波动方程算法（,逆时偏移,）的地震成像技术成为了当前的研究热点。,计算量提高了一个数量级至数十倍,。,22,二、,GPU/CPU,地球物理应用,2,、叠前成像对计算性能的要求,2008,年，,70%,左右机时用于叠前深度偏移,2005,年，,90%,左右机时用于叠前时间偏移,CPU,多核并行计算与地球物理技术发展,23,二、,GPU/CPU,地球物理应用,单个,GPU/CPU,协同并行计算单元与目前应用的单个,CPU,核相比，叠前时间偏移运算速度可以达到百倍以上；硬件成本可降低,90%,以上；机器体积不足原来的,3-5%,；节电,95%,以上。,2,、叠前成像对计算性能的要求,24,二、,GPU/CPU,地球物理应用,3,、,国内,GPU/CPU,高性能计算进展,中科院地质与地球物理研究所、同济大学、,Geostar,公司、中国石化南京石油物探研究院等分别利用,CUDA,开发工具在,GPU,计算环境下实现了,Kirchhoff,三维地震叠前时间偏移和二维波动方程叠前深度偏移，逆时偏移技术，,GSS,公司推出了支持,GPU,计算的地震像素法地质成像软件（,SVI,）；,中国石油勘探开发研究院,西北分院、,大庆油田、胜利油田等单位已进行,GPU,技术的研发与应用工作。,东方地球物理公司研究院，在做应用,GPU,技术的相关实验，目前已经取得了一定的进展；,2009,年,Villarreal,等采用大规模集群并行实现波动方程有限差分法正演模拟；,ArayaPolo M,等首先用,Cell,处理器实现了三维逆时偏移；,Micikevicius.P,给出了利用,GPU,实现高阶有限差分的算法；,推动,GPU,计算在地球物理计算中将发挥重要作用的关键是基于,GPU,的软件研发。国内地球物理技术在,GPU/CPU,领域的研发处于国际领先水平。,25,二、,GPU/CPU,地球物理应用,基于,GPU,的,非对称走时,Kirchhoff,叠前时间偏移,该方法突破了“常速层状介质或轻微变速层状介质”假设的限制，,在走时公式中，引入,速,度横向导数,，提高走时计算精度，改善在复杂条件下的地震波的聚焦效果；,基于,GPU,实现了不同处理器协同计算的模式“,GPUCPU,协同并行计算,(CPPC)”,，提高时效。,横向变速介质波前面传播,横向变速速度模型,横向变速造成时距曲线不对称,V,+,V,-,V,+,V,-,4,、,GPU/CPU,高性能计算实测数据时效对比研究,26,二、,GPU/CPU,地球物理应用,PC,机群叠前时间偏移（左,),与,GPU,非对称走时叠前时间偏移（右）对比,27,通过对比分析，单节点计算能力（叠前时间域成像）：,GPU/CPU=14.1,二、,GPU/CPU,地球物理应用,PC,机群叠前时间偏移与,GPU,非对称走时叠前时间偏移时效对比研究,处理系统,CPPC,处理系统,PC,机群处理系统商业软件,硬 件 环 境,CPU,配置,12,节点,各节点单,CPU,四核,主频：,3.0,核数：,48,60,节点,双,CPU,四核；,主频：,3.0,核数：,60 x8=480,GPU,配置,12,节点,型号,:Nvidia Tesla1070,核数：,4*240=960,无,应用软件,GPUCPU,协同并行计算非对称走时,Kirchhoff,叠前时间偏移）,弯曲射线,Kirchhoff,叠前时间偏移,测 试 情 况,面积（,Km,2,）,380,数据量,(Gb),747,采样（,ms,）,2,FLOD,120,道长（,ms,）,6000,面元（,m,）,25x25,偏移距分组,48,200,输出线数,401760,CDP,数,451800,输出类型,CRP,偏移孔径（半径）,（,s,，,m,）,T=300,，,1500,，,3000,X=300,，,3500,，,3500,Y=300,，,3500,，,3500,T=0,1500,6000,X=0,3500,3500,X=0,3500,3500,作业运行时间,15.85,小时,44.7,小时,28,二、,GPU/CPU,地球物理应用,基于,GPU,单程波叠前深度,域成像,三维单程波方程偏移主要计算量在于下行波场和上行波场分别在深度方向上向下延拓过程。该偏移算法其循环结构为：,炮循环与每炮内部的深度循环,。,根据三维单程波方程偏移成像算法的特点，,GPU/CPU,协同并行算法按如下策略实现：最外层循环单炮循环利用,MPI,控制在不同节点（,CPU,核）上通过进程级粗粒度实现。在每炮内部，数据的输入输出、除波场延拓和提取成像值外的其它运算（如输入单炮数据从时间域转换到频率域、单炮成像结果叠加、偏移背景速度场的计算等）均在,CPU,上完成。,4,、,GPU/CPU,高性能计算实测数据时效对比研究,29,二、,GPU/CPU,地球物理应用,模型数据不同偏移算法偏移效果对比,单程波偏移,克希霍夫偏移,速度模型,INLINE370,30,单程波叠前深度偏移效果对比,(INLINE1320),叠前时间偏移,深度偏移,(,深度域,),二、,GPU,成像研究进展,31,二、,GPU/CPU,地球物理应用,单程波波动方程叠前深度偏移,Kirchhoff,叠前深度偏移,不同偏移算法偏移效果对比,32,二、,GPU/CPU,地球物理应用,通过对比分析，单节点计算能力（单程波成像）：,GPU/CPU=10.1,PC,机群单程波深度偏移与,GPU,单程波深度偏移时效对比研究,处理系统,CPPC,处理系统,PC,机群处理系统商业软件,硬 件 环 境,CPU,配置,12,节点,各节点单,CPU,四核,主频：,3.0,核数：,48,60,节点,双,CPU,四核；,主频：,3.0,核数：,60 x8=480,GPU,配置,12,节点,型号,:Nvidia Tesla1070,核数：,4*240=960,无,应用软件,GPUCPU,协同并行计算,单程波深度偏移,PSPC,单程波深度偏移,测 试 情 况,面积（,Km,2,）,300,数据量,(Gb),487,采样（,ms,）,2,FLOD,120,道长（,ms,）,6000,面元（,m,）,25x25,偏移炮数,29328,30678,延拓深度,6000,5000,空间孔径,X=500*25,，,Y=150*25,X=280*25,，,Y=280*25,频率孔径,T=0,，,4000,，,6000,F=50,，,40,，,30,F=868,作业运行时间,190.54,小时,=7.54,天,402,小时,=16.75,天,平均每炮时间,0.39,分钟,0.786,分钟,33,二、,GPU/CPU,地球物理应用,基于,GPU,双程波叠前深度,域成像,三维双程波方程单炮逆时深度偏移主要计算量在于震源波场和检波器波场分别在时间方向上传播过程。该算法震源波场为正时间传播过程，检波器波场为反时间传播过程，采用零延迟互相关成像条件成像。,该偏移算法其循环结构为：,炮循环与每炮内部,的时间循环,，每个时间步骤由三维差分构成。根据逆时偏移算法特点，,GPU/CPU,并行算法实现策略如下：最外层单炮循环利用,MPI,控制在不同,CPU,核上通过进程级实现。,4,、,GPU/CPU,高性能计算实测数据时效对比研究,34,二、,GPU/CPU,地球物理应用,理论模型试算,BP,模型,RTM,试算结果,RTM,偏移结果,速度模型,35,二、,GPU/CPU,地球物理应用,理论模型试算,SEG 3D,盐丘,模型,RTM,试算结果,单程波偏移,克希霍夫偏移,逆时偏移,速度模型,Inline 420,36,二、,GPU/CPU,地球物理应用,NWGI,模型,RTM,试算结果,单程波偏移结果,逆时偏移结果,37,二、,GPU/CPU,地球物理应用,BLH,地区逆时偏移对比研究,逆时偏移,单程波动方程偏移,INLINE350,38,二、,GPU/CPU,地球物理应用,通过对比分析，单节点计算能力（双程波成像）：,GPU/CPU=25.01,PC,机群逆时深度偏移与,GPU,逆时深度偏移时效对比研究,处理系统,CPPC,处理系统,PC,机群处理系统商业软件,硬 件 环 境,CPU,配置,12,节点,各节点单,CPU,四核,主频：,3.0,核数：,48,64,节点,双,CPU,四核；,主频：,3.0,核数：,64x8=512,GPU,配置,12,节点,型号,:Nvidia Tesla1070,核数：,4*240=960,无,应用软件,GPUCPU,协同并行计算,逆时深度偏移,双程波深度偏移,测 试 情 况,面积（,Km,2,）,300,数据量,(Gb),487,采样（,ms,）,2,FLOD,120,道长（,ms,）,6000,面元（,m,）,25x25,偏移炮数,29328,30678,延拓深度,5000,5000,时间延拓,0.4ms,0.4ms,子波主频,F=,20,F=18,作业运行时间,205,小时,=8.5,天,1008,小时,=42,天,平均每炮时间,0.42,分钟,1.97,分钟,39,CPU,GPU,CPU/GPU,叠前时间偏移,29.3,10.46,14.01,单程波,384,190,10.1,逆时偏移（,RTM,）,1008,202,25.01,比值,1:13.1:34.4,1:17.99:19.41,不同偏移算法在,CPU,、,GPU,上加速比研究,二、,GPU/CPU,地球物理应用,40,PC,机群逆时偏移与,GPU,逆时偏移时效对比研究,处理系统,CPPC,处理系统,PC,机群处理系统商业软件,硬 件 环 境,CPU,配置,12,节点,各节点单,CPU,四核,主频：,3.0,核数：,48,64,节点,双,CPU,四核；,主频：,3.0,核数：,64x8=512,GPU,配置,12,节点,型号,:Nvidia Tesla1070,核数：,4*240=960,无,应用软件,GPUCPU,协同并行计算,逆时深度偏移,双程波深度偏移,测 试 情 况,面积（,Km,2,）,试验,300,平方（实际数据,1440,平方）,数据量,(Gb),487,（,2300,）,采样（,ms,）,2,FLOD,120,道长（,ms,）,6000,面元（,m,）,25x25,偏移炮数,29328,30678,延拓深度,5000,5000,时间延拓,0.4ms,0.4ms,子波主频,F=,20,F=18,作业运行时间,205,小时,=8.5,天（,41,）,1008,小时,=42,天（,201,）,平均每炮时间,0.42,分钟,1.97,分钟,二、,GPU/CPU,地球物理应用,通过实测数据对比分析，,1440,平方地震数据逆时偏移，,512,核,PC,机群需近,7,个月时间，而,12,节点,GPUCPU,协同并行计算只需,41,天。,41,一,GPU,发展历程,GPU/CPU,地球物理应用,三,技术展望,汇 报 提 纲,42,三、技术展望,1,、石油勘探开发对于地震勘探精度和准确性需求不断提高，导致地震勘探数据,量与计算量呈指数增长。高性能计算技术可能成为石油物探技术发展的制约因素。,2,、从技术发展趋势看，异构并行计算系统将成为下一个十年的主要发展方向。基于,GPU/CPU,协同计算,技术,运算效率成,倍,提高。,通过对比分析，单节点计算能力：,时间域成像：,GPU/CPU=14.1,；,单程波深度成像：,GPU/CPU=25.01,；,双程波深度成像：,GPU/CPU=25.01,3,、地震成像仍是石油物探中对高性能计算需求最大的技术，因此地震成像算法及其在各种并行计算系统中的实现是需要持续研究的内容。,GPU技术,在地球物理领域的应用已,露头角，值得重点关注,。,43,三、技术展望,1,、未来高性能计算技术发展的方向与趋势,传统,CPU,由多核技术向众核发展；,基于,FPGA,（现场可编程门阵列）的可重构计算技术；,基于,GPU,的通用计算技术即,GPGPU,技术；,2,、未来地球物理发展趋势,成像算法的提高（如逆时偏移、各向异性介质、弹性波场等）；,正演模拟；岩性反演；油藏动态模拟；多波多分量技术等。,3,、以,CPU+GPGPU,混合加速为特征的异构并行计算系统将成为未来十年高性能计算的主流产品。目前仅适用于叠前偏移（尤其是逆时偏移）。,4,、基于逆时偏移的速度建模技术研发。,5,、通用地球物理技术在,GPU/CPU,系统的实现。,44,谢 谢,!,请领导专家批评指正！,45,