高性能计算机发展情况研究报告.pdf

1高性能计算机发展情况研究报告高性能计算（Hgih Preformance Computing,HPC）是利用并行处理和互联技术将多个计算节点连接起来，从而高效、可靠、快速地运行高级应用程序的过程，在许多情况下又被称作超级计算，已成为解决科学研究、经济发展、国家安全等方面诸多重大难题的重要手段。本文在介绍世界主要国家和地区高性能计算机发展态势的基础上，对我国的现状进行了总结，并指出存在的问题及对策建议。一、中国高性能计算机发展现状我国在基金委、科技部的长期支持下，近年来在基础理论与方法、工程设计和制造技术、机器研制及人才培养等方面有了一个质的飞跃。高性能计算机研发方面突破了异构协同并行计算体系结构、高性能处理器、高速互连、高密度组装、高效冷却、系统可靠性、并行系统软件等关键技术，成功研制了天河、神威、曙光、深腾等高性能计算机。（一）我国百亿亿次计算战略部署在 2016 年启动的国家“十三五”高性能计算专项课题中，江南计算技术研究所、国防科技大学和中科曙光和同时获批开展 E 级超级计算原型系统的研制工作。截至 2018 年10 月，专项课题的三台 E 级超算的原型机系统神威 E 级原型机、“天河三号”E 级原型机和曙光 E 级原型机系统全部北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟2完成交付。神威 E 级原型机系统和“天河三号”E 级原型机系统已相继在国家超算济南中心和国家超算天津中心完成部署并启用。而曙光 E 级原型机系统在完成交付后，部署在上海超级计算中心和国家超算深圳中心。我我国国在在 E E 级级超超算算的的研研制制方方面面暂暂时时处处于于领领先先位位置置。（二）我国高性能计算机现状1 1、性性能能分分析析2010 年国产天河一号首次夺得 HPC 世界冠军，当年上榜数量也首次超过日本和欧盟，仅次于美国。神威 太湖之光蝉联四次世界冠军。迄今为止，中国超算已经十次夺得世界第一，中中国国 T TO OP P1 10 00 0 的的平平均均 L Li in np pa ac ck k 性性能能继继续续保保持持比比国国际际T TO OP P5 50 00 0 平平均均 L Li in nk kp pa ac ck k 性性能能高高的的局局面面，且 TOP100 入门门槛仍然超过 TOP500，中中国国研研制制超超算算系系统统的的能能力力已已经经跻跻身身世世界界先先进进水水平平的的行行列列。2 2、制制造造商商分分析析中国 TOP100 的超算系统已经实实现现全全部部为为国国产产超超算算系系统统，曙曙光光、联联想想和和浪浪潮潮三三强强争争霸霸的局面继续保持并加强，三强合计占国产系统份额的 92%。其中曙光、联想各 40 套，并列第一。北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟3图 12018 年我国 TOP100 制造商系统份额（数据来源：2018 中国高性能计算机性能 TOP100 排行榜）3 3、体体系系结结构构分分析析2015 年美国禁止销售英特尔 Xeon（至强）芯片给中国的四个国家级超算中心，这使得逐步实现国产自主是未来中国超算行业的发展趋势。从 CPU 类型看，2018 年榜单排名靠靠前前几几位位采采用用国国产产芯芯片片的的超超算算比比例例增增大大。神威太湖之是我国第一台全部采用国产处理器构建的超算，天河一号、二号、三号全部采用国产 CPU，AMD 和 IBM 处理器不再在榜单中出现。除了国家投资的超算外，TOP100 的商商业业化化公公司司超超算算都都是是采采用用美美国国芯芯片片，绝大部分来自英特尔或英伟达公司。英伟达公司的 Tesla 系列 GPU 在 HPC 系统逐渐成为加速计算的主流，TOP100 榜单中，有 31 套系统采用英伟达的 Tesla GPU，其中绝大部分用于深度学习。4 4、应应用用领领域域分分析析互互联联网网、大大数数据据、人人工工智智能能仍仍然然是是应应用用的的最最大大领领域域，大北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟4数据和人工智能占了 27%，互联网和云计算占到 20%，传统超算（政府电信、能源、超算中心、工业制造、科学计算）入榜 49 台，占比近半，其中科学计算有所回升，达到 17%，超算中心也占到了 13%，政府电信 6%，工业制造 4%，安全4%，能源 2%。传统超算领域，曙光在该领域里份额近半，厂商占比第一。图 22018 年我国 TOP100 系统在不用应用领域的分布（数据来源：2018 中国高性能计算机性能 TOP100 排行榜）5 5、部部署署机机构构分分析析我国高性能计算机系统中，3 3/4 4 部部署署于于企企业业，充分说明了高性能计算机已经广泛应用于国民经济主战场，并在多个领域尤其是互联网领域发挥这不可替代的作用。其余 1/4 的系统分别部署于政府部门、超算中心和科研院所。从安装地点看，2017 年 TOP100 的 124 套超算系统分布于 9 个省市。其中浙江以 53 套居第一，主要归功于阿里及海康威视两家企业；其余 8 个上榜地区依次为北京（45 套）、广东（13 套）、上海（5 套）、山西（3 套）、江苏（2 套）和北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟5天津、内蒙古、新疆（各 1 套）。（三）北京市高性能计算机发展现状北京拥有全国领先的超算系统制造商曙光、联想和浪潮，占据了国内九成以上的超算市场。拥有中科院计算技术研究所、清华大学、北京航空航天大学等科研骨干单位。北京是我国互联网企业最具优势的地区，并已经聚集了大批AI 领域的高科技公司，IDC 发布的2018 中国 AI 计算力发展报告指出，北京是 AI 计算力发展城市第二位。因此，北京在将“造机器”、“用机器”有机联合方面存在天然的优势，可以更好地促进高性能计算技术的创新、应用普及和产业发展，加速超级计算产、学、研、用的融合。1 1、联联想想本本土土化化创创新新联想在 2018 TOP100 中以 40 套的份额跻身厂商第一名，联想在超算市场的成功，首先源于其在超算市场的投入。联想早在 2001 年联想就成立了高性能服务器事业部，开始了在 HPC 领域的探索。在 2014 年收购 IBM x86 服务器部门后，联想在 HPC 领域更是如虎添翼。另外就是联想在 HPC 人才建设方面有着雄厚的基础，比如联想集团首席科学家祝明发、肖利民博士、杜晓黎博士等。这些直接促成了联想在高性能计算市场的表现，成果就是面向 E 级计算的高性能计算机系统深腾 X8800。联想通过吸纳 IBM x86 上的技术，实现了本土化创新。北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟62 2、曙曙光光布布局局 E E 级级超超算算中科曙光是在科技部、中科院大力推动下，以国家“863”计划重大科研成果为基础组建的高新技术企业，曾 9 年占据 TOP100 榜单份额榜首。具体来说，在中国超算性能 TOP10中，有 3 台超算系统入围；在榜单 TOP20 中，有 10 台超算系统入围。从应用领域来看，曙光入围榜单的超算系统在传统的高性能计算应用如科研、教育、能源、工业设计等行业表现出色，同时也在新兴行业互联网、人工智能领域多有部署。曙光已在兰州、合肥、太原、福州等地陆续参建、部署了先进计算中心，并依托先进计算中心这一重大科技基础设施和公共服务平台，为区域不断引入创新资源。在国家“十三五”高性能计算专项课题中，中科曙光获批 E 级超算的原型系统研制项目，国防科大、江南计算所形成了中国 E 级超算三足鼎立的局面，目前曙光 E 级超算的原型系统完成交付，开始进入运营阶段。3 3、浪浪潮潮主主打打智智慧慧超超算算浪潮公司凭借其在互联网公司 AI 系统方面的绝对优势，在 2017 年 TOP100 中首次夺得数量冠军。浪潮主打以云计算为基础平台、大数据为认知方法、深度学习计算为优化工具的智慧计算，是基于云计算、大数据、深度学习等技术的融合。北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟7二、存在问题我国研制的高性能计算机已连续 10 次在高性能 TOP500中夺冠，我国学者开发的超算应用还连续两次获得戈登 贝尔奖，说明我国不但能造出世界上速度最快的计算机，而且能在高性能计算机上实现其他国家还做不到的实际应用，高性能计算已像航天和高铁一样成为中国的“名片”。但是，一些核心技术仍未实现突破，除了个别领域有一些有代表性的软件外，大大部部分分行行业业里里面面的的超超算算开开源源软软件件、工工程程商商业业软软件件都都由由国国外外控控制制；没没有有形形成成引引领领国国际际研研究究潮潮流流的的突突破破性性技技术术或或构构架架出出现现，大部分为跟踪研究；我国在微处理器体系结构学术研究领域和工程实现领域有具体技术点和个别芯片的有限突破，但在研研究究的的深深度度、广广度度和和持持续续性性上上与与领领先先国国家家差差距距较较大大。因此，我国高性能计算依然存在较多的提升空间。三、国外情况及经验借鉴（一）E 级计算机战略规划E 级计算机（百亿亿次计算）是世界各国特别是发达国家竞相争夺的技术制高点，美国、欧洲、日本等国家和地区都提出了自己的 E 级超算研发计划。预预计计在在 2 20 02 20 0 年年前前后后，中中国国、美美国国、日日本本、欧欧洲洲都都存存在在率率先先取取得得占占领领 E E 级级超超算算制制高高点点的的可可能能性性。1 1、美美国国北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟8美国以“国家战略性计算计划”为主要纲领，由不同政府部门协同推进未来高性能计算，特别是百亿亿次计算研发与应用。2017 年 7 月，美国能源部启动了“百亿亿次计算项目”，希望于 2021 年至少交付一台 E 级超算。2 2、欧欧盟盟2017 年 3 月，法德意大卢荷葡西等七国签署协议建设EuroHPC，投资 10 亿欧元用于建设欧盟的 E 级超级计算机。欧盟预计 2022 年2023 年交付首台 E 级超算，使用的是美国、欧盟处理器，架构有可能类似 ARM。2 2、日日本本2013 年 12 月，日本文部科学省推出百亿亿次超级计算机研发项目“旗舰 2020 计划”，旨在保持日本在计算科学和技术领域的领先优势。新的超级计算机“后京”（Post-K）预计于 2020 年投入使用，速度将是日本现有最快超级计算机“京”的 100 倍。4 4、法法国国法国布尔公司于2014年11 月公布其百亿亿次计算的研发计划，拟开发一台具有最顶级互联能力的百亿亿次超级计算机 SEQUANA。2015 年 7 月，法国源讯公司与法国新能源与原子能委员会（CEA）签订合同，约定于 2020 年提供百亿亿次超级计算机“Tera1000”。2015 年 8 月，IBM 和法国国家大型计算中心合作，基于 OpenPOWER 生态系统开发的最先进北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟9HPC 技术，加快迈向百亿亿次计算的步伐。（二）全球超算现状1 1、计计算算能能力力方方面面，以 Linpack 性能排名的全球 HPCTOP500 排行榜中，中中美美两两国国进进入入交交替替领领跑跑世世界界超超算算的的局局面面。2018 年 6 月美国能源部橡树岭国家实验室与 IBM、英伟达合作打造出了新一代超级计算机 Summit（巅峰），其峰值运算性能达到 200PFlops，即每秒执行 20 亿亿次浮点运算，基于IBM Power 构架，近 28,000 块英伟达 Volta GPU 提供了 95%的算力。在 2018 全球 HPC TOP500 中排名第一，比自 2016年以来一直保持世界第一的我国“神威 太湖之光”峰值计算能力（每秒 12.5 亿亿次）快了 60%。图 32018 年全球 TOP500 按国家分布划分系统占有统计（个）（数据来源：https:/www.top500.org/lists/2018/06/）美美国国仍仍然然是是世世界界超超算算的的强强国国，在使能技术储备、基础理论与方法、工程技术等多个方面均处于世界领先地位。在北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟102018 年全球 HPC TOP500 排行榜上的数量已经降到 25%的份额，124 台超算入榜。但榜单前十名中，美国超算系统占据6 个席位，分别来自 IBM 和 Cray 公司。美国主要的超算制造商有：先进微设备公司（AMD）、Cray 公司（CRAY）、惠普公司（HP）、国际商业机器公司（IBM）、英特尔公司（Intel）和英伟达公司（NVIDIA）。我我国国上上榜榜数数量量最最多多，有 206 台超算系统进入 2018 年 TOP500 榜单，占全部系统的 41.2%，已经完全打破国美、日本及欧洲发达国家在先进硬件资源方面垄断的局面。其中，浪潮 68 台、联想 65 台、曙光 55 台、华为 8 台、国防科大 4台、惠普 4 台、国家并行计算机工程技术研究中心 2 台。但我国只有 2 台超算系统进入了前十名，分别是神威太湖之光（第 2 名）和天河二号（第 4 名）。2 2、芯芯片片方方面面，从超算所用的处理器来看，美美国国 I In nt te el l公公司司仍仍占占主主流流。在上榜的 500 台超算中，476 台使用英特尔“芯”，占比 95.2%，比 2017 年榜单比例有所增加。3 3、应应用用方方面面，美国超级计算机应用领域范围广，应用开发能力强且生态环境成熟。日本在应用方面有着自己的发展规划和特色，具有高性能计算应用的广度和深度。欧洲尽管在高性能计算机研制方面已经落后于美国、中国和日本，但在应用方面在国际上首屈一指，在计算模型、并行算法和并行应用等方面拥有相当多专利。我我国国超超算算应应用用与与发发达达国国家家北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟11差差距距较较大大，用用于于最最尖尖端端、前前沿沿研研究究的的很很少少，大大部部分分存存在在与与互互联联网网公公司司、云云计计算算服服务务中中心心，而而美美国国大大都都被被部部署署在在国国家家实实验验室室、大大学学以以及及研研究究机机构构。四、对策建议（一）构建“大”、“小”高性能计算创新生态系统我国高性能计算的发展到了关键时期，必须要在此阶段建立起良好的生态系统，方可实现全面领先和持续性进步。从狭义上说，“小”的创新生态系统是要面向处理器研发系统软件、工具软件和应用软件，让处理器得到广泛应用。而“大”的创新生态系统是指产业界、学术界和应用部门之间的协调，即把系统研发、应用研发和整个计算基础设施的研发整合起来，真正形成具有世界竞争力的科学产业和基础设施。需要通过在教育、研究和产业各个领域更好地开展合作来建设这更大的创新生态环境。（二）改善科研院所高性能计算设施建设尽管我国入围 Top500 榜单的高性能计算机数量已大幅超越美国，但其中大部分都排在榜单的后半部分，并且大多被部署在互联网公司、云服务提供商、电信运营商、电力公司和政府部门，用于尖端研发的寥寥无几。与此相对应的，美国大多数高性能计算机被部署在国家实验室、大学以及研究机构中，从事最尖端和前沿的研究。中国的大学和研究机构需要高性能计算设施，应当加大在这方面的投资，为科学北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟12研究提供计算服务。（三）突破软件瓶颈，释放高性能计算设施价值高性能计算机的寿命通常只有 57 年，并且运行维护费用很高，因此必须快速研制出相关应用程序，才能最大程度发挥其价值。我国高性能计算长期重“硬”轻“软”，导致基础并行环境、基础算法、高性能数学库、操作系统等基础与应用软件的发展落后于计算机系统的发展，进而导致我国高性能计算设施难以充分发挥作用。目前，我国许多研究机构、高等院校大量使用国外商业软件、开源软件，并导致诸多困难:一些软件甚至只是目标程序，很难对物理模型、计算格式、算法进行调整、改进；计算规模受限制；计算精度、分辨率不高；关键应用受到限制。建议成立并行软件工程中心，统筹、协调全国各行业并行软件的研究、开发、推广和应用，同时采用自研、开源、共享等多种手段，解决国产软件缺乏和市场占有率低的问题。（四）大力培养高素质跨学科人才高性能计算是一门典型的交叉学科，其内容涉及计算机科学、计算数学、行业应用知识。我国高性能计算的研发人才已具备相当实力，但应用人才相对短缺，特别是缺乏应用软件和系统软件方面的专业人才。主要原因在于培养相关人才的门槛高、专业性强，学科交叉协作还未形成风气，缺乏鼓励学科交叉合作的具体机制和组织保障。北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟13因此，培养高素质跨学科人才显得尤为迫切。应建立长期的人才培养战略，通过科普让更多年轻人接触、了解高性能计算，同时扩大设置“高性能计算理论+多学科应用课程”的高校范围，加大对“懂计算懂专业”的复合型人才培养力度，大力推动该领域多学科的交叉融合。要加强课程建设、师资队伍建设，还要拓宽人才培养渠道、结合实践培训用户来解决人才不足问题。北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟北京长风信息技术产业联盟