基于CUDA的并行雷达拼图算法研究.pdf

书书书韩丰，高嵩，薛峰，等，基于 的并行雷达拼图算法研究气象，（）：，（）：（）基于犆 犝 犇 犃的并行雷达拼图算法研究韩丰高嵩薛峰李月安国家气象中心，北京 提要：雷达组网拼图算法是强对流天气短时临近预报系统（，）的重要基础方法之一。提高拼图算法的效率，不仅可以提升现有 临近算法序列的时效性，也能更好地应用高分辨率雷达数据，具有重要的实际意义。采用中央处理器（，）和图形处理器（，）混合架构设计并行雷达拼图算法，其中 负责雷达数据的解析和调度 并行模块，负责大规模数据的并行计算。通过分析计算统一设备架构（，）算法的并行开销和拼图算法的特点，提出并实现了 内存管理优化和数据交换流程优化方案，提高了组网拼图算法的效率。对比试验结果表明，基于 的 并行拼图算法和 中 线程并行的 算法相比，在全国 和 分辨率的拼图任务上，加速比分别达到 和 。综上，基于 的并行拼图算法不仅可以提高 短时临近算法序列的时效性，也为更高分辨率雷达资料的拼图提供了技术支持。关键词：组网拼图，并行，计算统一设备架构（），强对流天气短时临近预报系统（）中图分类号：文献标志码：犇 犗 犐：，犃 犫 狊 狋 狉 犪 犮 狋：（），（），（）（），国家重点研发计划（）、国家气象中心气象现代化专项（）和中国气象局重点创新团队（）共同资助 年月 日收稿；年月日收修定稿第一作者：韩丰，主要从事气象短时临近预报算法研发 ：第 卷 第 期年月气象 ，犓 犲 狔狑 狅 狉 犱 狊：，（），（），（）引言随着观测技术和预报业务需求的发展，气象雷达的分辨率不断提高。年，中国气象局启动我国新一代天气雷达的双偏振改造和技术升级，升级后的波段雷达强度径向分辨率由 提升至 。同时，为了满足精细化临近预报业务的需求，北京市、江苏省、广东省等地区先后建立 波段双偏振雷达网并投入业务使用（张哲等，；苏永彦和刘黎平等，；，）。雷达径向分辨率的提升对数据的快速处理和客观算法提出了更高的效率要求。雷达数据的三维组网拼图技术是雷达应用的重要基础方法之一（程元慧等，；张勇等，）。在进行雷达组网时，首先需要将回波从球坐标转换到等经纬度的直角坐标系下，再通过最大值、均值、距离反比等方案，在多部雷达的观测重叠区进行融合计算（肖艳姣和刘黎平，）。拼图计算过程中，涉及插值、坐标系转换、大规模数据网格等问题，计算密集且数据吞吐量大，是对计算资源需求量最大的雷达客观方法之一。以强对流短时临近预报系统（，）（韩丰和沃伟峰，）为例，全国 雷达组网拼图算法是临近预报算法中耗时最长的算法，且雷达拼图后续还有风暴识别和追踪算法（，）、外推等其他客观方法。所以提升雷达拼图的运算速度可以明显提升临近预报产品序列的时效性。此外，考虑到雷达径向分辨率的提升，将拼图的分辨率提升至 时，现有的拼图算法无法在一个观测周期（）内完成计算，不具备业务应用能力。所以将更先进的并行计算技术应用于雷达组网拼图算法中，一方面可以提升现有算法序列的时效性，另一方面也可以更好地应用高分辨率雷达基数据，具有重要的实际意义。气象部门常用中央处理器（，）并行技术和基于 的分布式计算框架来提高运算能力。王志斌等（）通过使用共享存储并行编程（，）并行技术和消息传递接口（，）编程规范，实现雷达拼图系统的两级并行。吴石磊等（）使用多线程技术对全国组网雷达估测降水系统进行效率优化，通过调整计算负载，可以将计算效率提升倍。系统设计实现了基于 的雷达组网拼图算法，使用 个逻辑线程，生成全国 分辨率三维拼图产品需约 。经过多年的发展，性能提升已经逐渐达到瓶颈，多核应用的成本效益比不断下降，仅仅通过挖掘 性能来提升算法效率已经不能满足现有的需 求。图 形 处 理 器（，）作为一种新的计算资源，由于其区别于 的硬件架构，特别适合解决大规模数据的计算问题。同时 并行计算接口的快速发展，也使得 在通用 计算 领 域的 应 用 越来 越 广 泛（钱 奇 峰 等，；黄骄文等，）。目前国内外也有一些使用 加速气象算法的研究 成 果。（）、（）、（）、（）、王艺儒（）、（）和肖洒等（）等学者将 并行技术应用于数值模式，改写相关动力框架和计算模块，在保持计算精度的同时，显著提高模式的运行效率。（）介绍了 在台风定强深度学习模型中的应用。（）、王兴等（）和胡荣华（）将 应用于雷达数据处理和临近预报算法，得到了 倍以上的加速比。由于 程序主要使用图形应用程序接口（，）进 行 编程，如气象信息综合分析处理系统（）（高嵩等，）使用开放式图形语言（，）开发气象数据渲染引擎。但是图形 并不适用于通用计算任务。因此，比较主流的 并行算法一般通过一第 期韩丰等：基于 的并行雷达拼图算法研究些标准化的并行编程接口实现。常用的并行计算接口有 开 放 运 算 语 言（，）如王兴等（），开源加速接口（，）如 （）、（）、肖 洒 等（），计 算 统 一 设 备 架 构（，），如 （）等。本文设计基于 的雷达组网拼图算法，通过分析 算法的并行开销和组网拼图算法的流程，提出高效的 的并行拼图算法实现方案。通过和现有中的 并行组网拼图算法对比，获得较好的性能优化和实际效果。综上所述，本文为了提高 临近客观算法的时效性，更好地应用高分辨率雷达资料，将 并行技术应用于雷达组网拼图算法，设计了基于 的并行拼图算法。通过算法性能分析，提出并实现了一种基于 内存管理和数据流程优化的方案。对比试验表明，基于 的并行算法能获得超过 以上的加速比。基于 的 并行计算模型 犆 犝 犇 犃编程模型 是 公司发布的通用并行计算平台和编程模型，它提供了 编程的简易接口，如初始化 空间，主机和 设备间的数据传输等。基于 编程可以构建 计算的应用程序，而无需关注底层的图形 。是一个异构编程模型，可以协同调度 和 ，共同完成一个计算任务。在 编程模型中，计算资源被分为主机端（）和设备端（），其中主机端表示 及其内存，设备端表示 及其内存。程序中既包含主机端模块，又包含设备端模块，它们分别在 和 上运行。犆 犝 犇 犃并行算法流程如前文所述，具有独立的内存系统，所以 在调度 进行并行计算时，首先需要将数据从 内存拷贝到 内存，最后再将计算结果拷贝回 内存。表是一个典型 算法和 算法的执行流程。对比两者可见，算法多了一次内存的分配，一次内存的释放和两次数据的搬运。可将这四次操作认为是 并行算法所必须的并行开销。下文将通过组网拼图试验，按照表中的步骤，分析基于 的雷达组网拼图算法效率瓶颈，并给出优化方案。表犆 犇 犝 犃算法和犆 犘 犝算法的执行流程对比犜 犪 犫 犾 犲犆 狅 犿 狆 犪 狉 犻 狊 狅 狀狅 犳 犲 狓 犲 犮 狌 狋 犻 狅 狀犳 犾 狅 狑犫 犲 狋 狑 犲 犲 狀犆 犝 犇 犃犪 犾 犵 狅 狉 犻 狋 犺 犿犪 狀 犱犆 犘 犝犪 犾 犵 狅 狉 犻 狋 犺 犿步骤 算法 算法分配 内存，从文件载入数据分配 内存，从文件载入数据分配 内存将数据从 内存拷贝至 内存调用函数在 上完成指定计算调用函数在 上完成指定计算将计算从 内存拷贝至 内存释放 内存输出计算结果，释放 内存输出计算结果，释放 内存基于 的雷达组网拼图算法设计 基于犆 犘 犝并行的雷达组网拼图算法设计在雷达组网拼图算法中，首先需要每个单站分别进行三维离散化处理，最后将所有站的三维离散化结果拼接到一个大的数据网格中。在多雷达重叠部分，按照雷达融合策略进行取值。目前常用的策略为最大值法、距离反比权重法等。在中的 并行拼图算法和本文设计的 并行算法中，均采用肖艳姣和刘黎平（）提出的三维离散化方案，并按照距离反比权重法进行重叠区融合。中目前使用的 并行拼图算法包括两个并行块。并行块：由于每个站雷达数据都是独立离散化的，则设计并行方案，在多线程中并行处理不同站的数据；并行块：在离散化后数据组网拼 气象 第 卷图过程中，由于不同垂直层之间也是相互独立的，则设计并行方案，并行处理多层的数据拼接。并行块和并行块为顺序执行，即先完成全部站点的离散化之后，再进行多站拼图。雷达三维离散化插值分为两步，首先计算出平面直角坐标系中点犘（狓，狔，狕）在以雷达站为中心的球坐标系中的位置（狉，），随后将雷达基数据用双线性插值的方法插值到直角坐标系中。可以采用预先计算坐标转换查找表的方式，加快雷达数据空间插值的计算速度。当硬盘读取速度大于查找表计算速度时，优化是有效果的。基于犆 犝 犇 犃的雷达组网拼图算法设计 并行粒度分析上述 并行拼图算法是合理而且有效的，主要是因为 一般只有几十个逻辑核心，且每个核心的计算能力很强，可以处理复杂的任务。将不同的站点和层次分配到单独的线程里面，既可以充分利用所有的核心，还能够充分发挥 核心的性能，减少频繁创建、销毁线程的开销。但是 一般有几十个流式多处理器，每个流式多处理器可以同时启动上千个 计算单元，且每一个计算单元的计算能力较弱，不能完成一个站点的三维离散化任务。所以要充分发挥 的并行性能，需要设计格点级的并行方案。并行拼图算法初步设计图给出了 并行拼图算法初步设计流程图。算法采用 并行混合的设计方案。其中，负责雷达基数据的解析和最终拼图产品的输出，负责每一步插值算法的并行计算。整个计算流程分为两个部分，单站的三维离散化插值和多站拼图。在单站三维离散化插值时，由 作为主要的调度程序，负责解压、解析雷达基数据，并调用 中的三维插值模块，实现并行计算。不同雷达站之间的离散化部分采用串行的方式依次进行。在多站拼接阶段，依然使用 作为调度程序，调用 中的空间插值模块，实现多站拼图的并行计算。效率分析图给出了 中单站三维离散化并行模块的执行流程。对照表，并行计算中包括内存管理、数据传输和计算模块三个部分。表给出了一个单站三维离散化实例（分辨率）和多站拼图（个站）实例的运行时间分布。表中可以看出单站的三维离散化总计耗时 ，考虑到多站雷图 并行组网拼图算法流程设计 第 期韩丰等：基于 的并行雷达拼图算法研究图基于 的单站三维离散化并行模块 表基于 犆 犝 犇 犃的组网拼图算法中的耗时分配（单位：狊）犜 犪 犫 犾 犲犜 犻 犿 犲犮 狅 狀 狊 狌 犿 犻 狀 犵 犻 狀犲 犪 犮 犺狊 狋 犲 狆狅 犳 狉 犪 犱 犪 狉犿 狅 狊 犪 犻 犮犪 犾 犵 狅 狉 犻 狋 犺 犿犫 犪 狊 犲 犱狅 狀犆 犝 犇 犃（狌 狀 犻 狋：狊）任务名称分配空间 传输数据 计算模块 返回数据释放空间总计单站离散化 多站拼图 达数据三维离散化之间采用串行方式，以表的执行速度，处理全国大约 个站的数据大概需要 ，再算上 解析处理雷达基数据的时间，并行算法和 并行算法相比，没有明显的效率优势。由表可以看出单站离散化过程中有超过 的运行时间都用在了内存管理和数据传输方面。所以从优化算法和提高效率的角度考虑，应提高内存管理和数据传输部分的效率。多站拼图并行模块的时间分布与此类似，不做赘述。改进方案通过效率分析，本文从内存管理和数据传输两个方面提出 组网拼图算法改进方案。改进：以计算代替存储。考虑到 计算的耗时明显少于内存管理的耗时，尽可能减少数据存储和设备间的数据拷贝，进而减少内存管理开销。通过表可以看出，单站离散化中的空间插值表计算和三维离散化插值计算总计用时不到 。由于存储查找表需要在 中申请单独的大数组，其内存管理时间远远大于计算时间。由此，将空间查找表计算和三维离散化插值合并成一个并行计算模块，格点的坐标系转换关系直接存储在 中。通过测试，应用改进后，分配空间的耗时由 下降至 。改进：增加数据结构复用，避免重复申请和释放 内存空间。考虑到 以串行的方式调度 进行不同站的三维离散化计算，在不同站处理时，部 分 数据 结构 可 以 直接 进行 复 用，减少 内存管理开销。在算法开始时，可以一次性申请全部内存空间，并在最后统一进行空间释放，减少内存管理的操作次数。通过测试，应用改进后，个站的内存申请耗时 ，内存释放耗时 ，效率提升非常明显。改进：以存储代替传输。组网拼图算法的第二步是将单站离散化之后的数据融合拼接到拼图网格上，需要将单站离散化结果从单站模块搬运到多站拼图模块。此处考虑到由于两个并行模块都在 中完成，可以将单站离散化结果临时存储在 内存中，拼图模块直接从 内存读取相关数据进行拼图。应用改进后，可以省去单站三维离散化模块的数据返回耗时和多站拼图模块的数据传输耗时。表给出了改进前后的 并行开销对比。在四个对比项目中，除了 传输数据部分是必要开销外，其余三部分都得到了明显优化，并行开销总计时间也得到了显著下降。表改进前后犌 犘 犝组网算法并行开销对比（单位：狊）犜 犪 犫 犾 犲犆 狅 犿 狆 犪 狉 犻 狊 狅 狀狅 犳狆 犪 狉 犪 犾 犾 犲 犾 狅 狏 犲 狉 犺 犲 犪 犱狅 犳犌 犘 犝狀 犲 狋 狑 狅 狉 犽 犻 狀 犵犪 犾 犵 狅 狉 犻 狋 犺 犿 狊犫 犲 犳 狅 狉 犲犪 狀 犱犪 犳 狋 犲 狉狅 狆 狋 犻 犿 犻 狕 犪 狋 犻 狅 狀犫 犪 狊 犲 犱狅 狀犆 犝 犇 犃（狌 狀 犻 狋：狊）任务名称分配空间 传输数据 返回数据释放空间总计改进前 改进后 气象 第 卷 基于 的并行组网拼图算法设计综上，图给出了 并行拼图算法的最终设计，图中狀表示雷达站点数。和 节相比，最终设计增加了对于 内存的管理和 数据传输的 优化，即 上文 提 到的 三 个优 化 方 案。完成单站三维离散化计算后，仅发送回调消息，通知 开始下一个雷达站数据的处理。拼图模块直接从 内存中读取数据，完成计算，最后将拼图产品返回给 端。通过数据流和内存管理的优化，组网算法一共只有狀次 数据拷贝，次 的数据拷贝，次申请空间和次释放空间。组网拼图算法对比试验 对比试验介绍 实时业务逐分钟生成全国（、）三维（垂直 层）拼图产品，每个时次大约处理 个雷达（约）的数据。以此业务场景为基础，本文设计两组对照试验，验证 并行和 平行拼图算法的效率。试验内容如表所示，其中 并行算法采用 系统中的拼图算法（个线程并行）。试验在同一台服务器上进行，图基于 的并行拼图算法设计 表对比试验犜 犪 犫 犾 犲犆 狅 犿 狆 犪 狉 犻 狊 狅 狀犲 狓 狆 犲 狉 犻 犿 犲 狀 狋 狊狅 犳犪 犾 犵 狅 狉 犻 狋 犺 犿犲 犳 犳 犻 犮 犻 犲 狀 犮 狔试验名称试验内容算法时间复杂度空间复杂度试验一全国 雷达拼图 并行 并行约（）约（）试验二全国 雷达拼图 并行 并行约（）约（）第 期韩丰等：基于 的并行雷达拼图算法研究其中 为 ，内存，显卡为 ，显存。耗时采用次运算取均值的方法。运行效率分析本文按照公式进行算法运行效率分析：狋 狋 狋 狋 （）式中：狋 表示算法的总运行时间，狋 表示解析全部雷达基数据的耗时，狋 表示全部单站完成三维离散化的耗时，狋 表示多站拼图的耗时。使用加速比犛定量评估 并行算法加速效果：犛狋狋（）式中：狋表示 并行算法的运行时间，狋表示 并行算法的运行时间。犛越大，说明 算法加速效果越好。表给出了算法效率试验结果。对比狋 可以看出，并行算法的效率优势明显，犛分别达到 和 。对比试验一、试验二可以看出，随着拼图分辨率的提高，算法的效率优势也更加明显。这主要是由于在当前拼图的计算量下，算法的耗时主要是内存管理和数据传输。当拼图分辨率提高时，内存管理和拼图产品的传输开销变大，并行计算部分的耗时还是仅占不到。这说明 并行算法具备应对更大规模计算的潜力。表中狋 主要包括 解压和解析雷达基数据的时间，此步骤在四个试验中是基本一致的。从试验结果也可以看出，四个试验方案的耗时接近，符合预期。如果排除狋 ，仅考虑计算部分的加速比，犛分别达到 和 。表中的试验二表明，基于 的并行拼图算法可以在 内完成全国 分辨率拼图的运算，说明应用 并行技术之后，更高分辨率的雷达拼图具备一定的业务可行性。表算法效率试验结果（单位：狊）犜 犪 犫 犾 犲犜 犺 犲 狉 犲 狊 狌 犾 狋 狅 犳犪 犾 犵 狅 狉 犻 狋 犺 犿犲 犳 犳 犻 犮 犻 犲 狀 犮 狔犲 狓 狆 犲 狉 犻 犿 犲 狀 狋 狊（狌 狀 犻 狋：狊）试验名称算法犛狋 狋 狋 狋 试验一 并行 并行 试验二 并行 并行 结论本文基于 设计一种 并行的全国雷达组网拼图算法，其中 负责文件解析和流程调度，负责大规模的插值并行计算。在算法设计时，考虑到 特性和拼图算法特点，通过优化 内存管理和数据流程，减少 算法的并行开销，和 并行算法（个线程）相比，获得了超过 的加速比。本文的试验表明，并行拼图算法可以在 内完成全国 分辨率拼图的实时计算，为高分辨率雷达资料在业务中的应用提供了一种新方式。本文设计的雷达组网拼图算法，可以代表计算密集、数据吞吐量大的这一类气象算法的 并行方案。此类算法都可以通过本文类似的方法实现 的并行化改造。在今后的工作中，考虑将拼图算法和其前序的单站质控、后序的外推算法进行进一步整合，直接实现基于 的算法序列。此外，配合中国气象局雷达流传输业务改革，拼图算法可以直接对接雷达基数据数据流，通过在体扫观测结束前，预先加载部分数据的方式，进一步提高产品时效。参考文献程元慧，傅佩玲，胡东明，等，广州相控阵天气雷达组网方案设计及其观测试验气象，（）：，（）：（）高嵩，毕宝贵，李月安，等，预报业务系统建设进展与未来发展应用气象学报，（）：，（）：（）韩丰，沃伟峰，系统的设计与实现应用气象学报，（）：，（）：（）胡荣华，并行计算在临近天气预报系统中的应用研究 广州：华南理工 大 学 ，：气象 第 卷 （）黄骄文，蔡荣辉，姚蓉，等，深度学习网络在降水相态判识和预报中的应用气象，（）：，（）：（）钱奇峰，王川，徐雅静，等，一种基于深度学习的台风强度估测技术气 象，（）：，（）：（）苏永彦，刘黎平，波段双偏振雷达和波段相控阵天气雷达中气旋识别结果对比 气象，（）：，（）：（）王兴，王新，苗春生，等，基于 加速的雷暴追踪外推方法研究 南京师范大学学报（工程技术版），（）：，（），（）：（）王艺儒，闪电数值模式 并行化计算及其初步应用 南京：南京信息工程大学 ，：（）王志斌，陈波，万玉发，等，天气雷达资料实时并行处理方法计算机工程，（）：，（）：（）吴石磊，安虹，李小强，等，组网雷达估测降水系统并行化方案的设计与实现计算机科学，（）：，（）：（）肖洒，魏敏，邓帅，等，基于 的气候模式加速优化研究气象，（）：，（）：（）肖艳姣，刘黎平，新一代天气雷达网资料的三维格点化及拼图方法研究气 象学报，（）：，（）：（）张勇，吴胜刚，张亚萍，等，基于 雷达拼图产品在暴雨过程中的对流云降水识别及效果检验气象，（）：，（）：（）张哲，戚友存，朱自伟，等，深圳波段与波段双偏振雷达在定量降水估计中的应用 气象学报，（）：，（）：（），（）：，（）：，（）：，（）：，：，（）：，：，（）：，（）：，：，：（本文责编：戴洋）第 期韩丰等：基于 的并行雷达拼图算法研究