iSCSI转发Ceph存储的性能影响因素评价.pdf

2023 年第 8 期79计算机应用信息技术与信息化iSCSI 转发 Ceph 存储的性能影响因素评价陶锐哲1 谢涛涛1 尹 萍1 田 雨1 韩 同1TAO Ruizhe XIE Taotao YIN Ping TIAN Yu HAN Tong 摘要 在大规模云计算平台中，裸金属服务器使用分布式存储（如 Ceph）的应用场景十分广泛。为了确保分布式存储系统的网络安全隔离，必须通过 iSCSI 协议对 Ceph 存储进行转发。然而，目前业界对于这种使用场景的性能评价尚不充分。本文旨在建立一个基准测试系统，以评估在不同条件下通过iSCSI 协议转发 Ceph 存储时的性能指标参数，并分析出关键的性能影响因素。本研究将重点考虑存储网关的网络带宽、缓存算法以及存储协议栈对性能的影响。通过综合分析，我们得出以下结论：提升网络链路带宽、水平拓展存储网关、采用高效的缓存算法以及优化存储协议栈，能够有效提高裸金属服务器使用 iSCSI 协议转发 Ceph 分布式存储的性能。关键词 大规模云计算平台；Ceph 分布式存储；iSCSI 协议转发；存储网关；性能评价doi：10.3969/j.issn.1672-9528.2023.08.0171.浪潮云信息技术股份公司 山东济南 2501010 引言随着云计算领域的发展，越来越多的使用场景需要使用到裸金属服务器1。云计算平台的计算领域包括虚拟化服务器与裸金属服务器，其中计算虚拟化服务器在硬件层面存在安全性隐患2，当多台虚拟机部署在同一个物理节点，硬件资源的共享会带来侧信道攻击（side-channel）的风险。因此，裸金属服务器的物理节点独占特性可确保硬件安全，通常用来部署大数据集群、高性能计算集群、数据库集群等高安全要求与高性能要求的应用。1 存储协议转发1.1 分布式存储的网络安全隔离但是裸金属服务器仅仅使用物理节点本地存储介质无法满足要求，比如 Oracle RAC 集群就要求数据卷的共享读写。因此为裸金属服务器提供分布式存储支持能力很有必要。对于现有虚拟化云平台，复用已有的分布式存储方案为裸金属提供远程块存储服务，是一种合理有效的解决方案。在典型的分布式存储使用场景中（如 Ceph），往往存在租户安全隔离与性能的顾虑，Ceph 块存储服务的使用前提是让裸金属服务器与存储集群在相同的二层网络中，对于多个租户同时使用时，其存储网络安全性无法保证。因此裸金属云使用分布式存储需要首先解决安全问题。1.2 iSCSI 存储协议转发为了实现多租户场景下的存储网络安全，通常情况下裸金属服务器与分布式存储后端集群是解耦的。因此，通过存储网关在裸金属服务器和分布式存储集群之间进行存储数据的转发处理，可以实现多租户场景下的存储网络安全。ISCSI(internet small computer systems interface)是一种可提供远程块存储设备访问的 SCSI 协议实现。目前 Linux 内核中默认的 iSCSI Target 实现是 Linux IO3，通过 Confi gfs 文件系统访问内核接口，完成 SCSI Target 的创建以及数据读写。开源社区对于 Ceph 分布式存储4-5提供了基于 iSCSI 协议的 Ceph Rados Block Device（RBD）的块存储转发方案，即 Ceph iSCSI Gateway。该方案的本质是将基于网络流的数据读写转换为 SCSI 读写，并将 RBD 块存储映射为 SCSI Target。通过使用iSCSI协议，远程主机可以读写RBD块设备，从而使裸金属服务器既可以使用 Ceph 块存储，同时确保多租户之间的安全性。前人已经讨论多种 iSCSi 协议实现方案6，包括：（1）Linux IO（LIO）：是 Linux 内 核 默 认 的 SCSI Target 实现，支持 iSCSI 协议。存储 I/O 数据经由内核 RBD块设备层，SCSI 层，内核 iSCSI 协议栈，网络协议栈的处理，是一种完全在内核进行的 SCSI Target 实现；（2）Ceph iSCSI Gateway（Gateway）：是用户态的 LIO，存储 I/O 数据由用户态 librbd 接收并处理，然后通过 UIO 框架实现在用户空间的 SCSI 命令读写7-8；（3）STGT（以下简称 TGT）：曾经的默认内核 SCSI Target 实现，支持多种后端存储，其iSCSI 协议栈的实现独立于内核代码，因此理解为用户空间2023 年第 8 期80计算机应用信息技术与信息化的 iSCSI 协议栈实现；（4）SPDK iSCSI Target（SPDK）：由Intel 开源的软件定义存储实现方案，特点是存储 I/O 的处理都在用户空间完成，可完成多存储后端的高性能存储协议转发，如 iSCSI 协议转发 Ceph 存储，是一种绕过内核 9-10的实现。1.3 存储性能影响因素对于存储 I/O 协议栈来说，需要分别考虑两个方面。对于 Ceph 存储栈而言，有两种块存储的使用方式：（1）通过内核模块 krbd 实现在内核中进行数据读写；（2）通过用户态的 librbd，将存储栈移入用户空间进行处理。而对于 iSCSI协议栈而言，也存在内核态实现和用户态实现的区别。例如，LIO 是完全在内核中进行 I/O 转发的实现，而 Gateway 方案将 SCSI 命令的访问和处理移至用户空间。这两种方案的主要区别在于 I/O 路径的不同.从系统调用的角度来看，一次存储数据读写操作需要在用户空间和内核空间之间进行多次数据拷贝。然而，需要明确的是，内核态转发和用户态转发并没有绝对的优劣之分，而是根据存储协议栈转发路径，明确性能损耗的主要影响因素，并通过协议优化或架构优化的方式对协议栈实现进行优化，以实现整体性能的提升。如上所述，iSCSI 存储转发会带来性能损耗，会影响包括 IOPS、IO 时延、读写吞吐量等性能指标。因此，虽然其提供了裸金属服务器与分布式存储后端集群的网络安全隔离，但是在关键性能影响因素上仍不明确。综上，本文的核心目标是建立一种基准测试方法，衡量iSCSI存储转发实现方案的存储转发性能，然后基于测试结果，讨论影响存储转发的影响因素与对应的优化方向。在测试过程中，统计测试节点的并发节点数、存储时延、吞吐量、IOPS、存储网关资源消耗（CPU时间片占用），作为性能评价指标。2 存储性能评价系统为了准确评估存储转发性能，本文提出一种测试评价系统，用来量化分布式存储转发方案的性能。首先，构建分为三层的测试系统：（1）存储后端层：对应云计算平台的分布式存储后端集群。这里使用分布式存储 Ceph 提供 RBD 块存储，作为存储后端;（2）协议转发层：对应转发分布式存储协议的存储网关。一般地，存储网关基于 iSCSI 协议对后端存储数据进行转发，存储网关节点可认为是一台独立部署的物理服务器，专门地用于存储协议转换（以下简称存储网关）；（3）测试节点层：对应云平台的多台裸金属服务器。裸金属服务器发起的数据读写请求会通过存储网关进行转发，由于存在多个节点并发读写的场景，因此建立多个测试节点进行并发场景模拟。考虑到单个测试节点的数据存在系统误差，为了消除误差，建立测试集群来模拟并发 I/O 的场景，基础参数与硬件参数表如表 14 所示。m 测试节点均匀分布在 N 台计算节点上。M台测试节点分别挂载对应iSCSI块设备，运行fi o(fl exible IO)工具进行数据读写测试，所有读写数据通过存储网关进行协议转发。表 1 基础参数表指标数量/台裸金属测试节点数量30存储网关节点数量1存储后端服务器数量3表 2 存储网关节点参数表指标参数Series TypeSA5212M4CPUIntel(R)Xeon(R)CPU E5-2650 v4 2.20GHzMemory2666 MT/s*32GB*8Network Interface CardIntel 82599ES 10-GigabitOS infoCentOS 7.6(Kernel version 4.2.0)表 3 存储服务器参数表指标参数Series TypeNF5280M5CPUIntel(R)Xeon(R)Gold 5118 CPU 2.30GHzMemory2666 MT/s*32GB*12Network Interface CardIntel 82599ES 10-GigabitOS infoUbuntu 18.04(Kernel version 5.0.0)表 4 裸金属服务器参数表指标参数Series TypeNF5280M5CPUIntel(R)Xeon(R)Gold 5118 CPU 2.30GHzMemory2666 MT/s*32GB*12Network Interface CardIntel 82599ES 10-GigabitOSUbuntu 18.04(Kernel version 5.0.0)2.1 测试步骤本节旨在构建一种自底向上的基准测试系统，通过对比存储指标的测试结果来分析基于 iSCSI 存储转发的性能关键影响因素。因此，确定合理的测试方法与步骤尤为关键。以下是测试步骤的详细说明：存储性能评价的测试步骤（1）确定 iSCSI 存储转发的基准测试性能：1.1 测试 RBD 块存储在存储网关节点上的 I/O 性能。1.2 测试存储集群到存储网关的网络带宽。1.3 测试存储集群到测试节点的网络带宽。（2）单个测试节点作为 iSCSI initiator，测试经由存储网关转发的RBD 块存储读写性能。（3）多个测试节点作为 iSCSI initiator，测试 I/O 并发时的 RBD 块存储读写性能。（4）将存储网关的 iSCSI 转发实现方案进行替换，测试不同存储转发实现方式的 RBD 块存储读写性能。使用 fi o(fl exible IO)工具完成测试，测试参数包括：4.1 默认参数：IO 队列深度 64、任务开启的作业数量 4、不使用 I/O缓存、总读写数据量 40 GB、运行时间 120 s。4.2 IOPS 测试参数：单次读取块大小为 4 kB。4.3 吞吐测试参数：单次读取块大小为 1 MB。4.4 时延测试参数：单次读取块大小为 4 kB，IO 深度为 1，任务开启的作业数量为 1，不使用 I/O 缓存。2023 年第 8 期81计算机应用信息技术与信息化顺序执行指定测试步骤，最终可得到存储性能测试评价指标，测试数据如图 16 所示，用以分析出影响 iSCSI 存储转发的性能关键影响因素。图 1 4 kB 随机写场景存储时延对比图 2 4 kB 随机写场景存储 IOPS 对比 图 3 4 kB 随机读场景存储时延对比 图 4 4 kB 随机读场景存储 IOPS 对比图 5 1024 kB 顺序读场景存储带宽对比图 6 1024 kB 顺序写场景存储带宽2.2 分类回归树算法通过给定的测试方法，可以获得近 90 000 个数据点，而如何对这些数据进行分析，是这一部分的核心任务。首先，对于一组存储测试数据而言，会存在系统误差与随机误差。因此对于明显偏移正常规律的数据点进行筛选与清洗。因此，通过基于聚类的离群点筛选方法，首先聚类所有对象，然后评估对象属于簇的程度（离群点得分），用对象到它的簇中心的距离来度量属于簇的程度。通过筛选出不可用的测试数据，以避免对分析结果产生错误影响。其次，对数据进行拟合分析。如果对数据进行最小二乘法拟合，给定拟合函数，找到一组参数组合，使得预测值与测量值的残差平方和最小。但得到的预定义的拟合函数与实际数据差距很大，整体拟合效果较差；而回归决策树算法不需要预定义拟合函数，避免人为因素的干扰。分类回归树（classifi cation and regression tree,CART）模型由 Breiman 等人在 1984 年提出11-12，是应用广泛的决策树学习方法。对于一组待拟合数据集合，将所有测试数据输入划分为M个单元，则预测值是单元内所有数据之和，有：D=(x1,y1),(x2,y2),(xn,yn)（1）确定输入单元后，使用残差平方和表示每棵回归树与已有数据的预测误差，最终目标函数是回归树与已有数据的预测误差和最小。对每个解单元，递归求取每个解单元的平均输出值：2023 年第 8 期82计算机应用信息技术与信息化 （2）合并所有解单元的平均输出值后，可以将回归树模型收敛为：（3）根据递归深度不同，可以建立不同回归程度的决策树函数。基于回归决策树算法，选择合适的递归深度，在保证回归精度的前提下，应当尽量缩短计算时间。经过验证，当回归深度为 4 时，能够得到最优回归精度。3 影响因素分析评价通过 iSCSI 协议转发存储的方式不可避免会带来额外的性能损耗。如何提高 iSCSI 转发 Ceph 存储的性能，是本文关注的重点。因此，本文筛选出以下影响因素：（1）并发能力：当存在多个 iSCSI initiator 同时进行 I/O操作，实现方案的并发能力极大程度上影响转发性能；（2）缓存影响：对于 I/O 设备而言，设置合理 I/O 缓冲区作为设备缓存，可以提高 I/O 性能；（3）网络带宽影响：网络带宽往往限制理论最大性能，而对分布式系统而言，可以通过水平拓展或路径聚合的方式，提高整体系统性能；（4）存储协议栈性能：数据转发路径也会影响到存储系统的性能，包括iSCSI 协议栈的实现方式、程序的执行效率等。由此，对以上关键影响因素的讨论，可以为 iSCSI 转发Ceph 存储的实现方案提供优化思路与方向。基于上文中建立的基准测试系统，本文在（浪潮）云平台对系统的可靠性进行验证，并就可能的影响因素进行讨论。3.1 建立存储性能基线首先在建立基于硬件的 iSCSI 转发性能基线下，性能基线测试在本文中包括网络与存储。测试数据如表 5 所示，通过测试当网络实际平均带宽 8 Gbit/s，测试使用物理存储介质SSD 盘，测试在存储网关上直接使用 Ceph RBD 块存储的基准性能数据。表 5 基准性能测试数据（存储网关）测试对象读写类型IOPS吞吐/（MBs-1）Ceph RBD4 kB 随机读29 200 1207 Ceph RBD1024 kB 顺序读30 100 1207 Ceph RBD4 kB 随机写16 900 1172 Ceph RBD1024 kB 顺序写26 900 1142 3.2 缓存算法对存储性能的影响一般地，对于 I/O 设备而言,缓存实现对于数据 I/O 影响很大13。而对于 iSCSI 转发实现方案（如 TGT）而言，其提供了开启写缓存的功能，当写缓存功能开启后，存储吞吐与IOPS 有明显提升，如表 6 所示。表 6 缓存对存储性能参数的影响测试对象写缓存4kB 随机写 IOPS4kB 随机写时延/s1024kB 顺序写吞吐/（MBs-1）1024kB顺序写时延/sGateway iSCSI vol-umedisable4902386951902Gateway iSCSI vol-umeenable36 100152327146分析数据后可得，在 TGT 对 iSCSI 设备开启写缓存后，顺序写吞吐量提高 2.4 倍，时延降低到初始的 7.6%。因此，合理设计缓存算法，会很大程度提高 iSCSI 协议转发 Ceph 存储的性能。但过分依赖 iSCSI 提供的缓存机制，在不可靠的网络环境中，数据丢失的风险也随之升高。因此，一致性算法分布式缓存机制的缓存层算法，是提高存储性能的关键考虑因素。3.3 网络带宽对存储性能的影响可以理解，本质上 iSCSI 协议与 Ceph 存储都基于 TCP/IP 网络，因此网络带宽是关键性影响因素。这里将网络带宽的讨论范围限定在两条存储数据的传输路径上。路径 1：Ceph 存储集群到存储网关的带宽。在性能指标基线中，给出 TCP 带宽实测范围 1000 1250 MB/s，因此存储网关的RBD测试读写带宽，不会超过TCP理论带宽上限。这也就说明，吞吐性能基线只能说明单存储网关节点所能达到的最大转发吞吐，而这会成为存储测试评价系统的性能瓶颈。通常地，对于网络拓扑已经确定的测试环境，可通过水平拓展多个存储网关形成存储转发集群，从而使 I/O 数据均衡负载到多个节点中。路径2：存储网关到客户端测试节点的带宽。如表7所示，当路径 2 的带宽理论上限被限制在 375 MB/s 时，实际的写吞吐也只有 341 MB/s，相比于带宽上限 1250 MB/s 的写吞吐，吞吐性能降低 18%。表 7 网络链路带宽对存储性能参数的影响测试对象路径 1 带宽上限/（MBs-1）路径 2 带宽上限/（MBs-1）1024 kB 顺序写吞吐/（MBs-1）1024 kB 顺序写时延/sCeph RBD1250/1207304Gateway iSCSI volume 12501250418678Gateway iSCSI volume1250375341728因此，为了避免单存储转发节点带来的带宽限制，可以通过水平拓展多个存储转发节点，形成转发集群。或者使用 iSCSI 存储设备的多路径聚合，并基于 SCSI3 Persistent Reservation 状态同步机制14实现进行 Active/Active 模式 I/O负载均衡，提高存储性能。2023 年第 8 期83计算机应用信息技术与信息化3.4 存储协议栈对存储性能的影响考虑基于 iSCSi 协议转发 Ceph 存储的整体 I/O 路径，因此存储协议栈的讨论应该分为两部分，包括 Ceph 存储协议栈与 iSCSI 协议栈：对于 Ceph 存储栈，考虑到客户端侧（存储网关）的 I/O缓冲区大小会导致存储性能差异，由已有的研究结果，约有5%左右15吞吐差异。而在本文验证结果中，使用内核 krbd模块的 LIO 而言，开启 Ceph rbd 缓存，缓存大小 67 MB，相比默认 I/O 缓冲区的 librbd 的 Gateway，其读写吞吐要高出12%。而当并发节点数量超过 15 时，存储网关的 I/O 缓冲区配置对于性能的影响基本消失。对于 iSCSI 协议栈，I/O 路径与合理设计是关键因素。这里我们给出 TGT 与 SPDK 的性能测试结果对比，如图 6 所示。确保 iSCSI 设备的写缓存都同时关闭时，同样都是用户空间的 iSCSI 协议栈实现，SPDK 的性能要高于 TGT 实现，顺序写的吞吐差距达到2.6倍，随机写的IOPS差距超过10倍。4 结论与展望通过建立的基准测试系统，对于 iSCSI 转发 Ceph 存储的实现方案的性能进行测试与分析，得到缓存、网络带宽、存储协议栈等影响因素对于存储转发性能的影响分析结果：（1）存储缓存对于性能的影响体现在预读与数据回写方式上，当 iSCSI 存储缓存开启时，会加大提高 I/O 速度，但由于 iSCSI 缓存的不可靠性，因此通过分布式缓存同步的机制，对集群中的 iSCSI 缓存进行统一处理；（2）网络带宽是制约系统性能的瓶颈，单节点理论最大性能也被网络带宽所限制。除提高带宽的常规方法（802.3ad 链路聚合），还可通过水平拓展多个存储转发节点，形成转发集群。或者使用 iSCSI 存储设备的多路径聚合，并基于 SCSI3 Persistent Reservation 状态同步机制实现进行 Active/Active 模式 I/O 负载均衡，提高存储性能；（3）整个存储协议栈的讨论应该分为两部分，包括 Ceph 存储栈与 iSCSI 协议栈。对于 Ceph 存储栈，考虑到客户端侧（存储网关）的 I/O 缓冲区大小会导致存储性能差异，当并发节点数量超过 15 时，存储网关的 I/O 缓冲区配置对于性能的影响基本消失；而对于 iSCSI 协议栈，I/O 路径与合理设计会很大程度上影响到整体性能。综上所述，通过 iSCSI 转发的方式不可避免会带来额外的性能损耗与存储网关资源消耗。而通过分析评价关键影响因素，我们可对 iSCSI 转发 Ceph 存储的实现方案进行优化与改进，从而提高存储系统的整体性能。参考文献：1 MOHAN A,TURK A,GUDIMETLA R S,et al.M2:Malleable metal as a serviceC/2018 IEEE International Conference on Cloud Engineering(IC2E).New York:IEEE,2018:61-71.2 MOSAYYEBZADEH A,MOHAN A,TIKALE S,et al.Supporting security sensitive tenants in a bare-metal cloudC/2019 USENIX Annual Technical Conference(USENIX ATC 19).New York:IEEE,2019:587-602.3 ZHU L,LIN J.A scsi3 persistent reservation synchronization solution for iscsi targets cluster hosting ceph rbd with active/active connectionsC/2020 IEEE 4th Information Technology,Networking,Electronic and Automation Control Conference(ITNEC).New York:IEEE,2020:1785-1793.4 DAKI V,BAKSA D,REDEPAGI J.Distributed storage performance measurement in a virtualized environmentC/Poceedings of the 32nd DAAA International Symposium,New York:DAAA,2021:21-35.5 李航.统计学习方法 M.北京：清华大学出版社,2012.6 YANG Z,HARRIS J R,WALKER B,et al.SPDK:A development kit to build high performance storage applicationsC/2017 IEEE International Conference on Cloud Computing Technology and Science(CloudCom).New York:IEEE,2017:154-161.7 LUO L L.Towards converged SmartNIC architecture for bare metal&public cloudsEB/OL.(2018-08-08)2023-01-10.https:/conferences.sigcomm.org/events/apnet2018/slides/larry.pdf.8 FISK N.Mastering Ceph:Infrastructure storage solutions with the latest Ceph releaseM.New York:Packt Publishing Ltd,2019.9 LEE H,FOX G.Big data benchmarks of high-performance storage systems on commercial bare metal cloudsC/2019 IEEE 12th International Conference on Cloud Computing(CLOUD).New York:IEEE,2019:1-8.10MAKRANI H M.Storage and memory characterization of data intensive workloads for bare metal cloudEB/OL.(2018-08-15)2022-11-10.https:/arxiv.org/pdf/1805.08332v2.pdf.11PALEKAR A,GANAPATHYM N,CHADDA A,et al.Design and implementation of a Linux SCSI target for storage area networksC/5th Annual Linux Showcase&Conference(ALS 01).New York:IEEE,2001:36-48.12ZHANG X,ZHENG X,WANG Z,et al.High-density multi-tenant bare-metal cloudC/Proceedings of the Twenty-(下转第 90 页）2023 年第 8 期90计算机应用信息技术与信息化international conference on artificial intelligence and statistics.JMLR Workshop and Conference Proceedings,2010:988-995.16 张钰,刘建伟,左信.多任务学习 J.计算机学报,2020,43(7):1340-78.17NOACK A.Kronecker productJ.From mathworld-a wolfram web resource,2002(10):23-29.18ZHANG Z X,CHEN S S.A generalized Cauchy-Schwarz inequality and its applicationsJ.Journal of mathematical analysis and applications.2015:431(1),441-453.19GONG P,YE J,ZHANG C.Robust multi-task feature learningC/Proceedings of the 18th ACM SIGKDD international conference on knowledge discovery and data mining.2012:895-903.20YU S,TRESP V,YU K.Robust multi-task learning with t-processesC/Proceedings Of The 24th International Conference on Machine Learning.New York:AAAI,2007:1103-1110.21JALALI A,SANGHAVI S,RUAN C,et al.A dirty model for multi-task learningJ.Advances in neural information processing systems,2010,22-23.22FLOREZ-LOZANO J,CARAFFINI F,PARRA C,et al.Training data set assessment for decision-making in a multiagent landmine detection platformC/2020 IEEE Congress on Evolutionary Computation(CEC).IEEE,2020:1-8.23FIFTY C,AMID E,ZHAO Z,et al.Efficiently identifying task groupings for multi-task learningJ.Advances in neural information processing systems,2021,34:27503-27516.24SAMANT R M,BACHUTE M R,Gite S,et al.Framework for deep learning-based language models using multi-task learning in natural language understanding:A systematic literature review and future directionsJ.IEEE access,2022,10:17078-17097.25 赵存秀.基于混淆矩阵的分类器性能评价指标比较 J.电子技术与软件工程,2020,13:146-147.26 姚世祎,杨盛腾,李裕梅.基于混淆矩阵的机器学习分类评价指标研究及 Python 实践 J.Hans journal of data mining,2022,12:351.27 贺瑞芳,段绍杨.基于多任务学习的中文事件抽取联合模型 J.软件学报,2019,30(4):1015-1030.28WALLINGFORD M,LI H,ACHILLE A,et al.Task adaptive parameter sharing for multi-task learningC/Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2022:7561-7570.29 孙庆凯,王小君,张义志,等.基于 LSTM 和多任务学习的综合能源系统多元负荷预测 J.电力系统自动化,2021,45(5):63-70.【作者简介】刘闯(1996)，男，贵州毕节人，硕士研究生，研究方向：模式识别。胡文军(1977)，男，安徽宣城人，博士，研究方向：模式识别。王闯(1998)，男，河南信阳人，硕士研究生，研究方向：模式识别。（收稿日期：2023-02-10 修回日期：2023-04-12）Fifth International Conference on Architectural Support for Programming Languages and Operating Systems.New York:IEEE,2020:483-495.13WEERASINGHE J,ABEL F,HAGLEITNER C,et al.Disaggregated fpgas:Network performance comparison against bare-metal servers,virtual machines and linux containersC/2016 IEEE International Conference on Cloud Computing Technology and Science(CloudCom).New York:IEEE,2016:9-17.14KWON J C,KIM N L,KANG M,et al.Design and prototyping of container-enabled cluster for high performance data analyticsC/2019 International Conference on Information Networking(ICOIN).New York:IEEE,2019:436-438.15MIN J,LIU M,CHUGH T,et al.Gimbal:enabling multi-tenant storage disaggregation on SmartNIC JBOFsC/Proceedings of the 2021 ACM SIGCOMM 2021 Conference.New York:ACM,2021:106-122.【作者简介】陶锐哲（1994），男，安徽合肥人，硕士研究生，浪潮云信息技术股份公司裸金属计算研发经理，研究方向：大规模云计算领域、裸金属计算、分布式计算等。（收稿日期：2023-03-01 修回日期：2023-05-08）(上接第 83 页）