2023边缘超融合网关技术白皮书.pdf

1 边缘超融合网关技术白皮书 ODCC-2023-04002 编号 ODCC-2023-04002 II 边缘超融合网关技术白皮书 ODCC-2023-04002 编写组编写组 项目经理：项目经理：陈共龙 腾讯计算机系统有限公司 工作组长：工作组长：陈炜 腾讯计算机系统有限公司 贡献专家：贡献专家：汤明 阿里巴巴（中国）有限公司 何方石 百度网讯科技有限公司 龚志敏 百度网讯科技有限公司 黄伟 百度网讯科技有限公司 常金凤 中国信息通信研究院 邹素雯 烽火通信科技股份有限公司 王颖 烽火通信科技股份有限公司 唐卫君 思科公司(Cisco)蒋星 思科公司(Cisco)郑飞 思科公司(Cisco)凌军 思科公司(Cisco)白艳 中国移动通信有限公司研究院 王瑞雪 中国移动通信有限公司研究院 丁晓艳 英特尔(Intel)孙金超 英特尔(Intel)III 边缘超融合网关技术白皮书 ODCC-2023-04002 前前 言言 随着云计算、物联网、人工智能等技术的快速发展，数据的产生和处理速度正在以前所未有的速度增长。在这个背景下，边缘云计算作为一种新的计算范式，正在逐渐受到业界的广泛关注。边缘云计算将计算和存储任务从数据中心移向网络的边缘，更接近用户，以实现更低的延迟体验，更少的带宽成本。然而，边缘云计算也面临着诸多挑战，如：边缘云站点资源池虽然规模不大，但是业务网络功能需求全；边缘云业务场景对网关性能需求较高；边缘云机房规模较小，对成本较敏感；不同位置的边缘云网关设备选型难等。为了解决这些挑战，我们提出了一种面向边缘云计算的超融合网关技术。超融合网关技术是一种基于新型的网络设备，集成了多种硬件，以满足不同应用的需求的技术。它将传统的网络功能与虚拟化隔离、业务高并发技术、异构资源统一优化等先进技术相结合，实现了网络设备的高度集成和智能化。超融合网关极大地提高了网络的灵活性和可扩展性，同时也降低了网络管理的复杂性和成本。在这份白皮书中，我们将详细介绍边缘云计算的定义、典型场景、优势与挑战，以及超融合网关技术的定义、形态和技术架构。我们还将深入探讨面向边缘计算的超融合网关技术，包括控制面技术、应用层技术、转发面技术以及硬件接口层技术。我们希望这份白皮书能为业界提供一个全面的视角，理解和应用边缘云计算和超融合网关技术。我们相信，通过这些技术，我们可以更好地处理和管理大量的数据，提供更高效、更安全的服务，IV 边缘超融合网关技术白皮书 ODCC-2023-04002 推动边缘云计算、物联网等技术的发展，最终实现更智能、更互联的世界。由于时间仓促，水平所限，错误和不足之处在所难免，欢迎各位读者批评指正。如有意见或建议请联系编写组。V 边缘超融合网关技术白皮书 ODCC-2023-04002 目目 录录 版权声明.I 编写组.II 前 言.III 一、边缘云计算.1（一）边缘云计算的定义.1（二）边缘云计算的典型场景.2 1 边缘云游戏场景.2 2 边缘音视频场景.3 3 安防监控场景.7 4 工业互联网应用场景.8 5 本地覆盖类场景.10 6 场景需求总结.11（三）边缘云计算的优势与挑战.11 二、超融合网关技术.12（一）超融合网关定义.12（二）超融合网关形态与技术架构.14（三）超融合网关典型网元功能.18 1 负载均衡(LB,Load Balance).18 2 网络地址转换(NAT,Network Address Translation).21 3 物理机和虚拟机互通（PV,Physical-to-Virtual Gateway）.25 4 弹性 IP(EIP,Elastic IP).26 5 虚拟专用网络(VPN,Virtual Private Network).29 VI 边缘超融合网关技术白皮书 ODCC-2023-04002 6 专线(DG,Dedicated Gateway).32 7 工业与物联网边缘云协议转换网关（Protocol Conversion Gateway）.35 三、面向边缘计算场景的超融合网关关键技术.39（一）控制面技术.39 1 监控模块.40 2 运营模块.41 3 安全性模块.42（二）应用层技术.45 1 容器隔离技术.45 2 轻量化的容器管理技术.48 3 流水线隔离技术.50（三）转发面技术.56 1 表项规格扩容技术.56 2 协议状态一致性同步技术.59 3 自动化测试覆盖技术.61 4 其他技术.65（四）硬件接口层技术.66 四、结语与展望.69 五、参考资料.71 六、缩略术语.72 1 边缘超融合网关技术白皮书 ODCC-2023-04002 边缘超融合网关技术白皮书边缘超融合网关技术白皮书 一、一、边缘云计算边缘云计算 （一）（一）边缘云计算的定义边缘云计算的定义 图 1 边缘云计算定义 边缘云计算是相对的概念，它相对于中心云而言，它部署的位置将更远。能够作为中心云能力的一种延伸，更加贴近用户，将计算能力拓展至“最后一公里”。如图 1 所示，根据边缘计算位置的不同，可以分为区域、现场和 IoT 边缘云。中心云机房：中心云机房：此类机房具备大于 10 万台服务器的规模，部署在一线城市，他们到用户的延迟一般小于 30ms，提供了完整的云服务和解决方案。区域边缘云：区域边缘云：此类机房部署在省会以及地级行政区城市，机房规模一般 100 到 1000 台，延迟一般小于 10ms，提供了大部分的云服务和解决方案。2 边缘超融合网关技术白皮书 ODCC-2023-04002 现场级边缘云：现场级边缘云：此类机房部署在用户 IDC 机房现场侧，一般提供一套机柜方案，和用户 IDC 机房的机器混合部署，它的规模更小。IoTIoT边缘云：边缘云：此类边缘云设备也是部署在用户机房内，他们会使用资源更加有限的网关设备，对接各类 IoT 设备协议，令 IoT 设备能够接入中心云，提供给用户管理。（二）（二）边缘云计算的典型场景边缘云计算的典型场景 1 1边缘云游戏场景边缘云游戏场景 图 2 云游戏 图 3 中心云游戏架构与边缘云游戏架构 云游戏，简单来说就是以云计算为基础的游戏方式。如图 2 所 3 边缘超融合网关技术白皮书 ODCC-2023-04002 示，传统游戏的运行模式都是直接在用户的本地设备上执行（如，手机和主机），而在云游戏的运行模式下，所有游戏都在“云上”运行，并将渲染完成的游戏画面压缩后通过网络传送给用户。云游戏大大降低了对硬件的依赖，使得用户在普通的 PC 机/手机上也可以体验制作精美的 3A 大作。云游戏在早期的时候，将视频的渲染推流等能力都放置到中心云的服务器上，距离用户远，延迟大。玩家能够体验的游戏被限制在非延迟敏感的小型游戏上，比如：策略对战类，棋牌类等。近几年，随着边缘计算技术的成熟和兴起，越来越多的厂商开始尝试将基于中心云的云游戏架构演进到基于边缘云的云游戏架构。边缘计算站点规模小，分布范围广，用户可以就近接入边缘站点，从而降低游戏时延。如图 3 所示，在边缘云游戏场景中，业务将渲染引擎和视频压缩推流引擎部署在边缘云以降低网络时延，从而带来媲美传统游戏的体验。为了满足大规模用户接入的需求，边缘云站点中需要具备负载均衡的能力，以为用户选择体验最佳的推流接入服务；同时，为了大幅降低用户体验延迟，边缘云站点与中心云站点之间还需要具备全局路由调度能力，以降低游戏状态同步的延迟。2 2边缘音视频场景边缘音视频场景 音视频，主要指的是以直播、点播等为代表的视频场景业务。国内泛娱乐直播龙头企业，在直播业务尤其是音视频通信方面有很 4 边缘超融合网关技术白皮书 ODCC-2023-04002 强的技术积累，近年来自身的直播业务覆盖音乐、脱口秀、舞蹈、户外、体育、游戏等多个细分品类，其强大的音视频能力也对其他ToB企业开放，同时积极尝试采用新的技术手段优化其自身上层直播业务，进一步提升终端用户的使用体验。图 4 传统互联网视频直播架构与基于边缘云的视频直播 架构对比 在音视频的业务中，对实时性有极高的要求，如游戏语音、直播等。这类业务需要对音频、视频内容的分发保证超低延，从而保证终端用户的极致体验。但是，如何能够在不增加业务成本的同时，保证用户的低延时体验，成为音视频厂商必须解决的难题。通过与云厂商合作推进音视频直播架构部署在边缘节点，在更好的体验与更低的带宽成本之间实现了平衡。如图 4 所示，在进行架构升级之前，客户将音视频直播架构部署在中心云，将视频数据在中心云处理完成之后，再通过 CDN 节点 5 边缘超融合网关技术白皮书 ODCC-2023-04002 分发到终端用户。基于中心云的直播架构有几点劣势：带宽成本方面相对较高、分散在全国的终端用户直播体验欠佳。基于以上几点劣势，在充分了解边缘云各项优势的前提下，客户考虑将基于边缘节点升级音视频直播架构。客户将边缘节点作为视频源站，实现就近上传、推流、转码、渲染，面向本地用户实现就近分发，实现本地化视频链路质量保障，实现低成本、低延迟的新型视频架构。在这一案例中，云厂商为客户提供了遍布全国的边缘算力资源和带宽资源，帮助客户完成了音视频架构升级。客户实现了带宽成本降低，并且同时大幅提升了终端用户的使用体验，实现了较为明显的降本增效。伴随着大家阅读信息的方式由文字转向长/短视频，同时也在通过文字弹幕或者直接连麦的方式参与其中。面临成本、用户体验等多重压力。6 边缘超融合网关技术白皮书 ODCC-2023-04002 图 5 边缘直播场景示意图 图 6 边缘直播网络架构图 依托于原有 CDN 资源的情况下，在边缘云提供对主播的收流、美颜、转码压缩、推流到主数据中心，进行智能审核、编辑、录制存储等处理之后，分发资源到全球 CDN 中心，同时集成了即时通信、字幕等功能模块。在客户端通过 CDN 资源查看回播或制作好的长/短视频，当观看直播、实时语音或者文字交流时接入到边缘计算中心。7 边缘超融合网关技术白皮书 ODCC-2023-04002 边缘云视频制作中心需要大带宽的专线接入到云主数据中心，用户接入端需要在原有 CDN 的能力下提供实时的信息交流，边缘融合网关需要具有大带宽低延时、VPC、LB、EIP、安全等能力。3 3安防监控场景安防监控场景 图 7 边缘方案监控场景 安防监控行业主要面向智慧城市、智慧园区等场景。国内安防监控龙头企业，在安防监控业务方面有很强的技术积累和较大的市场份额，近年来业务的监控视频考虑上云存储，降低存储成本。在安防监控的业务中，对弹性存储有极高的要求，这类业务通过摄像头采集视频数据，在本地做聚合之后上传到云端采集。传统的安防监控架构则是将视频在本地做聚合之后上传到云中心进行存储，该方案的特点是存储及带宽成本高。因此，为了降低存储及带宽成本，客户采用了云边端一体的安防监控架构。客户将视频在本地做聚合之后上传到距离摄像头最近 8 边缘超融合网关技术白皮书 ODCC-2023-04002 的边缘节点，利用边缘冗余上行带宽，将视频流、图片就近上传边缘，进行抽帧/结构化处理，核心数据通过云边网络回传中心分析&存储。如图 7 所示，在这一案例中，云厂商为客户提供了遍布全国的边缘存储资源和带宽资源，帮助客户完成了云边端一体的安防监控架构升级。客户利用边缘上行冗余带宽大幅度降低视频流、图片传输成本，实现了较为明显的降本增效。4 4工业互联网应用场景工业互联网应用场景 工业互联网通过系统构建网络、平台、安全三大功能体系,打造人、机、物全面互联的新型网络基础设施，形成智能化发展的新兴业态和应用模式。随着工业 4.0 的蓬勃兴起和对现场设备管控、资源优化配置、生产智能化的需求不断提升，工业互联网正在向扁平化、云化、智能化演进。工业场景下，传统中心云计算的安全性、实时性难以满足需求，需要在边缘侧实现具有低时延要求、轻量化的信息与物理深度融合应用。针对智能制造与智慧工厂等应用场景，边缘计算可就近部署关键应用，提供智能化运维服务、实时流数据处理、安全可靠的网络等运行环境，并与云平台对接，利用大数据赋能生产与管理，从而发挥工业大数据的真实价值。全自动 SMT(Surface Mount Technology)生产系统是工业互联网的一种典型应用场景，它以生产通信产品 PCB 为主。传统的 SMT 产线是孤岛式的数据采集，没有设备相互间的沟通串联。依靠技术人 9 边缘超融合网关技术白皮书 ODCC-2023-04002 员的调整经验设定参数，同时，产线上仍需要大量人员进行设备的维护和检测，如 SPI/AOI 误判点数过多，造成产线直通率下降，每条 SMT 产线均需要固定一名目检人员进行二次复判。大量的目检造成成本提升且产能下降。图 8 使用边缘云计算方案的 SMT 生产系统 建立基于 SMT 大数据的边缘云计算方案是解决上述问题的关键。如图 8 所示，边缘网关部署在 SMT 产线设备侧，负责实时采集、缓存 SMT 数据，并结合 AI 推理引擎对数据进行轻量级实时分析检测。部署在边缘云的边缘智脑平台会对边缘网关上送的数据进行准实时分析和利用，对 SMT 制程、SMT 机台参数、SPI/AOI 检测数据等进行中轻量级分析，及时侦测与处理 SMT 生产线的异常与不良。部署在中心云上的 AI 模型负责对边缘网关上送的数据进行深度分析和训练；AI 模型训练后生成的轻量级 AI 推理引擎，会下发到边缘网关；中轻量级推理引擎被推送到边缘云上的边缘智脑服务器。整个解决方案中，中心云与边缘云之间的协同，以及边缘云与边缘网关之间的协 10 边缘超融合网关技术白皮书 ODCC-2023-04002 同是关键。连接边缘网关、边缘云和中心云的边缘通信网络需要克服数据传输瓶颈，实现低时延和高吞吐，并对数据、计算、网络进行整体优化以达到最佳效率，最终达到云、网、边、端四位一体的协同。5 5本地覆盖类场景本地覆盖类场景 本地覆盖类场景包含多种落地产品，如新零售产品中，线上和线下服务结合，音视频数据量较大，但都具有本地化特征，主要覆盖门店附近（如 50 公里内）的客户。在智慧城市，智慧园区等产品中，视频、摄像、应用服务等数据主要围绕自身城市，数据量大且延时敏感；在工业互联网和医疗教育等行业中，也都较多对延时就较高诉求。因此，本地覆盖类场景通常具有地域性，跨区搬运数据情况相对较少，客户更多希望数据能够快速采集，生产，分析，管理等。本地覆盖率场景中，延时与用户体验密切相关，传统的中心云（通常节点大但节点数较少）距离客户较远，一方面会有较大的延时直接影响客户体验，服务质量；另一方面，本地大量音视频数据回源搬运到中心云节点，也会产生不少的流量费用，此时多数情况希望就近计算出一定的结果，将数据量大规模减小后再进行远距离传输；边缘云节点通常较小且较数量多，离客户城市较近，可以较好服务此类场景。11 边缘超融合网关技术白皮书 ODCC-2023-04002 6 6场景需求总结场景需求总结 从上述典型场景中，我们可以总结得到如下的网关需求：典型场景典型场景 网元需求网元需求 典型网关形态典型网关形态 云游戏 LB，NAT，PV x86服务器网关集群；可编程交换机 电商直播 LB，NAT，EIP，Firewall x86服务器网关集群；可编程交换机 安防监控 LB，VPNGW x86服务器网关集群；可编程交换机 工业互联网 协议转换网关 ARM 嵌入式网关 本地覆盖类 LB，NAT，VPCGW，EIP，VPNGW，专线网关 x86服务器网关集群；可编程交换机（三）（三）边缘云计算的优势与挑战边缘云计算的优势与挑战 边缘云计算的优势包括：低延时，分布式，低功耗，灵活部署边缘云计算的优势包括：低延时，分布式，低功耗，灵活部署等。等。边缘云计算站点部署在地市/区县/园区，更接近用户，能够承载低时延、高带宽的应用。边缘云计算站点麻雀虽小，五脏俱全：（1）资源池数量多，每个资源池的计算规模小,从几台服务器到几十台服务器不等；（2）边缘站点单点的功耗低，易于灵活部署，信息处理的总体冗余性和可靠性更高；（3）运营商边缘云承载 UPF 和应用，有高带宽需求，同时 EIP、NAT、负载均衡等功能需求全。当前边缘云主要存在如下的挑战：当前边缘云主要存在如下的挑战：1 1、边缘资源池虽然规模不大，但是业务要求的网络功能全、边缘资源池虽然规模不大，但是业务要求的网络功能全，有SDN自动化、BGP/OSPF/静态路由、VXLAN、防火墙安全、EIP、NAT、12 边缘超融合网关技术白皮书 ODCC-2023-04002 负载均衡功能等需求。其中网络、安全设备占比高，云平台、SDN控制器部署也需要占用计算开销，硬件网络设备和管理/网络功能占用计算资源将降低边缘资源池的总体性价比。2 2、边缘云业务场景对网关性能需求也较高、边缘云业务场景对网关性能需求也较高，如边缘音视频、直播推流等场景，对路由规格、转发性能等都有较高的需求；3 3、边缘机房规模较小，对成本较敏感、边缘机房规模较小，对成本较敏感，如果直接采用中心云的网关独立集群的方案，将会引入较大的成本，降低单机房可售卖的资源，影响产品演进和发展；4 4、不同位置边缘云网关设备选型不尽相同、不同位置边缘云网关设备选型不尽相同：地市级边缘云采用盒式路由器作为网关百 G 端口少，采用框式路由器/框式交换机，成本高，占用机架空间大，功耗大。需要根据具体场景选择合适的网关设备型号。综上所述，边缘云计算站点资源池规模不大，但功能需求全，且网关设备选型困难，既要控制成本，又要满足大规格、业务灵活部署需求。为了应对上述挑战，边缘云计算市场亟需一种集合多种网络功能、且能灵活部署的超融合网关设备，以节约机房空间、降低功耗/成本，实现降本增效。二、二、超融合网关技术超融合网关技术 （一）（一）超融合网关定义超融合网关定义 超融合网关是一种新型的网络设备，它集成了多种硬件，以满 13 边缘超融合网关技术白皮书 ODCC-2023-04002 足不同应用的需求。它将传统的网络功能与虚拟化隔离、业务高并发技术、异构资源统一优化等先进技术相结合，实现了网络设备的高度集成和智能化。超融合网关极大地提高了网络的灵活性和可扩展性，同时也降低了网络管理的复杂性和成本。超融合网关的出现，对网络的发展产生了深远的影响。首先首先，它改变了网络的架构，使网络更加灵活和可扩展。传统的网络设备通常是单一功能的，而超融合网关则将多种功能集成在一起，可以根据需要灵活地提供各种服务。其次其次，超融合网关降低了网络的管理复杂性和成本。通过统一的控制面技术，管理员可以轻松地管理和配置网络。最后最后，超融合网关提高了网络的性能。通过智能化的管理和优化，超融合网关可以保证网络的高效运行，满足用户的需求。总的来说，超融合网关是网络发展的一个重要趋势，它将网络设备的功能、性能和管理方式提升到了一个新的水平。随着超融合技术的进一步发展，我们可以期待超融合网关将带来更多的创新和变革。同时，相比于部署与中心云的超融合网关，部署在边缘云的超融合网关还有如下特点：带来更大的资源收益带来更大的资源收益：边缘超融合网关通常部署在资源受限的环境中，而中心云场景的超融合网关通常部署在资源丰富的数据中 14 边缘超融合网关技术白皮书 ODCC-2023-04002 心；因此，超融合网关技术在边缘计算场景中将带来更大的收益。更低成本更低成本：边缘超融合网关技术可以减少对网络带宽成本的需求，因为数据在边缘设备上进行处理，而不是传输到中心云。边缘站点的带宽成本相比于中心云的成本更低。提高数据安全性和隐私性提高数据安全性和隐私性：现场级边缘超融合网关技术可以在本地处理敏感数据，降低数据泄露的风险。而中心云场景的超融合网关技术可能需要将数据传输到远程数据中心，增加了数据泄露的风险。更强的可扩展性更强的可扩展性：边缘超融合网关技术通常具有更强的分布式处理能力，可以轻松地在多个边缘设备上部署和扩展。而中心云场景的超融合网关技术通常依赖于集中式的数据中心资源。（二）（二）超融合网关形态与技术架构超融合网关形态与技术架构 图 9 面向边缘云计算的超融合网关典型部署位置 如图 9 所示为面向边缘云计算的超融合网关典型部署位置，一 15 边缘超融合网关技术白皮书 ODCC-2023-04002 方面可以令用户就近接入（专线接入，基于公网 VPN 接入或者无线空口接入等），另一方面可以与中心云也采用多种方式接入。超融合网关上可以集成多种网元能力（如，LB、NAT、EIP、PVGW、VPN、协议转换网关等），并对接多种业务流量（如，对用户提供 LB 能力以分发流量给客户虚机，对客户虚机提供 NAT 能力出公网等）。超融合网关是一种面向边缘计算场景的网络设备，将多种网元融合在一起，以满足资源受限环境下的需求。超融合网关可以采用不同的形态和技术架构，以下是三种典型的超融合网关形态：1)1)服务器服务器+可编程交换机形态：可编程交换机形态：硬硬件架构：件架构：服务器服务器：采用通用的 x86 或 ARM 处理器，提供计算和存储资源，支持虚拟化技术，如 Docker、KVM 等。典型场景是提升网关可支持的表项规模、提供高密度计算的能力（如加解密等）。可编程交换机可编程交换机：采用可编程交换芯片，如 Tofino、Silicon One 等，支持灵活的数据包处理和转发功能。2)2)CPUCPU 芯片芯片+交换机交换机 ASICASIC 芯片芯片+FPGA+FPGA 高度集成形态：高度集成形态：硬件架构：硬件架构：CPUCPU 芯片芯片：采用高性能的 x86 或 ARM 处理器，提供计算和存储资源，支持虚拟化技术。交换机交换机 ASICASIC 芯片芯片：采用高性能的交换机 ASIC 芯片，如 16 边缘超融合网关技术白皮书 ODCC-2023-04002 Tofino，Silicon One，Broadcom Trident、Tomahawk 等，支持高速数据包处理和转发功能。高度集成高度集成：将高性能 CPU 芯片、交换机 ASIC 芯片与 FPGA 集成在同一硬件平台上，降低功耗和空间占用。3)3)CPUCPU 芯片芯片+交换机交换机 ASICASIC 芯片芯片+IPU/DPU+IPU/DPU 等高度集成状态：等高度集成状态：硬件架构：硬件架构：CPUCPU 芯片芯片：与方案 2 类似，采用高性能的 x86 或 ARM 处理器，提供计算和存储资源，支持虚拟化技术。交换机交换机 ASICASIC 芯片芯片：与方案 2 类似，支持高速数据包处理和转发功能的交换机芯片。IPU(Infrastructure Processing Unit)/DPU(Data Processing IPU(Infrastructure Processing Unit)/DPU(Data Processing Unit)Unit)芯片芯片：是一类具有高速以太网接口、丰富的存储和计算资源、基于硬件安全的高级网络设备，他们能够卸载云计算基础设施的功能（如虚拟化管理系统、容器引擎、网络和存储功能等），为云计算基础设施释放更多的资源。在上述超融合网关形态中，软件架构软件架构都包含以下组件：控制面控制面：控制面主要负责网络设备的配置和管理、状态监控、设备运营以及安全性鉴权等。在配置和管理方面，可以采用SDN 架构（如OpenDaylight、ONOS 等）来实现；在状态监控方面，需要引入 CPU 健康检测、内存状态监控、表项使用率监控、端口状态监控等组件；在设备运营方面，需要支持路 17 边缘超融合网关技术白皮书 ODCC-2023-04002 由协议管理、配置核查、配置对账、升级管理、变更管理等组件；在安全性鉴权方面，需要支持对接入设备的安全性管控。应用层应用层：应用层主要关注如何实现多种应用在同一台超融合网关设备上有序的执行，并且互不影响。此类技术包括容器维度的隔离技术，以及交换机流水线级别的隔离技术等。转发面转发面：转发面主要关注如何实现高性能的数据包转发、敏捷的产品迭代等维度。比如，采用表项扩容技术支持大规模的用户并发；使用自动化测试覆盖技术，加速超融合网关产品的迭代发布；使用协议一致性同步技术，实现状态网关的高可用特性等。硬件层硬件层：硬件层主要关注如何将异构的硬件有机的整合，实现超融合网关产品整体性能的优化。图 10 典型的超融合网关软硬件架构 18 边缘超融合网关技术白皮书 ODCC-2023-04002 如图 10 所示是一种典型的超融合软硬件架构，基于全开放的硬件、SAI 接口、Sonic 操作系统及开源的部署运维工具构建统一的超融合网关形态。图 11 典型的超融合网关硬件架构 如图 11 所示是一种典型的超融合网关硬件架构，可提供 3.2T-51.2T 的带宽，使用基于 P4 可编程 ASIC 芯片，可自定义基础的L2/L3 转发流程，片上 HBM 提供大表相及大 buffer 转发。VoQ 架构提供高性能的流量 Shape 和 QoS 功能，同时具体丰富的 ACL 资源提供设备安全。有 PCIE 接口和专用端口与硬件 Multi-Core x86 CPU 通信，可将有状态的 session 和 NAT 能力卸载到 x86 CPU 处理，同时可安装所需的 Container App 提供相关的安全和运维监控能力。（三）（三）超融合网关典型网元功能超融合网关典型网元功能 1 1负载均衡负载均衡(LB,Load Balance)(LB,Load Balance)负载均衡是一种用于在多个服务器之间分配网络流量，以提高应用程序的可用性、性能和可扩展性的网元。负载均衡网关主要有 19 边缘超融合网关技术白皮书 ODCC-2023-04002 两种类型，即四层负载均衡（TCP 和 UDP 协议）和七层负载均衡（HTTP 协议和 HTTPS 协议）。图 12 负载均衡网关架构图 如图 12 所示，四层负载均衡网元多机器集群部署，以提高可用性和稳定性。四层负载均衡集群内的每一台节点服务器均匀地分配海量访问请求，并且每一台节点服务器之间都有会话同步策略，以保证高可用。它的典型流程包括：它的典型流程包括：1)客户端发起 TCP/UDP 类型的请求，请求到达四层负载均衡网关；2)四层负载均衡网关根据分发策略选择一个后端业务服务器；3)将请求转发到选定的后端服务器；20 边缘超融合网关技术白皮书 ODCC-2023-04002 4)后端服务器处理请求并返回响应；5)负载均衡网关将响应返回给客户端。七层负载均衡网元也是多机器集群部署，并且具备集群内机器会话相互同步的能力。它的典型流程与四层负载均衡网元类似，根据业务部署的需求、流量的交互模式，有一些不同的流量路径。具体地：1)四层和七层负载均衡联合的形式：四层和七层负载均衡联合的形式：七层负载均衡在接受到四层负载均衡的请求流量后，如果是首次请求 HTTPS 流量，将会调用 Key 服务器集群进行证书验证及数据包加解密等前置操作，之后再按照流量分发策略交付给业务服务器 2)七层负载均衡单独承载流量的形式七层负载均衡单独承载流量的形式：七层负载均衡集群直接接受客户流量，其余流程与 1）类似。负载均衡网元包含关键功能的有：负载均衡网元包含关键功能的有：分发分发流量流量：根据预定义的策略，将客户端请求分发到后端服务器。常见的策略包括轮询、最少连接、源 IP 哈希等。健康检查健康检查：定期检查后端服务器的健康状况，确保流量只分发到正常运行的服务器。会话保持会话保持：为了保证用户体验，可以通过会话保持功能将同一客户端的请求分发到同一台服务器。SSLSSL 加解密终结加解密终结：在负载均衡器上处理 SSL/TLS 加密和解密，21 边缘超融合网关技术白皮书 ODCC-2023-04002 减轻后端服务器的计算负担。缓存和压缩缓存和压缩：对静态资源进行缓存和压缩，以减少网络延迟和带宽消耗。负载均衡网元的典型关键设计一般包括：负载均衡网元的典型关键设计一般包括：硬件与软件硬件与软件：负载均衡网关可以是专用硬件设备，也可以是基于软件的解决方案。硬件负载均衡器通常具有更高的性能，而软件负载均衡器具有更好的灵活性和可扩展性。层次结构层次结构：可以采用单层负载均衡结构，也可以采用多层负载均衡结构，以实现更高的可用性和容错能力。部署方式部署方式：负载均衡网关可以部署在数据中心、云环境或混合环境中，以满足不同的业务需求。安全性安全性：负载均衡网关应具备防止 DDoS 攻击、SYN flood 攻击等网络安全威胁的能力。2 2网络地址转换网络地址转换(NAT,Network Address Translation)(NAT,Network Address Translation)网络地址转换（NAT）是一种用于在私有网络和公共网络之间转换 IP 地址的网元。它允许多个设备共享一个公共 IP 地址，从而节省 IP 地址资源并提高网络安全性。典型场景如访问公网服务访问公网服务：边缘网络只希望主动访问公网上的业务，而不希望边缘站点的业务直接暴露在公网上从而有被攻击的 22 边缘超融合网关技术白皮书 ODCC-2023-04002 风险，可以选用公网 NAT 网关为业务提供安全防护能力。图 13 NAT 网关网络架构 如图如图 1313 所示，所示，NATNAT 网关典型的访问公网服务的（网关典型的访问公网服务的（SNATSNAT）流程包）流程包括：括：1)边缘计算机房中的内部网络设备发起请求，请求到达 NAT 网关集群。2)NAT 网关集群根据预先配置的规则，将内部 IP 地址和端口号转换为公网 IP 地址和端口号。3)将转换后的请求发送到公共网络。4)公共网络中的目标服务器处理请求并返回响应。23 边缘超融合网关技术白皮书 ODCC-2023-04002 5)响应到达 NAT 网关，NAT 网关根据之前的转换规则，将公网IP 地址和端口号转换回内部 IP 地址和端口号。6)将响应转发给内部网络中的设备。此外，此外，NATNAT 网关典型的提供公网服务的（网关典型的提供公网服务的（DNATDNAT）流程包括）流程包括：1)公共网络中的用户向指定的公网 IP 地址和端口号发起请求。2)响应到达 NAT 网关，NAT 网关根据预先配置的转换规则，将公网 IP 地址和端口号转换回内部 IP 地址和端口号。3)将响应转发给内部网络中的设备。4)边缘计算机房中的内部网络设备收到请求后，处理请求内容后，将返回包发送给 NAT 网关集群。5)NAT 网关集群根据预先配置的规则，将内部 IP 地址和端口号转换为公网 IP 地址和端口号。6)将转换后的请求发送到公共网络中的用户，完成整体流程。网络地址转换的关键功能包括网络地址转换的关键功能包括：地址转换地址转换：将私有网络中的内部 IP 地址转换为公共网络中的外部 IP 地址，反之亦然。这使得私有网络中的设备可以访问公共网络，同时保护了内部网络的安全。端口映射端口映射：通过端口映射，NAT网关可以将内部网络中的多个设备映射到同一个公共 IP 地址上，从而实现多个设备共享一个公共 IP 24 边缘超融合网关技术白皮书 ODCC-2023-04002 地址。路由功能路由功能：NAT网关通常具有路由功能，负责在内部网络和外部网络之间转发数据包。防火墙功能防火墙功能：NAT网关可以提供防火墙功能，对进出内部网络的数据包进行过滤和控制，提高网络安全性。网络地址转换的典型设计点包括网络地址转换的典型设计点包括：静态静态 NATNAT：静态 NAT 是一种一对一的地址映射方式，将内部网络中的一个 IP 地址映射到一个固定的公网 IP 地址。这种方式适用于需要固定公共 IP 地址的场景，如公共服务器。动态动态 NATNAT：动态 NAT 是一种多对一的地址映射方式，将内部网络中的多个 IP 地址映射到一个或多个公网 IP 地址。这种方式适用于需要共享公共 IP 地址的场景，如普通上网用户。端口地址转换（端口地址转换（PATPAT）：端口地址转换是一种多对一的地址映射方式，通过端口号的映射，将内部网络中的多个设备映射到同一个公共 IP 地址上。这种方式可以进一步节省 IP 地址资源。双向双向 NATNAT：双向 NAT 同时支持内部网络到外部网络和外部网络到内部网络的地址转换。这种方式适用于需要双向通信的场景，如 VoIP 和 P2P 应用。部署方式部署方式：NAT 网关可以部署在边缘站点、云环境或混合环 25 边缘超融合网关技术白皮书 ODCC-2023-04002 境中，以满足不同的业务需求。3 3物理机和虚拟机互通（物理机和虚拟机互通（PV,PhysicalPV,Physical-toto-Virtual GatewayVirtual Gateway）物理机和虚机互通网关（Physical-to-Virtual Gateway，简称P2V Gateway）是一种用于实现物理机与虚拟机之间的通信和数据传输的网元。图 14 PVGW 网关网络架构图 如图如图 1414 所示为物理机和虚机所示为物理机和虚机互通网关的典型流程。具体包括互通网关的典型流程。具体包括：1)物理机发起请求，请求到 PVGW 网关集群。2)PVGW 网关接受到 IP 数据包后，根据目的 IP 查询隧道路由，封装对应的 vxlan 隧道后，将请求转发到虚拟网络中的目标虚拟机，vxlan 隧道的外层一般包含虚拟机所在母机的 IP 等相关信息。26 边缘超融合网关技术白皮书 ODCC-2023-04002 3)虚拟机处理请求并返回响应数据包。4)响应数据包到达 PVGW 后，PVGW 剥离 vxlan 隧道信息，并根据内层目的 IP 信息，寻找到对应的物理机并转发。物理机和虚机互通网关的关键功能包括物理机和虚机互通网关的关键功能包括：网络适配网络适配：将物理网络与虚拟网络进行适配，使物理机和虚拟机能够互相通信。路由与转发路由与转发：在物理机和虚拟机之间转发数据包，实现数据传输和远程访问。安全性安全性：提供访问控制、流量过滤等安全功能，防止未经授权的访问和数据泄露。网络管理网络管理：提供网络管理功能，如带宽监控、故障排查等，帮助优化网络性能和稳定性。4 4弹性弹性 IP(EIP,Elastic IP)IP(EIP,Elastic IP)弹性IP网关是一种可以动态分配和解绑的公共IP地址的网元，通常用于边缘云计算环境中。弹性 IP 是可以独立购买和持有的、某个地域下固定不变的公网 IP 地址，提供访问公网和被公网访问的能力。普通公网 IP 和 EIP 均为公网 IP 地址，二者均可为边缘云资源提供访问公网和被公网访问的能力。两者的区别是：普通公网 IP 27 边缘超融合网关技术白皮书 ODCC-2023-04002 仅能在 CVM 购买时分配且无法与 CVM 解绑，如购买时未分配，则无法获得。而 EIP 是可以独立购买和持有的公网 IP 地址资源，可随时与 CVM、NAT 网关、弹性网卡和高可用虚拟 IP 等云资源绑定或解绑。弹性弹性 IPIP 网关的关键功能包括：网关的关键功能包括：IPIP地址管理地址管理：弹性IP网关负责分配、回收和管理弹性IP地址，确保 IP 地址资源的高效利用。IPIP 地址绑定与解绑地址绑定与解绑：允许用户根据需要将弹性 IP 地址绑定到特定的虚拟机或其他资源上，或从资源上解绑。流量转发流量转发：将公共网络中的流量根据弹性 IP 地址转发到相应的内部资源，反之亦然。高可用性高可用性：弹性 IP 网关应具备高可用性，确保在设备故障或网络问题时，弹性 IP 地址仍能正常工作。28 边缘超融合网关技术白皮书 ODCC-2023-04002 图 15 EIP 网关的网络架构 如图如图 1515 所示，弹性所示，弹性 IPIP 网关的典型流程包括：网关的典型流程包括：1)用户通过管理控制台或 API 请求分配一个弹性 IP 地址。2)弹性 IP 网关从 IP 地址池中分配一个可用的公共 IP 地址，并将其与用户的账户关联。3)用户将分配到的弹性 IP 地址绑定到特定的虚拟机或其他资源上。4)弹性 IP 网关更新路由表和地址映射规则，将弹性 IP 地址与内部资源关联。5)公共网络中的流量根据弹性 IP 地址被