PHYSec安全加密技术及在智算中心的应用.pdf

演讲人：王豪杰演讲单位：中国移动研究院目目 录录01场景与安全需场景与安全需求求02现有技术分析现有技术分析03PHYSecPHYSec技术思技术思路路04总结与展望总结与展望场景与安全需求场景与安全需求01Chapter one网络攻击日渐频繁，无处不在!在Internet上每天有超过1亿次的网络攻击，每秒超1000次以上的攻击发生。攻击者企图访问用户个人或组织的信息数据，没有一家公司能幸免中国数据安全法中国网络安全法中国个人信息保护法 中国密码法网络安全审查办法关键信息基础设施保护条例网络安全等级保护条例(征求意见)网络安全审查办法(修订)商用密码管理条例(修订征求意见)网络产品安全漏洞管理规定网络数据安全管理条例(征求意见)201620182019202020212022德国电信安全法2.0德国安全要求目录欧盟网络安全法GDPR工业和信息化部关于工业大数据发展的指导意见工业和信息化领域数据安全管理办法(试行)(征见)英国电信安全业务守则草案PCI-DSS v4.0全球100多个国家已对数据安全提出要求；中国、英国、德国、欧盟相继颁布网络安全法案，要求通信网络确保数据传输安全用户入算上载样本数据、算内及算间训练生成模型及参数、下载训练后的模型及参数，涉及敏感数据的频繁交互，存在泄露、窃听的风险智算中心A远端用户入算网络数据上传：端到端安全加密,确保样本数据安全模型下载：端到端安全加密,确保模型框架、参数安全算间网络参数传递：端到端安全加密,确保模型框架、参数安全算内网络数据转移：存储节点直接(对象文件)，需确保样本数据安全数据读取：计算节点访问文件存储节点(读)，需确保样本数据安全归档写回：计算节点访问文件存储节点(写)，需确保模型与参数安全模型复制：存储节点直接(文件对象)，需确保模型与参数安全承载网络智算中心B入算网络入算关键诉求：用户访问以及用户数据的安全关键能力：高安全、低开销算内关键诉求：AI模型架构、参数核心资产的存储、使用安全关键能力：低时延、高吞吐、低开销安全，不占用算力，不影响算效算间关键诉求：数据与协议安全，防窃听关键能力：高安全、高吞吐、低开销智算中心内实现网络安全机制的从无到有，入算网络和算间网络实现安全防护能力的由低到高；面向算内、入算和算间的不同诉求，研究合适的安全加密机制用户智算中心BEthernet智算中心AEthernet算间网络上述智算中心网络场景的底层承载网络主流技术是以太网，为了应对上述日益严峻的数据安全挑战，须对以太网提供安全认证、密钥管理以及数据加解密能力，构筑以太网安全机制，为新型智算中心提供安全数据传输能力现有技术分析现有技术分析02Chapter one智算中心采用CLOS组网来满足日益增长的转发规模需求，通用性有明显优势。智算中心的AI典型Leaf-Spine组网，ALL-TO-ALL通讯，100GE/400GE/800GE接口，1K计算节点(3232)训练和推理*：*2023 usenix，Accelerating Distributed MoE Training and Inference with Lina，HKU 模型：Mixture of Experts(MoE)通讯方案：all-to-all800GEspine交换机spine交换机spine交换机spine交换机core交换机core交换机TORTORTORTOR400GE100GERack1323232256168128Rack32优势可以实现计算节点与计算节点，计算节点与存储节点，存储节点与存储节点之间的安全加密管控复杂O?：N台Server 全网需维护?安全连接（SA会话）每连接1对密钥，全网管理维护2?个密钥静态时延增加超30%：以4 Hops为例，server-to-server典型静态链路时延?.?考虑TLS/RDMASec/IPSec加解密时延最优性能1s，静态时延增加=?/?.?%劣势带宽开销增加至少21字节：TLS逐包增加21B开销，RDMASec逐包增加40B开销，IPSec逐包增加48B开销须升级硬件支持：在AI计算场景下，将TLS/IPSec/PSP安全加密功能卸载到硬件，需要Server硬件支持*RFC5042提出RDMASec基于IPSec改进，Google在2022年发布基于IPSec ESP的改进方案PSPTLS/RDMASec*/IPSec等端到端安全加密方案，服务器间实施典型的ALL-TO-ALL通讯方案；但没有网络的参与，计算节点之间部署端到端方案成本、难度和算力代价较大spine交换机spine交换机spine交换机spine交换机core交换机core交换机TORTORTORTOR优势管控复杂度低?:Server-TOR,TOR-Spine,Spine-Core部署MACSec，全网维护=44N安全连接（SA会话）静态时延增加32%：4 Hops 以4 Hops为例，Server-to-server典型静态时延?.?Server-to-server使能MACSec时典型静态时延 3.77?静态时延增加=?3.77 2.85?/2.85 32%劣势带宽开销增加至少32字节：对64B包而言，逐包开销增加超30%须升级硬件支持：在AI计算场景下，须将MACSec安全加密功能卸载到硬件，需要Server升级硬件支持，需要交换机升级硬件支持*MACSec2017版本，IEEE802.1AEcg支持VLAN in clear端到端加密方案，此方案优劣势同 TLS/RDMASec/IPSec智算中心内采用MACSec链路级安全加密方案*，服务器间实施典型的ALL-TO-ALL通讯方案；MACSec在管控复杂度有改进，但10多年前主要面向传统园区设计，时延开销无法满足智算时代需求spine交换机spine交换机spine交换机spine交换机core交换机core交换机TORTORTORTOR比较项RDMASecMACsec?Sec加密层级应用层/传输层链路层新层次？加密开销带宽开销增加36%带宽开销增加30%接近0？加密时延静态时延增加35%静态时延增加32%静态时延增加 10%？加密配置相对复杂O?简单O?简单O?？加载难度Server升级硬件支持Server升级硬件支持，交换机升级硬件支持易升级易部署？最佳 最差 一般竞争分析：智算中心最关注算效，通讯时延*对算效影响大Server-to-Server端到端时延每降低1us，有效算力线性度提升3%IB控标静态时延?1.2?TOR ServerServer?1.2?*AI训练和推理，对每一次迭代通讯的尾时延敏感；HPC小包通讯，对RTT时延敏感各项性能指标对比分析设定新安全性能目标，兼顾成本、代价方面，探索智算时代的以太网安全新机制PHYSecPHYSec技术思路技术思路03Chapter one199419952006NowL2PHYL3L4L5TimeTLS/DTLSIPSecMACSecPHYSecsoftwareSoftware+hardwareHardwareHardwareMACIPTCPMACIPMACMACCipher textCipher textCipher textCipher textRDMASecHardware2022MACUDPCipher textIP PacketMACPCSPMAPMAPMDMACSec/RDMASecxAUIPMAPCSMACMACPCSPMAxAUIMACSec/RDMASec PHY 探索新层次：网络安全的思想是把密码学技术应用到网络的不同层次；在智算时代，是完善传统安全机制还是探索“更底层的加解密技术”，解决现有技术方案的安全漏洞与性能瓶颈？RDMASec在IPSec和TLS基础上优化，基于硬件实现，优势是能够降低部分时延，但功耗、成本较高，时延仍然影响算效；PHYSec在以太网物理层实现加解密，避免两次背靠背转换，具有极低时延、更低功耗和成本等优势？PacketMACPCSPMAPMAPMDxAUIPHYSec光模块加密接口芯片加密PacketMACPCSPMAPMAPMDxAUIPHYSecor可以在多个参考点实现PHYSec越往下，不同速率PHY实现的方案区别越大1G/2.5GBASE-X5G/10GBASE-R50G/100GBASE-R25GBASE-R200G/400GBASE-R800GBASE-R以太网物理层可实现PHYSec参考点：64B/66B码块和virtual lane是两种比较可行的实现位置；不同层次位置实现加解密具有不同的数据防护特点MAC(Preamble+Padding+FCS)RSMAC(Preamble+Padding+FCS)RSPMDPMAPMDPMAMAC(Preamble+Padding+FCS)RSPMDPMAAMDeskewAM LockBlock SyncMAC(Preamble+Padding+FCS)RSPMDPMACWMCWM LockRS-FECRS-FECSymboldistributionReorderPMAPMAPMAPMAMAC(Preamble+Padding+FCS)RSPMDPMAAMDeskewAM LockRS-FECSymboldistributionReorderPMAEn/Decode(8B/10B)En/Decode(64B/66B)(De)ScrambleEn/Decode(64B/66B)(De)ScrambleEn/Decode(64B/66B)(De)Scramble256B/257B256B/257BEn/Decode(64B/66B)256B/257B(De)ScrambleDistribution/InterleaveMAC(Preamble+Padding+FCS)RSPMDPMAAMDeskewAM LockRS-FECSymboldistributionReorderPMAEn/Decode(64B/66B)256B/257B(De)ScrambleDistribution/InterleavePMDPMAAMDeskewAM LockRS-FECSymboldistributionReorderPMADistribution/InterleaveL1.5L1基于“码块”加密的L1.5层PHYsec在PHY芯片内实现Encryption/Decryption功能MAC(Preamble+Padding+FCS)RSAMDeskewAM LockPHY芯片RS-FECSymboldistributionReorderPMAEn/Decode(64B/66B)256B/257B(De)ScrambleDistribution/InterleaveMAC(Preamble+Padding+FCS)RSAMDeskewAM LockPHY芯片RS-FECSymboldistributionReorderPMAEn/Decode(64B/66B)256B/257B(De)ScrambleDistribution/InterleavePMDPMA光模块SerdesPMDPMADencryptionSerdes光模块Encryption技术优势：安全功能硬化，高吞量 安全加密能力不占用设备CPU资源，安全能力卸载 实现底层光通道不感知(OTN/SPN)的端到端数据加密加密后的64B/66B400GE400GE400GE400G OTN64B/66BGMPOTUOTUGMP64B/66BL1.5-PHYSec400GEL1.5-PHYSec基于“比特流”加密的L1层PHYsec在光模块内实现Encryption/Decryption功能MAC(Preamble+Padding+FCS)RSAMDeskewAM LockPHY芯片RS-FECSymboldistributionReorderPMAEn/Decode(64B/66B)256B/257B(De)ScrambleDistribution/InterleaveMAC(Preamble+Padding+FCS)RSAMDeskewAM LockPHY芯片RS-FECSymboldistributionReorderPMAEn/Decode(64B/66B)256B/257B(De)ScrambleDistribution/InterleavePMDPMAAM LockEncryption光模块SerdesPMDPMAAM LockDencryptionSerdes光模块技术优势：安全功能可插拔、硬化，高吞量 无需升级设备硬件，即可具备安全加密能力 安全加密能力不占用主设备资源，安全能力卸载 实现端口-端口的链路级数据加解密AMAMAMAMVLane1VLane2VLane3VLane4400GEL1-PHYSecL1-PHYSec400GE关闭PHYSec，所有功能即原以太网物理层规范的功能；开启PHYSec，PCS或PMA层无感知，PHYSec不修改与上下子层的接口；不修改或占用已有功能协议及协议承载方案，避免后向兼容问题（原有功能未来演进可能会改变既有的使用方式、频率）R 兼容性：PHYSec技术方案在以太网物理层实现，须兼容IEEE802.3以太物理层标准，不影响标准规范的功能与协议R 互通性：同一层次方案，要求技术与协议一致，满足互联互通要求。协议承载方案，要求少占用或不占用业务带宽R 一致性：PHYSec原则上要求采用一套解决方案和协议。协议的承载方式可以根据PHY逻辑子层的要求变化，但要求遵循前述兼容性、互通性PHYSec原则上可支持通道、链路不同层次的技术方案，类似MACSec（802.1AEbw-2013 for port，802.1AEcg-2017 for channel），实施部署载体可以是PHY接口，也可是光模块或其他载体对于IEEE802.3标准规范的100G/200G/400G/800G/1.6T以太接口，物理层及PHY各逻辑子层技术方案虽有差别，但都基于64/66B码块、virtual lane实现，提供了实现方案的一致性基础总结与展望总结与展望04Chapter one高价值用户L1.5-PHYSec 智算中心A智算中心BL1-PHYSecL1-PHYSecTOP诉求：低时延、高吞吐灵活专线TOP诉求：高安全、低开销L1-PHYSecL1.5-PHYSecOTN/WDM 40 KM 40KMTOP诉求：低时延、高吞吐TOP诉求：高安全、高吞吐算间（短距互联）算内算内算间（长距互联）入算数通短距光模块加密数通短距光模块加密数通短距光模块加密SPN IP/Eth over OTN/WDM/CWMDTBD：1、在新的层次定义加密解密对象，定义帧结构和协议，与上下游生态企业达成共识2、新机制如何实现接近0的低开销，尽量不占用用户带宽3、新机制如何实现ns级的时延，基本不影响智算中心的算效？4、新机制如何保证加解密协议参数的可靠传递，不发生错误比较项RDMASecMACsecPHYSec加密层级应用层/传输层链路层物理层加密开销带宽开销增加36%带宽开销增加30%接近0加密时延静态时延增加35%静态时延增加32%静态时延增加几十ns加密配置相对复杂O?简单O?简单O?加载难度Server升级硬件支持Server升级硬件支持，交换机升级硬件支持更换光模块易升级易部署 最佳 最差 一般目标：在以太网物理层实现低开销、低时延、易配置、易部署的数据安全方案