新型多核网络处理器.pptx

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,新型多核网络处理器,主要参考文献,Advanced Processor with System on a Chip Interconnect Technology.,www.patentstorm.us,思科,QuantumFlow,处理器及其战略研究。,。,研发背景,今天的网络要求越来越高的带宽和越来越复杂的数据包处理：,链路带宽迅速提高（增长速度高于,CPU,性能的提升速度）,新的业务大量涌现（音,/,视频通信、,P2P,业务等），要求网络设备具备快速的业务升级能力。,业务流量持续增长（每,12,个月翻一番）,包处理越来越复杂：,安全：,IPSec/VPN,，,SSL,，防火墙,应用认知（,application awareness,）,流量工程（,Traffic Engineering,）：,QoS/SLA,等。,深度数据包检查（,Deep Packet Inspection,，,DPI,）,现状,目前的网络设备大多采用通用处理器,+ASIC,的设计模式：,ASIC,无法提供业务快速升级所需的灵活性,传统网络处理器：,主要用于加速基本的包处理任务,内部资源有限，无法支持,DPI,这样的复杂处理,采用低级语言，缺乏相应的支持软件,新型,NP,与传统,NP,的不同,传统,NP,只处理数据面任务，新型,NP,可应用于控制面、数据面、管理面处理。,传统,NP,主要卸载网络层和传输层功能，而新型,NP,可以卸载第四层以上的处理（如,DPI,、加,/,解密、压缩,/,解压缩等），这主要通过集成各种特殊的硬件加速器来实现。,传统,NP,一般采用微码编程，新型,NP,支持标准嵌入式操作系统和高级语言（,C/C+,）编程。,主要的多核,NP,半导体厂商,Cavirm,（,MIPS,架构）,Broadcom,（,MIPS,架构）,RMI,（,MIPS,架构）,Cisco,Freescale,（,PowerPC,架构）,Tilera,1.,Cavium OCTEON,处理器,面向网络、无线、控制和存储等应用，提供高度集成和低成本的,64,位计算解决方案，广泛用于各种网络设备。,一种片上系统（,SoC,），集成了：,12,个定制的,cnMIPS64 CPU core,：专门针对网络服务而设计，功耗很小。,各种硬件加速器（应用，安全）：针对下一代,IP,网络各种需求的,L3-L7,数据、内容和安全服务硬件加速选项，分担,MIPS core,的很多任务。,丰富的可配置网络接口：以太网、,PCI/PCI-X,、,VoIP,、,USB 2.0,等。,OCTEON CN31XX,的内部结构,CN31XX,的组成,cnMIPS64 core,：,带有片上存储管理单元,MMU,（负责虚拟地址和物理地址之间的映射）,增强的,MIPS64 Release 2,整数指令集,双发射、,5,级流水线的超标量体系结构,32KB,指令缓存和,8KB L1,数据缓存,一致存储子系统：,256KB L2 cache,64/72-bit DDR2,内存控制器,（可选的）低延迟,16-bit DDR2-667,，用于基于内容的处理和保存元数据,CN31XX,的组成（续）,集成的应用加速协处理器：,数据包,I/O,处理引擎：针对,L2-L4,的包处理和缓冲区管理引擎。,TCP,加速：包括全面的检查、标签产生、校验和、定时器和缓冲区管理。,队列,/,调度和服务质量硬件：对于输入包实现基于,Diffserv,、,QoS/ToS,、输入端口的队列,/,调度；对于输出包实现基于固定优先级或加权公平队列（,WFQ,）的队列,/,调度。,安全硬件完全分担：针对,IPSec,、,SSL,、,SRTP,、,WLAN 802.11i,安全协议处理，支持所有的标准算法。,压缩,/,解压缩硬件加速：实现,GZIP,、,PKZIP,和各种协议。,模式匹配硬件加速引擎（,8,个）：深度数据包检查。,不同的处理器版本（通信处理器、安全通信处理器、网络服务处理器）包含不同的硬件加速选项。,CN31XX,的组成（续）,集成的高性能网络接口：,最多,3,个可配置的以太网接口：,3,个,10/100/1000 Ethernet MAC RGMII,，或者,1,个,RGMII+1,个,GMII,。,32,位,PCI/PCI-X,主设备或从设备。,支持无缝,VoIP,的,TDM/PCM,接口。,480Mbps USB2.0,主设备,性能,每秒最多执行,10,亿条（,CN3110,）或,20,亿条（,CN3120,）指令。,500Mbps2Gbps,的应用性能：,最高,2Gbps 64B IP,转发,最高,2Gbps TCP,、,IPSec,、,SSL,、压缩,/,解压缩,最高,1Gbps,正规表达式匹配,工业标准的编程模型，不需要任何专用工具或微代码,2.Broadcom BCM1480,3.RMI XLR,处理器,采用,SoC,技术，将网络连接、负载平衡、安全、,XML,等功能集成在一个芯片上。,基于,Mips64,架构。,支持,Linux SMP,和,VxWorks,等常见的操作系统，允许利用工业标准的开发工具和环境进行软件设计，没有代码空间的限制。,可用于任何需要网络加速的场合，目标市场包括多业务交换机，路由器，防火墙,/VPN/IDS/,内容认知网络、网络服务、虚拟存储和负载平衡等网络应用。,XLR732,的内部结构,XLR,处理器的设计特色,多核多线程：包含多个,Mips64,核心，每个核心拥有,4,个线程，每个线程拥有完全独立的寄存器组，在线程调度时不需要进行上下文切换。,高速内部网络：采用专利技术构成的内部网络连接各个核、网络接口、,DMA,和安全引擎，允许以上各部件之间独立并行地传递数据。,硬件加速器：数据包处理，安全处理。,丰富的接口：以太网、,Hyper Transport,、内存、,PCI-X,、,DMA,、串口等。,XLR,处理器内部结构,XLR,的专利设计,自带数据,cache,和指令,cache,的处理器核,与各个核的,cache,相连的,data switch interconnect ring,（,DSI,），在各个核之间传递与内存相关的数据。,连接到,DSI,上的共享,L2 cache,，存放内核可直接访问的数据。,与各个核的指令,cache,及各个通信端口相连的,fast messaging ring,，在核与通信端口之间提供与存储无关的点对点消息传输。,与消息网络及通信端口相连的,interface switch interconnect,（,ISI,），用于在消息网络和通信端口之间传输消息。,与,DSI,和至少一个通信端口相连的内存桥，在,DSI,和通信端口之间直接通信。,与,DSI,、,ISI,和至少一个通信端口相连的超级内存桥，与,DSI,、,ISI,和通信端口通信。,3.1,处理器核,每个处理器核采用,4,路多线程单发射,10,级流水线结构，为线程级并行而优化。（指令级并行对于访存密集型应用而言意义不大，而数据包处理具有自然的线程级并行。）,不同的核可以执行不同的程序，甚至运行不同的操作系统。,一个核中的不同线程可以执行不同的程序，甚至运行不同的操作系统。,处理器核之间通过消息网络进行通信。,线程调度,-Eager round-robin,线程调度,Multithreaded fixed-cycle scheduling,线程调度,-Multithreaded fixed-cycle scheduling with eager round-robin,可编程中断控制器,PIC,可编程中断控制器（,PIC,）从中断源接受中断请求后，可以将中断指派给任何一个核,/,线程去处理。,CPU mask,是一个,32,比特的数，用于指示哪些核,/,线程不处理该中断。,如有多个未屏蔽的核或线程，采用,round-robin,方式进行任务分配。,XLR,还允许一个线程中断另一个线程。,3.2 L2 Cache,统一的（指令与数据）片上,L2 Cache,，,2MB,容量，,32B cache line,。,包含与处理器核数量一样多的,bank,。,每个时钟周期最多可以同时接收,8,路访问。,可以不包括,L1 cache,中的内容，从而有效地提高整个内存系统的容量。,可被处理器核直接访问。,3.3,数据交换（,data switch,）,DSI,、内存桥和超级内存,I/O,桥构成一个用于数据交换的环，其中内存桥连接存储端口与处理器核，超级内存,I/O,桥连接存储端口、通信端口与处理器核。,每个处理器核、内存桥和超级内存,I/O,桥各自通过一个环单元连接到环上。每个处理器核的环单元与该处理器核的指令,cache,以及,L2 cache,中的相应,bank,连接。,实际上有,4,个环构成了这个环结构：请求环（,RQ,）、数据环（,DT,）、,Snoop Ring,（,SNP,）和响应环（,RSP,），每个节点包括了,4,个环上的环单元。,环上的通信是基于包的通信，每个包包含像目的,ID,、事务,ID,等域，包在环上传递直至被接收节点收到。,数据交换互连环示意图,环单元结构,包在环上的传递过程,3.4,消息传递网络,FMN,环单元结构,消息的数据结构,基于信用的流量控制,对于一个特定的接收者，分配给所有发送者的信用总数不能超过接收队列（,RCV Queue,）的入口总数（如,256,）。,软件可以控制信用的分配。比如，启动时每个发送者可以被分配一个缺省的信用数，然后软件再可以为每个发送者分配信用。,当一个代理要发送一个消息给某个接收者时，它必须具有向该目标发送消息的信用。当发送一个消息后，其相应的信用要减,1,。当信用为,0,时，必须停止向该目标发送消息。,目标取得消息后，向发送者发送一个响应信号，发送者的信用加,1,。,3.5,本地节点上的分组流,Packet Distribution Engine,（,PDE,）,PDE,包括一个,XGMII/SPI-4.2,接口和,4,个,RGMII,接口。,PDE,利用,FMN,，将数据包负载均衡地、快速地分发到软件指定的线程。,事实上，数据包并没有真正地在,FMN,上传递。网络接口将数据包写入内存，,PDE,将一个包描述符插入到消息中发达给软件指定的接收者。,PDE,分配数据包举例之一,在这个例子中，软件选择,thread 4thread7,处理接收的数据包，并且,PDE,均匀地将数据包分配到,4,个线程上。,PDE,分配数据包举例之二,基于信用的,round-robin,Packet Ordering Device,（,POD,）,许多应用要求维持包序，维持包序的方法：,用软件实现，达不到线速处理速度。,将属于同一个流的包发送到同一个线程，要求包分类，影响性能，且不利于负载均衡。,XLR,使用硬件加速部件,POD,，在发送到输出网络接口前排序数据包。,POD,（续）,每个数据包都被输入接口分配一个序号，该序号连同其它包信息一起由,PDE,发送给工作线程。线程处理完数据包后，将包描述符和原始序号交给,POD,。,POD,根据序号建立一个队列，对每一个收到的数据包在队列中排序，并按顺序发送到输出端口。,POD,的工作机制,POD,（续）,队头阻塞问题：,较早的一个数据包一直没有到达,POD,：用定时器解决,在超时前队列满：丢弃队头的包，以便接收新的包,损坏的包或控制包：软件知道这些包不会到达,POD,，可以在,POD,中插入一个,”,哑,“,包描述符来消除暂时的队头阻塞问题。,芯片上可以有,5,个可编程的,POD,，可以指定哪个,POD,对应哪个接口，也可以配置成绕过,POD,。,XLR,的最大特色,高速内部网络是,XLR,处理器的最大特色：,对于,1.5GHz,的,XLR,，,FMN,的带宽达到,96GBps,，,DSI,的带宽达到,3.84TBps,。,允许各个核、核与接口（网络接口、安全引擎、,DMA,）之间在同一时间各自并行地传递数据，避免了通常的总线所需要的仲裁阶段。,4.,思科,QuantumFlow,网络处理器,QuantumFlow,（,QFP,）是思科在广域接入和智能化边缘设备解决方案中的重要技术支持，定位在边缘路由器和企业路由器。,芯片主要解决基于状态的服务（,stateful service,）和转发合一（如音,/,视频、防火墙、深度包检查等）,芯片内部包含,40,个处理器核，每个处理器核有,4,个硬件线程，可以同时做,160,个数据处理，计算能力超强。,芯片的一般情况,处理器核：最多,40,个核，每个核,4,个线程,主频：最高,1.2GHz,晶体管数量：,8,亿,内存：两个片上,DDR2,控制器，最高,1GB RLDRAM,片上包内存：存储包头和载荷，以便进行快速的,DPI,CAM,：外挂,TAM,，最高,40MB,片内高速互联：,Crossbar Switch,片外互联：,ESI,网络接口：,4,个,10Gbps SPI4.2,功耗：,80,瓦,QFP,体系结构,QFP,结构,-,处理器观点,指令集：购买了,Tensilica,的,Xtensa,的,ISA,，,32,位,流水线：,3,发射,5,级流水线,4,个线程共享一个,L1,指令缓存,每个线程有自己的,L1,数据缓存,40,个核共享一个,L2,指令缓存,所有节点通过,crossbar,交换机构成一个,2,维,mesh,全联通图,QFP,体系结构,互联观点,QFP,体系结构,报文观点,从报文的观点来看，,QFP,是一个,L2-L7,的数据处理与转发引擎。,在,ASR1000,系列中，,QFP,用于集中式的数据控制和处理。从线卡和控制平面卡来的所有数据都进入,QFP,，处理后再转发给某个线卡或控制平面卡。,QFP,的逻辑分为两大部分：,Processor engine,：主要是,40,个,CPU,核,Traffic Manager,：由一些数据缓存、队列和相应的调度算法逻辑组成。,包处理流程,数据包通过一个,SPI-4.2,通道进入，包分发器将一个完整的帧传送到片上包内存中，进行一些基本的包处理和分析，然后将这个包分配给一个线程去处理。,该线程负责数据包的全部处理（输入、转发、输出），将数据包送到流量管理器的某个队列。,流量管理器调度数据包，将数据包发往另一个线卡、控制平面、备用,ESP,卡或片上包内存（如果需要再处理一遍），若需加密则启动外挂的加密部件。,流量管理器支持,128K,队列、三级报文队列调度和多种队列调度算法。,QFP,体系结构,-,软件观点,ASR1000,运行的操作系统称为,IOS-XE,，这是一个基于,Linux,的,IOS,操作系统。,IOS-XE,的基本特点是：,在控制平面卡上，支持单卡上两个,IOS,运行，从而支持单控制平面卡的高可用性，这是很重要的一个亮点。,在数据处理卡,ESP,上，主控,CPU,（,PowerPC,）运行一个,Linux,内核和相应的管理进程，与控制平面卡的,IOS,和相应的进程通过标准的,IPC,进行通信，使控制平面和数据平面同步工作。主控,CPU,还控制,QFP,，负责安装、启动和运行,QFP,的软件。,QFP,则相当于一个专门处理数据包的协处理器。,在线卡,SIP,上，也通过一个主控,CPU,运行一个,Linux,内核和相应的管理进程，与控制平面卡的,IOS,和相应的进程通过标准的,IPC,进行通信，使控制平面和线卡同步工作。,ESP,和,QFP,的软件结构图,QFP,上的软件结构,QFP,上没有宿主操作系统。,多核部分的数据包处理逻辑运行在一个裸机环境下，或者一个非常简单的硬件抽象层上。,QFP,的启动、包处理软件的下载、安装和运行，都是由主控,CPU,通过,HT,接口控制的。,QFP,的线程作为引擎的角色，运行包处理软件。,QFP,体系结构,系统观点,QFP,是作为思科的边缘路由器,ASR1000,的重要组成部分设计的。,ASR1000,是一个分布式结构，但采用的是集中式数据处理。任何一个数据包都要通过线卡,SPA-,线卡接口模块,SIP-ESI,互联,-ESP-QFP,进行处理，从控制平面卡出来的数据包（如,BGP,、,OSPF,报文等）也是如此。因此，,QFP,起着一个枢纽的作用。,ASR1000,逻辑结构图,战略规划,核心主导思想：,针对企业网的高性能,WAN,接入，包括网络安全、,WAN,优化、音,/,视频接入等。,智能化边缘路由器，将防火墙、,IPSec/VPN,、,DPI,、会话边界控制等多种应用集成在一个系统中。,5.Freescale PowerQUICC,处理器,Freescale,的,PowerQUICC,通信处理器是一种高度集成化的设计，将网络处理和控制处理功能合并在一起。,增强型的,Power e500-mc,内核，用于控制面处理。目前的产品集成了两个,Power e500-mc,核。,增强型的,QUICC,引擎技术，用于数据面处理。,包含丰富的接口：,DDR2/DDR3,存储控制器、以太网接口,SGMII,、串行,RapidIO,互连、,PCI-X,、,USB2.0,等。,采用标准的微代码编程，提供开放式的编程模式，具有第三方厂商的软件支持。,Freescale MPC8572E,Freescale,的多核,SoC,路线图,6.Tilera TILE64,处理器,TILE64,64,个相同的处理器核，通过,iMesh,片上网络互连在一起。,每个核是一个全功能的处理器，包括集成的,L1,和,L2,高速缓存和一个非阻塞的交换机，交换机将处理器核连接到,mesh,中。,集成了完全的存储和,I/O,控制器，从而不再需要外部的南桥或北桥。,每个核可以独立地运行一个完整的操作系统，或者几个核一起运行一个多处理,OS,。,可以根据不同应用的需要将适当数量的核组织成簇。,支持,C/C+,编程,利用,iMesh,将几个处理器核组合起来完成某个功能，可获得,ASIC,或,FPGA,的性能，同时具有强大的软件可编程性。,每秒最多,4430,亿个操作，,31Tbps,的片上,mesh,互联，最高,50Gbps,的,I/O,带宽，支持各种计算密集型应用。,7.,新型网络处理器的特点及面临的困难,特点：,芯片上集成大量的处理器内核。,芯片上集成多个存储控制器、大量的硬件加速器和大量高速的,I/O,接口。,包含高效率的片上网络。,面临的困难：,随着处理器内核数量的增长，存储一致性成为一个让人头痛的问题。,提供足够高的,I/O,带宽，让芯片吃饱同样是一个挑战。,多核软件的开发需要新的编程工具和技术。,新型网络处理器：吞吐量,VS.,可编程性,总结,通用处理器是早期的网络处理器。,今天的网络是高带宽和,“,智能,”,的，要求极高的包处理能力。,传统网络处理器是具有不同程度可编程性和硬件加速的专用多核多线程,SoC,。,新型网络处理器是支持通用编程模型的专用多核多线程,SoC,。,