PCIe数据上报设计方案.docx

Development Document
No.

DFE PCIe数据上报设计方案
VERSION: 0.2
Page 2 of 6
StarPoint Proprietary and Confidential

0. Copyright Declaration
北京鼎元丰和有限责任公司©2011。版权所有，保留一切权利。

未经北京鼎元丰和有限责任公司的书面许可，任何人或组织不得以任何形式修改或摘录本文档的任何部分。

Copyright ©2011 DYFH Technologies

No part of this manual may be reproduced in any form, written or otherwise, without the express written permission ofDYFH Technologies

1. History
Modifier
Data
Description
Version Num.
Xu Qiang
2014/4/29
Initial
0.1
Xu Qiang
2014/6/16
1、 根据评审意见修改接口寄存器；
2、 增加CPU内存空间数据结构示意图
0.2

2. Context
0. Copyright Declaration 1
1. History 1
2. Context 2
3. Preface 3
3.1 Purpose 3
3.2 Reference 3
3.3 Terminology 3
4. Overview 4
4.1 需求描述 4
4.2 需求分析 4
4.2.1 性能计算： 4
4.2.2 需求描述： 5
5. 系统设计 7
5.1 设计框图 7
5.2 设计思路 7
6. 接口设计 8
6.1 L1<->FPGA 8
6.1.1 L1<->DFE FPGA 8
6.1.2 L1<->BR FPGA 9
6.1.3 L1<->MR FPGA 9
6.2 数据格式 10
6.2.1 单天线DDC上报数据格式 10
6.2.2 双天线DDC上报数据格式 10
6.2.3 四天线DDC上报数据格式 11
6.2.4 单天线上行FFT上报数据格式 12
6.2.5 双天线上行FFT上报数据格式 13
6.2.6 四天线上行FFT上报数据格式 14
6.2.7 下行FFT上报数据格式 15

3. Preface
3.1 Purpose
PCIe数据上报方案，是对DFE FPGA内部DDC或FFT数据进行采集上报，通过PCIe物理链路传送至L1，由L1将数据和对应的配置按约定的格式写入sata硬盘，最终通过算法解析的结果获取底层物理链路性能的一种测试方案。
本方案的目的在于外场无逻辑分析仪的测试场景，通过FPGA、L1、OAM、UI、支撑和算法协同，快速采集DDC或FFT数据，通过分析获取链路性能。
3.2 Reference
3.3 Terminology
Terminolory
Description
DFE
FPGA deal with the Digital Front-Ended signal
UI
Users Interface
OAM
Operation and Maintenance
L1
Layer 1 of the radio interface

4. Overview
4.1 需求描述
需求编号
需求内容
需求级别
SR-001
支持DDC数据上报功能
高
SR-002
支持上行FFT数据上报功能
高
SR-003
支持下行FFT数据上报功能
高
SR-004
支持小区0或小区1数据上报功能
高
SR-005
支持天线0/1/2/3中任意一路天线数据上报功能
高
SR-006
支持天线0/1或天线2/3两路同时上报功能
高
SR-007
支持天线0/1/2/3同时上报功能
中
SR-008
支持按数据长度停止上报工作模式
高
SR-009
支持按条件触发停止上报工作模式
高

4.2 需求分析
4.2.1 性能计算：
注：下文中内存空间及带宽换算时，换算单位：1G = 1024M，1M = 1024K，1K = 1024.

带宽性能：
DFE PCIe数据上报依赖于PCIe物理链路带宽，DFE中DDC和FFT数据每个子帧包含30720个数据，单天线数据流量为：（30720*32bit）/1ms = 937.5Mbps，四路天线同时上报的数据流量为：983Mbps * 4 = 3.67Gbps。
DFE FPGA内部PCIe链路为PCIe Gen2 x4配置，理论线速为2.5GT/s * 4 = 10GT/s，除去8B/10B编码20%的开销，理论带宽最大为8Gbps。DFE FPGA内部PCIe通道为8个信道或模块共用，这8个通道之间为Round-Robin轮询的方式，本方案使用这8个通道之中的一个通道进行数据上报。
通过上板实测单通道的流量，实验室按固定包长512DW（1DW = 16bit I Data + 16bit Q Data）发送，测试一个包最长发送时间为729个cycle，即PCIe数据上报通道流量为：（512*32bit）/（729*5ns） = 4.1Gbps，大于四路天线同时上报的3.67Gbps，支持四路天线数据同时上报的需求。

缓存性能：
本方案受限于SATA硬盘的写速率：实测SATA写速率为70MB/s，FPGA单天线的DDC数据速率即117MB/s，所以无法做到底层数据上报实时处理，需要将上报的数据先缓存在CPU的缓存中，当底层停止数据上报时，CPU再将缓存中的数据和对应的配置写入SATA硬盘。
单天线一个子帧的DDC数据为：30720×32bit = 960Kb = 120KB。本方案只需支持最大PBCH的连续70ms数据上报，在最大支持4天线数据上报时，CPU需要的缓存空间大小为：120KB×4×70 < 35MByte。目前CPU内存为2GB，除系统启动后占用38MB外，其他均可使用，故缓存空间足够。

综上所述，系统满足带宽和缓存性能要求，需求具备可实现性。
4.2.2 需求描述：
SR-001：支持DDC数据上报功能
根据配置，方案需支持条件触发和长度触发两种工作模式下的DDC数据上报功能。
工作在条件触发模式下，L1配置FPGA数据上报开关使能，FPGA从下一无线帧开始进行DDC数据上报，直到触发条件有效，L1配置FPGA数据上报开关关闭，FPGA停止DDC数据上报，CPU开始数据和配置文件写入SATA硬盘。FPGA对CPU内存空间进行管理，内存写满后，重新从最低地址写覆盖。
工作在长度触发模式下，L1配置FPGA数据上报开关使能，FPGA从下一子帧开始将DDC数据进行采集上报，固定写入80个子帧的数据后，停止数据上报，并将上报使能开关清0。

SR-002：支持上行FFT数据上报功能
根据配置，方案需支持条件触发和长度触发两种工作模式下的上行FFT数据上报功能。
工作模式和SR-001实现一致。一个子帧的FFT数据分14个符号，每个符号前1200点为有效数据，紧接着传送块浮点指数，其他数据为固定填充。实际上报点数一个子帧依然为30720点，最终由算法按照按照格式取出有效的FFT数据和块浮点指数。

SR-003：支持下行FFT数据上报功能
同需求SR-002，区别在于下行无需传送块浮点指数.

SR-004：支持小区0或小区1数据上报功能
方案同一时间仅支持一个小区的数据上报功能，系统根据配置选择上报小区0还是小区1的数据上报。

SR-005：支持天线0/1/2/3中任意一路天线数据上报功能
根据配置，方案需实现任意一路天线的DDC数据、上行FFT数据或下行FFT数据上报功能。

SR-006：支持天线0/1或天线2/3两路同时上报功能
根据配置，方案需支持0/1或2/3两路天线的DDC数据、上行FFT数据或下行FFT数据上报功能。

SR-007：支持天线0/1/2/3同时上报功能
根据配置，方案需支持0/1/2/3四路天线的DDC数据、上行FFT数据或下行FFT数据同时上报功能。

SR-008：支持按数据长度停止上报工作模式
工作在长度触发模式下，L1配置FPGA数据上报开关使能，FPGA从下一子帧开始对数据进行采集上报，固定上报80个子帧的数据后，停止数据上报，并将上报使能开关清0。

SR-009：支持按条件触发停止上报工作模式
工作在条件触发模式下，L1配置FPGA数据上报开关使能，FPGA从下一无线帧开始进行数据上报，直到触发条件有效，L1配置FPGA数据上报开关关闭，FPGA停止数据上报。
5. 系统设计
5.1 设计框图

图-1 PCIe数据上报方案系统框图
如上图所示,方案需要FPGA、L1、OAM、UI、支撑和算法协同工作，用户通过UI下发数据采集指令和配置至OAM，L1配置FPGA，开始数据采集上报。FPGA按配置将DDC或FFT数据通过PCIe链路DMA写入CPU的DDR缓存，数据上报停止后，支撑将CPU内存中的数据写入sata硬盘，最终通过UI给出文件导出指令，指令最终下达到支撑，将sata硬盘中的数据和对应的配置分别通过ftp下载到本地，数据文件进行截取处理后，交算法分析。
5.2 设计思路
方案关键点在FPGA内部数据采集，及FPGA与CPU之间的内存空间交互上。CPU只需对FPGA提供内存空间首地址，由FPGA对上报内存空间进行管理，并决定每一个DW在内存空间中的存放地址。根据需求，CPU内存需存放4天线80个子帧的数据，内存空间大小为：30720×32bit×4ant×80子帧 = 37.5MByte，共存储9.375M个DW数据。
CPU内存采用ring buffer方式设计，写入地址由FPGA决定。工作在长度停止模式时，FPGA共上报4×80个子帧数据（共37.5MByte），刚好写满buffer空间；工作在触发停止上报模式下，如果触发信号一直无效，FPGA会持续写内存，当buffer空间写满时，FPGA会从内存最低地址开始循环写覆盖，直到触发信号有效。
FPGA进行数据采集上报时，不同的配置对应不同的数据格式。分DDC、上行FFT和下行FFT数据三种数据格式，对应单天线、两天线和四天线三种配置，总共九种数据格式。

图-2 CPU内存空间DDC数据存储示意图
上图为DDC数据存储格式，CPU内存buffer空间37.5MByte，分为8个复合无线帧存储空间，每个复合无线帧包含10个复合无线子帧，每个复合无线子帧包含30720×4个DW。如上图所示，为三种不同天线配置下的DDC数据格式。
以复合无线子帧为单位，配置为单天线DDC数据上报时，只使用前30720个DW存放单天线的DDC数据，剩余的30720×4个DW空闲（FPGA不往该地址空间写值，写地址跳变）；配置为两天线DDC数据上报时，天线0和天线1数据交织上报(如上图所示，上报顺序为ant0dw0、ant1dw0、ant0dw1、ant1dw1…，一直到ant0dw30719、ant1dw30719),共使用30720×2个DW空间，剩余30720×2个DW空间空闲；配置为四天线DDC数据上报时，天线0/1/2/3数据交织上报(如上图所示，上报顺序为ant0dw0、ant1dw0、ant2dw0、ant3dw0…，一直到ant0dw30719、ant1dw30719、ant2dw30719、ant3dw30719),使用全部30720×4个DW空间。

图-3 CPU内存空间上行FFT数据存储示意图
上图为上行FFT数据存储格式，CPU内存buffer空间为37.5MByte。内存buffer分成8块，每个块空间为4个无线帧，称为一个复合无线帧，每个复合无线子帧分为10个复合无线子帧，每个复合无线子帧包含14个复合symbol，复合symbol 0和7包含（2048+160）×4 = 8832 DW，其他复合symbol包含（2048+144）×4 = 8768 DW。
单天线、两天线和四天线三种不同的配置下，内存buffer用于上行FFT数据上报时，数据在内存buffer中的存储格式不同。存储单天线上行FFT数据时，复合symbol 0的8832个DW中，只使用前1201个DW（1200个有效数据和1个块浮点指数，块浮点占用LSB 5bit），剩余7631个DW为无效数据（FPGA固定写1007 DW的全0，剩余6624个DW FPGA不写入）；存储双天线上行FFT数据时，复合symbol 0的8832个DW中，只使用前2402个DW，用于交织存储天线0和天线1的1200个有效数据和块浮点指数；剩余的6430个DW空间为无效数据；存储四天线上行FFT数据时，复合symbol 0的8832个DW空间中，只使用前4804个DW空间，用于交织存储天线0/1/2/3的1200个有效数据和块浮点指数，剩余的4028个DW空间为无效数据。
6. 接口设计
6.1 L1<->FPGA
6.1.1 L1<->DFE FPGA
Address
Reg Name
R/W
default
Function
0x218
reg_probe_base_addr
R/W
32’d0
PCIe数据上报基址
2014/6/16：保留该寄存器，该地址和L1约定，FPGA解复位后初始值即为约定的地址，CPU缓存空间为80个复合子帧，FPGA对内存空间地址进行管理。
0x219
reg_probe_cfg
R/W
32’d1
bit[31:13]：rev.
bit[12] : probe_mode，上报模式：
1’b0：触发停止模式；
1’b1：长度停止模式。
bit[11]：rev.
bit[10:8] : probe_data_type，上报数据类型: 3‘b000—上行DDC数据；
3‘b001—下行DDC数据；
3’b010--上行FFT数据；
3‘b011：下行FFT数据；
3’b100--测试数据；
其他值无效。
bit[7:6]：rev.
bit[5:4]：cell_num，小区标识：
2’b01：小区0；
2’b10：小区1。
2014/6/16：小区标识修改为one-hot模式，目前只支持单小区，小区标识暂不支持
bit[3:0]：ant_sel天线选择信号，one-hot编码方式，高电平有效：
4’b0001：单天线上报模式，天线0有效；
4’b0010：单天线上报模式，天线1有效；
4’b0100：单天线上报模式，天线2有效；
4’b1000：单天线上报模式，天线3有效；
4’b0011：两天线上报模式，天线0/1有效；
4’b1100：两天线上报模式，天线2/3有效；
4’b1111：四天线模式，0/1/2/3同时有效；
其他值无效。
0x21a
reg_probe_start_addr
R/W
0x0000
bit[31:14]：rev.
bit[13:4]：上报数据起始帧号，仅在长度停止模式下有效（reg_probe_cfg bit[12]等于1时）；
bit[3:0]：上报数据的起始子帧号,仅在长度停止模式下有效（reg_probe_cfg bit[12]等于1时）。
2014/6/16：删除该寄存器，长度触发模式时，从下一个子帧开始上报，固定上报长度80个子帧数据。
0x21b
reg_probe_length
R/W
0x0001
bit[31:7]：rev.
bit[6:0]：上报数据长度，单位为子帧个数，配置范围为0x1～0x46，表示上报长度为1～70个子帧。仅在长度停止模式下有效（reg_probe_cfg bit[12]等于1时）。
2014/6/16：删除该寄存器，长度触发模式时，从下一个子帧开始上报，固定上报长度80个子帧数据。
0x21a
reg_probe_en
R/W
0x0000
bit[15:1]：rev.
bit[0] : probe_en，数据上报使能信号，配置为高电平表示开始数据上报。两种方式下可能会被清零：1、长度停止模式下，上报长度结束后FPGA将该bit清0；2、触发停止模式下，触发条件生效时，由L1配置该bit清0。
2014/6/16：寄存器地址修改

6.1.2 L1<->BR FPGA
Address
Reg Name
R/W
default
Function

2014/6/16：状态寄存器重用目前的crc error寄存器。

6.1.3 L1<->MR FPGA
Address
Reg Name
R/W
default
Function

2014/6/16：状态寄存器重用目前的crc error寄存器。

6.2 数据格式
6.2.1 单天线DDC上报数据格式
以天线0为例：
ant0 DW3

….

….

ant0 DW30718

….

1 DW = {16bits Q data , 16bits I data};
1 subframe
addr increase
ant0 DW2

ant0 DW1

ant0 DW0

ant0 DW30719

ant0 DW0

ant0 DW1

ant0 DW2

PCIe start addr

6.2.2 双天线DDC上报数据格式
以天线0/1双天线为例：
ant1 DW1

….

….

ant0 DW30719

….

1 DW = {16bits Q data , 16bits I data};
1 subframe
addr increase
ant0 DW1

ant1 DW0

ant0 DW0

ant1 DW30719

ant0 DW0

ant1 DW0

ant0 DW1

PCIe start addr

6.2.3 四天线DDC上报数据格式
以天线0/1/2/3四天线为例：
ant3 DW1

….

1 DW = {16bits Q data , 16bits I data};
1 subframe
addr increase
ant2 DW1

ant1 DW1

ant0 DW1

ant1 DW30719

ant2 DW30719

ant3 DW30719

ant0 DW30719

PCIe start addr
….

….

….

ant3 DW0

ant2 DW0

ant1 DW0

ant0 DW0

6.2.4 单天线上行FFT上报数据格式
以天线0为例：

6.2.5 双天线上行FFT上报数据格式
以天线0/1为例：

6.2.6 四天线上行FFT上报数据格式
以天线0/1/2/3四天线为例：

6.2.7 下行FFT上报数据格式
下行FFT数据上报除去无块浮点参数外，其他与上行FFT数据格式一致。

Page 17
DYFH Technologies