基于FPGA和USB3.0的实时边缘检测系统_杨美娜.pdf

1引言随着数字图像处理领域的不断发展，能够高效优秀处理数据的嵌入式图像处理数据系统逐渐成为学界研究的热潮。FPGA（Field Programmable GateArray，现场可编程逻辑门阵列）在图像处理领域有着巨大优势。其内部包括众多的可配置逻辑模块，可编程存储资源，内部总线和I/O模块组成的专用电路。另一方面，它还具有优秀的并行计算能力而且提供一定的带宽资源。因此FPGA可以完美契合实时视频处理需求，将视频传输数据以数据流的形式传递与计算，并能根据图像处理算法的变化重构硬件系统。边缘检测是进行计算机以及人类视觉和模式识别与图像处理技术的重要前提，它不仅可以减少图像处理的数据量，同时能够最大限度保留图像中物体的形状信息，所以它在目标识别与跟踪、计算机视觉领域广泛应用。它可以提取图像中像素发生明显变化的像素点，即图像中的边缘。由于视频分辨率的不断提高，传统嵌入式边缘检测系统中一直存在丢帧和实时性与功耗无法满足要求的现象。为了更好地提高视频流数据接收的实时性，本系统在视频传输方式上选择了第三代 USB（Universal Serial Bus）接口，即USB3.0总线接口。其传输速度是上一代USB2.0接口的十倍以上，最高可以达到 640MB/s，同时传输方式由原来的半双工通信方式改为全双工通信方式。考虑以上内容，本文提出了一种基于FPGA和USB3.0的实时边缘检测系统，硬件采用AC6102开发板与OV5640摄像头模块设计实现，最终达到了实时边缘检测的预期效果，并且片上资源占用率小于1%。2系统总体设计框架2.1硬件总体架构系统由OV5640摄像头、FPGA、ARM9（FX3）、USB3.0和PC（Personal Computer）机组成，由FPGA控制采集并实时处理摄像头采集到的数据，同时将处理好的数据通过GPIF II接口（通用可编程接口）发送给ARM处理器，ARM处理器则负责接收数据并将数据按照USB3.0的视频传输协议（UVC）通过USB3.0接口发送至PC上位机，在上位机安装好驱动以及Cypress官方提供的VirtualDub工具就能查看到系统处理后的视频，系统整体框架如图1所示。图1硬件总体框架2.2FPGA片内逻辑方案系统对OV5640摄像头初始化模块配置包括：摄像头初始化配置与IIC总线控制模块；摄像头接收模块增设寄存器基于FPGA和USB3.0的实时边缘检测系统杨美娜肖世伟冯祥虎杜 军*（哈尔滨师范大学计算机科学与信息工程学院，黑龙江哈尔滨150025）摘要：边缘检测技术在数字图像处理领域有着必不可少的作用，在目标锁定、国防安全、交通管理等多个领域都被广泛应用，能否进行更深层次的图像识别与处理等应用取决于边缘检测结果的实时性与精确性。为了实现实时且高效的图像边缘检测，提出了一种基于FPG A 和U SB 3.0的实时边缘检测系统，运用U SB 3.0高速接口的硬件优势，结合FPG A 使用流水线与并行处理的解决方案，在不简化运算的前提下有效提高图像处理的速度，并且片上资源占用率小于1%。实验结果验证了本文提出的边缘检测系统具有较高的实时性与精确性。关键词：数字图像处理；边缘检测；FPG A；U SB 3.0；So b e l 算子中图分类号：TH865文献标识码：A文章编号：1008-6609(2022)10-0098-04作者简介：杨美娜(2 0 0 0)，女，硕士研究生，研究方向为嵌入式图像处理。*通讯作者：杜军(19 8 0)，男，副教授，硕士生导师，研究方向为激光雷达与嵌入式方向。电脑与电信应用技术与研究-98DOI:10.15966/ki.dnydx.2022.10.013对数据流进行时钟控制。系统逻辑框图如图2所示。（1）对摄像头初始化的主要参数配置为：输入与输出时钟为24MHz、帧率30fps、输出图像格式YUV422、输出接口DVP。由于OV5640支持图像质量控制：色饱和度调节、色调调节、自动曝光控制和色彩饱和度调整等，因此在初始化配置时也需要配置这些功能对应的寄存器参数。（2）采用IIC总线的原因是接口直接在组件之上，因此IIC总线占用的空间非常小，减少了电路板的空间和芯片管脚的数量，降低了互联成本。不仅如此，IIC接口还具有简单性和有效性、代码简洁等优点。IIC接口有两条总线线路，一条是串行数据线SDA，一条是串行时钟线SCL。SCL为高电平时，SDA数据需保持稳定；SCL为低电平时，SDA数据发生变化。在进行数据传输时状态机包括：写请求、起始位请求、读请求、停止位请求、应答位请求和无应答请求。图2系统逻辑框图3Sobel边缘检测图像的边缘通常被我们认为是图像中灰度值或亮度发生明显变化的局部区域，即图像的亮度信息发生陡峭变化的区域。图像边缘可以划分为三种形式：阶梯型边缘、斜坡型边缘、线性边缘。根据图像的边缘区域存在陡峭的灰度值或亮度变化这一特性，采取合适的数字方法，对目标图像进行检测运算操作，能够提取出目标图的边界线。当前的边缘检测方法大体可以分为三类：基于一阶微分运算的梯度边缘检测方法，基于二阶微分运算的边缘检测算子，以及运算复杂但是效果理想的Canny算子。由于Sobel算子在实际应用的场景中检测效率高，并且其算法的运算可由FPGA可编程宏功能模块实现，故选取Sobel算子作为边缘检测算法。3.1Sobel算子Sobel算子是一种基于一阶微分运算的边缘检测算法，是图像边缘检测中最重要的算子之一。该算子包含两组33的矩阵，分别为横向及纵向，将之与当前时钟的目标图像的33矩阵进行二维卷积操作，即可分别得出横向及纵向的亮度差分近似值。其中Sobel算子的横向算子与纵向算子如式(1)、(2)所示，其中A为目标图像33矩阵。Gx=-1 0+1-20+2-1 0+1*A(1)Gy=+1+2+1000-1-2-1*A(2)在得到纵向算子与横向算子后，根据两个方向的结果进行处理，求得图像的梯度向量，计算公式如式(3)所示。很多系统设计者为了计算方便，而采用取模的方式代替公式(3)，但是本系统为了追求边缘检测算法结果的精确性，依旧采取原公式对横向算子与纵向算子进行计算。G=G2x+G2y(3)3.2Sobel算子模块设计对于视频流处理，首先根据YUV422格式的数据存储方式，设置计数器负责提取视频流数据中的灰度数据（Y 通道），其中剩余的色度分量会被覆盖。其次将一维的视频数据流转变为至少缓存两行的格式，调用一个深度为 3 的Shift_RAM IP核对前两行数据进行缓存，使用Shift_RAM移位寄存器的优点是因为可以进行自动移位换行，Shift_RAM的工作原理是移位存储，后一个数据进入后将前一个数据往前推，当填满此行时，跳到下一行再继续移位存储，最终得到33阵列，其数据流原理如图3所示。Shift_RAM可以实时存储当前时钟的一帧图像的33矩阵数据，随着时钟的跳变，达到二维卷积中的滑窗操作。图3Shift_RAM原理得到当前33阵列后将其与Sobel算子分别进行乘加运算，得到纵向算子与横向算子，其中乘2运算使用左移一位实现。将算子分别与自己相乘求和得到需要求平方根的数据，在这里调用了altsqrt IP核进行开平方的运算。将得到的梯度值与阈值（设置为100）比较，大于阈值则判定为边缘，小于阈值则相反。将输出图像数据值进行翻转，即让检测到的图像边缘为白色，非边缘显示为黑色。4USB3.0视频传输4.1UVC协议UVC（全称USB video class）是USB规范协议中设备类规范的其中一种。根据UVC 协议的视频功能可以分为单元和终端两种实体，它们分别有自己的描述符，每个单元的描电脑与电信应用技术与研究-99述符包含了这个单元的所有信息，终端描述符则提供了所有终端的信息。单元描述符和端点描述符一起描述了端点和单元的组合方式。视频的终端有输入和输出终端，在此基础上扩展功能的相机终端和媒体传输终端。视频的单元包含选择单元、处理单元和扩展单元。对于一个USB视频类设备，它们在接入主机后主要通过描述符让主机获得各自的属性和被确认为标准的 USB 类设备，这些描述符是标准的USB描述符并在其子描述符中定义了USB设备的各种功能。从端口来看，主要可以分为视频控制端口和视频流端口两个部分。按照UVC协议的规定，在传输无压缩的视频数据时需要在前面加一个12B的包头，主要是包含一些传输图像的属性信息，对于每一次图像传输都要加上UVC的包头。由于USB3.0图像采集系统需要传输大量的视频数据，所以在传输时本系统采用USB3.0块传输的方式，传输的最大突发为16，数据包的最大字节数为1024，一次USB3.0传输的数据量最大为16KB。4.2传输子系统设计这部分设计使用到了 Cypress 官方提供的 GPIF II De-signer、EZ USB Suite、Control Center工具。通过GPIF II De-signer工具对GPIF II接口进行配置端口与状态机设计，配置完成后需要生成相应的.h头文件以用来后面的固件程序开发；通过EZ USB Suite工具进行固件架构设计，其作用包括接收FPGA发来的数据，并将数据按照UVC协议的通信方式传给上位机，固件总体架构如图4所示。图4固件总体框架该系统主程序main()函数部分主要用来对芯片时钟、端口的初始化，在主程序中启动ThreadX RTOS 后，为固件应用创建两个线程：一个是UVC应用线程，主要用来接收图像数据；另一个是UVC控制线程，主要用于响应用户的请求命令。在应用线程入口函数中初始化UART端口，构建DMA通道，配置Endpoint端口，在UVC控制线程入口函数中设置图像的亮度、对比度等参数。ARM9处理器完成外设间的配置后，DMA结构直接管理传输，不需要CPU干预，其数据传输宽带不会受到CPU性能影响，提高了数据传输速度。传输过程中为图像传输创建了两个DMA通道，每个DMA通道都有两个端口，分别为 pro-ducer socket和consumer socket。在这里两个DMA通道共用一个consumer socket，传输数据采用乒乓的方式，两个DMA轮流接收来自FPGA的数据。其 DMA结构如图5所示。图5DMA通道结构图5结果展示根据系统结构设计，将编写好的代码编译运行和烧录下载后，即可在上位机查看视频结果。为了更直观地查看结果，首先烧录的是进行Sobel边缘检测前的程序得到其原图，其结果如图6（a）所示。然后烧录加入Sobel算子处理的程序，其结果如图6（b）所示。可以看出，设计的基于FPGA和USB3.0的实时Sobel边缘检测系统能够达到预期的效果，可以很好地提取图像边缘信息，帧率达到30fps。并且片上资源占用率小于1%，为后续设计提供了足够的硬件资源。（a）原图（b）Sobel边缘检测图6系统结果对比电脑与电信应用技术与研究-1006结语本文对Sobel边缘检测进行了深入研究与设计，提出了一种软件与硬件结合的架构即USB3.0高速接口与FPGA流水线的架构。通过实验所得的图像可以看出，设计的系统达到了预期效果，实现了实时的边缘检测系统。不仅如此，系统占用资源极少，为后续的图像处理操作留下了大量的系统空间。基于以上内容，接下来将继续使用该架构实现更高层次的实时数字图像处理系统。参考文献：1刘林仙，乔楠楠，童强，等基于FPG A 的U SB 3.0通信接口设计J 测试技术学报，2 0 2 1，3 5(3)：2 6 1-2 6 52 黎欢，唐清善，李亚捷，等基于FPG A 的U SB 3.0高清视频传输系统的设计J 测控技术，2 0 19，3 8(3)：10 2-10 73 陈国松基于FPG A 和U SB 3.0的图像信息采集与处理系统设计与实现D 长春：吉林大学，2 0 19 4罗紫阳，李雪梅，陈鹏基于FPG A 的So b e l 算子边缘检测算法的实现J 电子制作，2 0 2 0(2 1)：6-75 R a v i v a r m aG，G a v a s k a r K，M a l a t h i D，e t a l Im p l e-m e n t a t i o no f So b e l o p e r a t o r b a s e di m a g e e d g e d e t e c t i o no nFP-G A J M a t e r i a l s T o d a y：Pr o c e e d i n g s，2 0 2 1，45：2 40 1-2 40 76 M a n i k a n d a b a b uC S，Ja g a d e e s w a r i M，M a n j uSA c c u-r a c yR e c o n f i g u r a b l e A d d e r f o r Lo wPo w e r O f So b e l Ed g e D e-t e c t i o nA l g o r i t h m C /2 0 2 1 7 t hIn t e r n a t i o n a l C o n f e r e n c eo nA d v a n c e dC o m p u t i n ga n dC o m m u n i c a t i o nSy s t e m s(IC A C C S).IEEE，2 0 2 1，1：10 41-10 457 W e i X，D uG M，W a n g X，e t a l FPG A Im p l e m e n t a-t i o no f H a r d w a r e A c c e l e r a t o r f o r R e a l-t i m e Vi d e oIm a g e Ed g eD e t e c t i o n C /2 0 2 1 IEEE 15t hIn t e r n a t i o n a lC o n f e r e n c eo nA n t i-c o u n t e r f e i t i n g，Se c u r i t y，a n d Id e n t i f i c a t i o n(A SID)IEEE，2 0 2 1：16-2 0 8 A g h a r a s s S，La a b o u b i M，Sa d d i kA，e t a l H a r d w a r eSo f t w a r eC o-d e s i g nb a s e dC PU-FPG A A r c h i t e c t u r e：O v e r-v i e w a n dEv a l u a t i o n C /2 0 2 1 In t e r n a t i o n a lC o n f e r e n c eo nD i g i t a l A g e&T e c h n o l o g i c a l A d v a n c e s f o r Su s t a i n a b l e D e v e l o p-m e n t(IC D A T A)IEEE，2 0 2 1：147-1549 Z h a n g K，Z h a n g Y，W a n g P，e t a l A ni m p r o v e ds o b e le d g ea l g o r i t h m a n dFPG A i m p l e m e n t a t i o n J Pr o c e d i ac o m-p u t e r s c i e n c e，2 0 18，13 1：2 43-2 48 Real-time Edge Detection System Based on FPGAand USB3.0YANG Mei-naXIAO Shi-weiFENG Xiang-huDU Jun*(Harbin Normal University,Harbin 150025,Heilongjiang)Abstract:Abstract:Edge detection technology plays an essential role in the field of digital image processing.It has been widely used in manyfields such as target locking,national defense and security,traffic management,etc.Whether the application of deeper image recogni-tion and processing depends on the real-time and accuracy of edge detection results.In order to realize real-time and efficient imageedge detection,a real-time edge detection system based on FPGA and USB3.0 is proposed and implemented in this paper.The hard-ware advantages of USB3.0 high-speed interface are used,and the solution of pipeline and parallel processing is combined with FP-GA,which can effectively improve the speed of image processing without simplifying operation.The on-chip resource usage is lessthan 1%.Experimental results verify that the edge detection system proposed in this paper has high real-time performance and accu-racy.Keywords:Keywords:digital image processing;edge detection;FPGA;USB3.0;Sobel operator电脑与电信应用技术与研究-101