图像高效滤波方法分析.pdf

8 集成电路应用 第 40 卷 第 6 期（总第 357 期）2023 年 6 月 Research and Design 研究与设计摘要：阐述图像滤波常用的滤波器是基于FIR滤波器演变而来的内容自适应滤波器。为了取得比较好的滤波效果，一般都需要比较大的窗口，从而获得足够多的感知域和去噪需要的冗余信息。基于IIR滤波器的滤波方法虽然代价较小，却容易出现相位不匹配的问题，提出一种高效滤波方法，能够以较小的代价实现快速图像滤波。关键词：电路设计，自适应滤波器，图像滤波。中图分类号：TN402，TN713，TP391.41 文章编号：1674-2583(2023)06-0008-03DOI：10.19339/j.issn.1674-2583.2023.06.004文献引用格式：董鹏宇.图像高效滤波方法分析J.集成电路应用,2023,40(06):8-10.的情况下节省存储空间和运算开销。本文介绍了一种图像滤波方法及系统，以在保证滤波效果的前提下，解决图像滤波中存在的大缓存、高延迟、运算复杂的问题。2 本文提出的算法本文提供一种图像处理方法，如图1所示，对输入图像的所有像素点逐行进行水平正向滤波；当图像的第a行的所有像素点完成水平正向滤波后，对水平正向滤波后的像素点逐行进行水平逆向滤波；当图像的第b行的所有像素点完成水平逆向滤波后，对水平逆向滤波后的像素点逐列进行垂直正向滤波；当图像的第k个像素点完成垂直正向滤波后，对垂直正向滤波后的像素点逐列进行垂直逆向滤波；当所有像素点全部完成水平正向、水平逆向、垂直正向及垂直逆向的滤波后，输出滤波后的图像。其中，输入图像幅面为M行N列，a=1，2，M；b=1，2，M；第k个像素点的坐标为（x，y），x=1，2，M；y=1，2，N。在本文中，方向顺序的定义如下：水平正向0 引言图像处理中经常用到FIR和IIR滤波器。目前图像滤波常用的滤波器主要是基于FIR滤波器演变而来的内容自适应滤波器。1 研究背景如文献1中提到的双边滤波，能够根据图像内容自适应调整滤波参数，从而达到对图像滤波同时保持边界的目的。文献2中提到的导向滤波，使用导向图指导滤波参数。而图像降噪应用中常见的基于小波变换3、DCT变换4的方法也是利用较大的滤波窗获取降噪冗余信息从而达到滤波的目的。IIR滤波器，采用递归型结构，即结构上带有反馈环路。IIR滤波器运算结构通常由延时、乘以系数和相加等基本运算组成，可以组合成直接型、正准型、级联型、并联型四种结构形式，都具有反馈回路。由于运算中的舍入处理，使误差不断累积，有时会产生微弱的寄生振荡。现有的FIR滤波器效果受限于滤波窗的尺寸，一般来说，大窗相对于小窗可以获取更多的信息，滤波效果尤其对低频信号而言也更好。但是大窗意味着更多的存储与运算开销，相对于实现而言并不友好。IIR滤波器运算相对简单，但是潜在的会有相位偏差的风险。如果希望完美的消除相位差，则需要对垂直方向上的信号进行缓存，不仅需要一帧的存储开销，而且信号输出则存在较大延迟。因此，现有技术的滤波器无法在保证滤波效果图像高效滤波方法分析董鹏宇（上海富瀚微电子股份有限公司，上海 200233）Abstract This paper expounds that the most commonly used image filters are mainly content adaptive filters evolved from the FIR filter.In order to achieve better filtering effect,these filters generally need large windows to obtain enough perception domain and redundant information.Although the cost of IIR-based filtersissmall,the problem of phase mismatch has to be solved.It proposes an efficient filtering method,which can realize fast image filtering at a low cost.Index Terms circuit design,adaptive filters,image filters.Analysis of an Efficient Method for Image FilteringDONG Pengyu(Shanghai Fullhan Microelectronics Co.,Ltd.,Shanghai 200233,China.)作者简介：董鹏宇，上海富瀚微电子股份有限公司；研究方向：集成电路设计。收稿日期：2022-06-21；修回日期：2023-05-22。图1 本文图像滤波方法流程图 集成电路应用 第 40 卷 第 6 期（总第 357 期）2023 年 6 月 9Research and Design 研究与设计指的是从图像的左侧向右侧；水平逆向指的是从图像的右侧向左侧；垂直正向指的是从图像的上方向下方；垂直逆向指的是从图像的下方向上方。以图2所示的具有86个像素点的图像为例，说明本例提供的图像滤波方法中滤波的顺序。具体如图2（a）所示，对图像的所有像素点逐行从左至右进行水平正向滤波；当图像的第1行的所有像素点完成水平正向滤波后，对水平正向滤波后的像素点逐行从右至左进行水平逆向滤波，如图2（b）所示，此时不仅开始了第1行的水平逆向滤波，同时也开始了第2行的水平正向滤波；当图像的第2行的所有像素点完成水平逆向滤波后，对水平逆向滤波后的像素点逐列进行从上至下的垂直正向滤波，如图2（c）所示，垂直正向滤波从左侧开始，向右逐行进行，在开始垂直正向滤波后，水平正向和水平逆向的滤波依旧同步进行；当图像的头两个像素点完成垂直正向滤波后，对垂直正向滤波后的像素点逐列进行从下至上的垂直逆向滤波，如图2（d）所示，垂直逆向滤波也是从左侧开始，向右逐行进行，在开始垂直逆向滤波后，垂直正向、水平正向和水平逆向的滤波依旧同步进行。上述滤波流程在硬件实现中可以考虑具体情况并行开启多个滤波引擎从而增加滤波模块的数据吞吐率。图2仅作为一种示例，在其他实施案例中，当所有像素点完成水平正向滤波后，开始水平逆向滤波；并在所有像素点完成水平逆向滤波后，开始垂直正向滤波；当所有像素完成垂直正向滤波后，开始垂直逆向滤波，但此种做法的延迟时间较长。在本例提供的图像滤波方法中，默认像素滤波后的输出是按照zigzag模式。当然，在进行水平逆向滤波时，也可能存在其他实现方式，例如处理完像素点的水平逆向滤波后不需要等当前行全部完成滤波，直接进行垂直正向滤波，此时水平方向上像素按照从右向左逆序滤波。在具体实现时，还可以按照应用要求对上述操作进行修订。例如，对滤波效果要求高的应用可以多次迭代上述步骤后输出；对输出要求低延迟的应用可以将每个方向的滤波间隔的值设置的比较小。通过对图像进行四个方向（水平正向、水平逆向、垂直正向和垂直逆向）的层进式滤波，即在当前方向上滤波完成一部分后开始下一方向的滤波，由于每个方向的滤波均是在上一方向滤波还在进行中便开始了，使得在不减少滤波方向及次数的同时减少了运算的时间，降低了滤波运算过程中的缓存和延迟；同时，将滤波处理分为四个方向单独处理，降低了滤波运算的复杂度。因此，本文提供的图像滤波方法解决了图像滤波中存在的大缓存、高延迟、运算复杂的问题。在本文提供的图像滤波方法中，进行水平正向滤波、水平逆向滤波、垂直正向滤波以及垂直逆向滤波的方法如图3。计算同一滤波方向的像素点的梯度的方法为：设第t-1个像素点的梯度为Gt-1和第t+1个像素点的梯度为Gt+1，将第t-1个像素点的滤波输出值P(t-1)与第t-2个像素点的滤波输出值P(t-2)求差以得到差值，对差值取绝对值作为第t-1个像素点的梯度Gt-1；将第t个像素点的滤波像素值N(t)与第t+1个像素点的滤波像素值N(t+1)求差以得到一差值，对差值取绝对值作为第t+1个像素点的梯度Gt+1。其他相近像素点的计算方式可以类推，此处不再赘述。本例使用的梯度计算方法，计算简单、运算量低，解决了现有技术中图像滤波运算复杂的问题。为了进一步降低图像滤波计算的运算量和复杂度，在本例提供的图像滤波方法中，所述滤波参数 为提前配置的，或根据输入图像自适应调整。通过提前配置滤波参数S，可以有效降低图像滤波计算中的运算量，省去滤波参数S的计算步骤，可以大大节约运算的时间，如此就降低了滤波过程中产生的延迟。同时，滤波参数S还可以根据输入图像进行自适应调整，使得滤波结果更加可靠，保证了滤波后图像输出的质量和效果。本文提供的图像滤波计算方法，由于每一方向滤波的计算方式均相同，因此，每个方向上的计算量较为均衡，花费的时间相差不大，即可以保证几乎一样的速率处理每一像素点，使得每个方向上的滤波计算进度之间的差值保持在初始状态，如此便可以保证图像滤波计算的可靠性。同时，本文提供图2 完整的图像滤波流程图3 滤波参数更新公式10 集成电路应用 第 40 卷 第 6 期（总第 357 期）2023 年 6 月 Research and Design 研究与设计的滤波计算方法将每一方向独立开来，使得每一方向的计算较为简单，减少了计算量和缓存占用的资源。在具体实施过程中，计算梯度时可以直接采用像素点与周围像素点求差再取绝对值得到。或者，先对图像做低通滤波后再计算梯度。对于某些有参考帧或导向图的应用，可以选择在参考帧或导向图上计算对应坐标点的梯度，从而提高梯度计算的准确性。从上述计算方法可以看出，垂直逆向的滤波输出值依赖于该像素点及其邻近像素点（第t-1个像素点）的垂直正向滤波的滤波输出值。可见，开始较后的滤波方向的滤波输出依赖于较早开始的滤波方向的滤波输出。由此，便将四个方向的滤波输出相互关联，以得到四个方向滤波处理的综合结果，使滤波结果更加准确可靠。同时，由于各个滤波方向之间存在一定像素点个数的延迟，便可以保证较后开始的滤波能够获取较早开始的滤波的滤波输出值；而这种延迟并没有涉及一整帧图像，因此缓存的数据较少，在节约了计算资源的同时也减少了数据串扰的可能。本文还提供一种图像滤波系统，如图4所示，包括：数据缓存单元、梯度计算单元、噪声估计单元、权重计算单元、加权运算单元和数据输出单元。数据缓存单元接收和缓存图像，并对滤波过程中的数据进行暂存；梯度计算单元用于计算像素点的梯度；噪声估计单元用于估计图像的噪声强度；权重计算单元用于将梯度计算单元计算的结果与噪声估计单元计算的结果相结合，以动态调整加权权重；加权运算单元用于通过权重计算单元计算的结果和数据缓存单元中暂存的数据，运算得到滤波结果，数据输出单元用于在完成预定滤波次数后将滤波结果送至输出模块。综上所述，本文提供图像滤波方法及系统通过图像输入模块接收输入图像，并通过图像滤波模块对输入图像进行滤波，对图像的所有像素点逐行进行水平正向滤波；当图像的第a行的所有像素点完成水平正向滤波后，对水平正向滤波后的像素点逐行进行水平逆向滤波；当图像的第b行的所有像素点完成水平逆向滤波后，对水平逆向滤波后的所述像素点逐列进行垂直正向滤波；当图像的第k个像素点完成垂直正向滤波后，对垂直正向滤波后的像素点逐列进行垂直逆向滤波；最后当所有像素点全部完成水平正向、水平逆向、垂直正向及垂直逆向的滤波后，通过结果输出模块将滤波后的图像输出。由于每个方向的滤波均是在上一方向滤波还在进行中便开始了，使得在不减少滤波方向及次数的同时减少了运算的时间，降低了滤波运算过程中的缓存和延迟。同时，将滤波处理分为四个方向单独处理，降低了滤波运算的复杂度。因此，本文提供的图像滤波方法及系统解决了图像滤波中存在的大缓存、高延迟、运算复杂的问题。3 结语用OV的CMOS图像传感器OV7962在实际低照度场景（2Lux）采集的RAW数据上进行了仿真。基于本文提出的方法能够有效抑制噪声的同时，保留了图像细节。图5（a）是原始带噪信号经过ISP Pipeline的输出（关闭降噪），图5（b）经过本文滤波降噪后ISP Pipeline的输出，图像整体信噪比得到增强。参考文献1 C.Tomasi,R.Manduchi.Bilateral Filtering for Gray and Color ImagesC.Proc.IEEE Intl Computer Vision Conf.,1998.2 K.He,J.Sun,X.Tang.Guided image filteringJ.ECCV,2010:1-14.3 A.Pizurica,V.Zlokolica,W.Philips.Noise reduction in video sequences using wavelet-domain and temporal filteringC.in Proc SPIE Conf.Wavelet Applicat.Industrial Process,Providence,RI,2003:48-59.4 Dabov,K.,A.Foi,V.Katkovnik,K.Egiazarian.Image denoising by sparse 3D transform-domain collaborative filteringJ.IEEE Trans.,Image Process,2007,16(8):2080-2095.图4 图像滤波系统架构图5 本文方法降噪应用对比