基于Gabor滤波器的事件流特征增强及事件相机对象识别.pdf

仪 表 技 术 与 传 感 器Instrument Technique and Sensor2024 年第 4 期收稿日期:2023-08-03基于 Gabor 滤波器的事件流特征增强及事件相机对象识别周 茜1,2,3,郑 鹏1,2,31.河北工业大学,省部共建电工装备可靠性与智能化国家重点实验室;2.河北工业大学生命科学与健康工程学院,河北省生物电磁与神经工程重点实验室;3.河北工业大学生命科学与健康工程学院,天津市生物电工与智能健康重点实验室 摘要:基于 Gabor 滤波器的事件驱动卷积是仿生分层脉冲神经网络中常用的事件相机对象特征提取方法。为提高该类网络事件相机对象特征提取能力,提出基于 Gabor 滤波器的事件流特征增强算法,并应用于奖励调节 STDP 规则的脉冲神经网络事件相机对象识别系统。算法首先将事件流按时间窗口划分为事件流片段,然后提取各时间窗口内的事件流片段特征,同时增强事件数量较多的时间窗口内特征。并基于奖励调节 STDP 规则帮助网络学习诊断性特征。采用增强算法的网络在 MNIST-DVS 数据集上的分类精度优于未采用增强算法的网络,并且对于较短的事件流输入也有很好的分类能力。该事件流特征增强算法能够提高基于 Gabor 滤波器的事件驱动卷积对事件相机对象的特征提取能力。关键词:事件相机;对象识别;特征增强;Gabor 滤波器;奖励调节 STDP中图分类号:TP751 文献标识码:AGabor Filter-based Event Stream Feature Enhancementand Event Camera Object RecognitionZHOU Qian1,2,3,ZHENG Peng1,2,31.Hebei University of Technology,State Key Laboratory of Reliability and Intelligence of Electrical Equipment;2.School of Health Sciences and Biomedical Engineering,Hebei University of Technology,Hebei Key Laboratory of Bioelectromagnetics and Neural Engineering;3.School of Health Sciences and Biomedical Engineering,Hebei University of Technology,Tianjin Key Laboratory of Bioelectricity and Intelligent HealthAbstract:Gabor filter-based event-driven convolution is a widely used feature extraction method in bio-inspired hierarchical spiking neural networks for event camera object recognition.To enhance the feature extraction performance of event camera ob-jects,a Gabor filter-based event stream feature enhancement algorithm was proposed and applied to a spiking neural network event camera object recognition system that used reward-modulated STDP rule.The proposed algorithm first segmented event streams in-to fixed-length fragments,then extracted features from each fragment and enhanced features in fragments with high event density.The system used reward-modulated STDP rule to help the spiking neural network learn diagnostic features.The proposed algorithm outperformed the spiking neural network without the event stream feature enhancement algorithm on the MNIST-DVS dataset,and can classify short event stream input data effectively.The proposed event stream feature enhancement algorithm improves the fea-ture extraction and classification performance of Gabor filter-based event-driven convolution for event camera object recognition.Keywords:event camera;object recognition;feature enhancement;Gabor filter;reward-modulated STDP0 引言神经形态视觉传感器(neuromorphic vision sensor,NVS)受生物视神经系统启发,不同于以固定时间周期对场景进行采样量化得到亮度信息的传统帧视觉传感器,神经形态视觉传感器以像素单位输出场景的亮度变化(事件)信息,当像素位置的光照强度变化超过阈值时,将以 ms 级分辨率标记时间戳,并使用地址-事件表示协议表示事件信息。由于神经形态视觉传感器异步地独立输出事件信息,故该系列视觉传感器也被称为事件相机。由于借鉴了生物视神经系统分层处理视觉信息的生理机制,事件相机具有低延迟、高动态范围的优势1,在低亮度和高动态场景下,具有更强的对象识别性能。在目标跟踪与识别2、光流估计3以及其他领域4-5展现出巨大的应用潜力。67 第 4 期周茜等:基于 Gabor 滤波器的事件流特征增强及事件相机对象识别 脉冲神经网络(spiking neural networks,SNNs)受生物神经系统启发,使用稀疏脉冲时间编码,异步事件驱动运算,具有低功耗的明显优势。以上优势使得脉冲神经网络适合处理事件相机输出的事件流。一些基于脉冲神经网络的事件相机特征分类工作借鉴灵长类动物视觉信息在腹侧通路分层处理的事实,构建仿生分层的脉冲神经网络提取事件相机对象特征并完成分类识别6-9。这些仿生脉冲神经网络具有明显的事件驱动、结构简单、计算成本较低和低延迟优势,并且提高了网络的生物可解释性。然而,目前这些浅层脉冲神经网络在特征提取部分大多只是基于 Gabor 滤波器的事件驱动卷积层提取事件流初级定向边缘特征,由于 Ga-bor 滤波器参数固定,只对特定边缘特征产生强烈响应,以固定参数的滤波器对每一个输入事件进行事件驱动卷积,忽视了原始事件流的疏密特征,而事件密集的时间范围内的事件流对应对象的运动,该时间范围内的事件信息包含更多的对象边缘特征,故以上基于 Gabor 滤波器的浅层脉冲神经网络大多未充分提取事件流的时空特征,阻碍了其对复杂任务的高分类性能。本文提出基于 Gabor 滤波器的事件流特征增强算法,并应用于基于奖励调节 STDP 规则的脉冲神经网络事件相机对象识别系统。基于 Gabor 滤波器的事件流特征增强算法通过增强后的 Gabor 滤波器提取并增强该时间范围内对象的初级定向边缘特征,使网络更容易学习到有效特征,提高网络的特征提取能力和分类性能。与未采用 Gabor 滤波器特征增强算法的仿生分层脉冲神经网络在基准事件流数据集上的实验结果对比分析表明,该算法可以更加充分地提取事件流的特征并提高网络分类性能。1 事件流特征增强算法原理及系统结构本文提出的基于 Gabor 滤波器事件流特征增强的事件相机对象分类系统主体框架如图 1 所示,该系统由基于 Gabor 滤波器事件流特征增强算法和基于奖励调节 STDP 规则的脉冲神经网络组成。图 1 事件流特征增强的事件相机对象识别系统的整体结构1.1 基于 Gabor 滤波器事件流特征增强算法1.1.1 事件流时间窗口划分事件流由对象运动引起,对象的运动使不同像素位置和时刻产生多个事件。如果某个时间范围内产生大量事件,说明该时间范围内的事件与对象当前运动关联较强,则该时间范围内产生的事件信息可以作为该对象的特征。为分析每个时间范围内产生的事件与对象的关联程度,本文将原始事件流以固定时间间隔划分为若干事件流片段。时间长度为 T 的原始事件流按照时间窗口间隔 t 平均划分后,原始事件流被划分为T/t个事件流片段。每个时间窗口内的事件数量可代表该时间范围内事件流与对象特征的关联程度。1.1.2 事件数量阈值设置原始事件流按照固定时间窗口划分为若干事件流片段后,统计每个时间窗口内事件数量,若事件数量大于阈值,则认为该时间窗口产生的事件与对象特征有较强关联,因此利用该时间窗口的事件流片段进77 仪 表 技 术 与 传 感 器第 4 期行特征增强。本文设置所有时间窗口内事件数量的平均值作为时间窗口事件数量阈值,若某时间窗口内事件数量大于平均值,则利用该时间窗口内的所有事件进行特征增强。事件数量阈值计算公式如下:Eth=Nn=1EnN(1)式中:En为第 n 个时间窗口内事件数量;N 为原始事件流划分后的时间窗口数量。1.1.3 结合特征增强的事件驱动卷积原始事件流数据按照固定时间窗口划分后,基于Gabor 滤波器特征增强的事件驱动卷积提取事件流初级定向边缘特征。Gabor 滤波器可模拟初级视觉皮层简单细胞的感受野对特定方向的特征作出明显响应,广泛应用于图像边缘检测、纹理识别等领域10-11。本文中原始 Gabor 滤波器卷积核参数设置与 Zhou 等12采用的方法相同。用于特征增强的 Gabor 滤波器参数在原始 Gabor 滤波器参数上分别乘以大于 1 的特征增强系数。本文提出的基于 Gabor 滤波器事件流特征增强的事件驱动卷积具体过程为:将 S1 层特征图的初始响应值设置为 0,当输入事件 ei=(ti,xi,yi)时,若该事件所属的时间窗口内事件数量 En大于阈值 Eth,则将特征增强 Gabor 滤波器覆盖到特征图上该事件对应的像素位置(xi,yi)进行事件驱动卷积,增强该时间窗口的事件特征。若小于阈值 Eth,则使用原始 Gabor 滤波器进行事件驱动卷积,提取初级定向边缘特征。参考脉冲神经元的电流泄漏机制,在这里采用了遗忘机制来消除旧的事件对当前事件响应图的影响6。1.2 基于 Gabor 滤波器事件流特征增强算法和奖励调节 STDP 规则的仿生分层脉冲神经网络1.2.1 事件驱动卷积层(S1 层)网络 S1 层基于 Gabor 滤波器事件流特征增强算法,通过事件驱动卷积提取事件流初级定向边缘特征,并根据时间窗口内事件与刺激(运动)关联程度对特征增强。处理完原始事件流后,得到包含事件流数据空间信息的二维特征图。由于以无帧方式逐事件处理事件流,因此可保持事件相机输出事件流的高时间分辨率。为将 S1 层提取的初级特征输入至脉冲神经网络后续层进一步特征提取和分类,使用强度到延迟的编码方案13将 S1 层的特征值编码为脉冲时间。1.2.2 池化层(C1 层)网络 C1 层接收 S1 层编码后的脉冲时间,并采用时域赢者通吃机制执行局部池化操作。每个池化窗口只输出该窗口接收到的最早脉冲,此脉冲时间即为该 C1 层神经元的放电时间。该脉冲代表了该池化窗口接收到的最显著特征,从而保证最显著的特征最先被传播。1.2.3 奖励调节 STDP 卷积层(S2 层)网络 C1 层神经元发放的脉冲输入至 S2 层,并采用奖励调节 STDP 规则提取更复杂的特征。每个 S2层神经元接收同一卷积窗口内 C1 层所有神经元的放电脉冲。研究表明,由多巴胺等神经调节剂参与的奖励系统在大脑学习、决策方面具有调节作用14。M.Moza-fari 等15提出的奖励调节 STDP 规则通过网络分类结果正确与否,利用奖励或者惩罚信号帮助调节神经元之间权值,使网络学习具有诊断性的特征。本文使用奖励调节 STDP 规则更新 S2 层神经元的突触权值。突触权值的修改不仅取决于突触前和突触后神经元的脉冲时间,还取决于决策层反馈的奖励(惩罚)信号,S2 层输入突触权值的修正计算如下:Wij=(a+r+a-p)Wij(1-Wij),tjti(a-r+a+p)Wij(1-Wij),tjti(2)式中:Wij为 C1 层第 j 个突触前神经元到 S2 层第 i 个突触后神经元的突触权值;tj和 ti分别为该突触的突触前神经元和突触后神经元的放电时间;,为 2 个控制因子;a+r,a-r,a+p,a-p为奖励调节 STDP 规则的学习率。如果网络正确识别样本,则反馈奖励信号,=1和=0。采用 Hebbian 形式的 STDP 规则修改突触权值,减少网络输出的可变性,能够使网络快速学习到输入样本的特征。如果网络错误识别样本,则反馈惩罚信号,=0 和=1。采用 anti-Hebbian 形式的 STDP规则修改突触权值16,增加网络输出的可变性,促使网络探索能够导致奖励信号的特征。1.2.4 决策层(C2 层)网络 C2 层执行全局最大池化操作并进行网络决策。每个 C2 层神经元只接收从 S2 层对应神经元发出的第 1 个脉冲。C2 层根据 S2 层神经元发出的最早的脉冲信号决策,网络对输入样本类别的决策被定义为在该层最早放电的神经元所在组的标签。如果网络的决策是正确的(不正确的),网络将获得奖励(惩罚)信号,该信号用于调节 R-STDP 卷积层输入突触权值。87 第 4 期周茜等:基于 Gabor 滤波器的事件流特征增强及事件相机对象识别 2 实验设置及结果2.1 实验设置本文使用 MNIST-DVS 数据集17评估所提出的基于Gabor 滤波器事件流特征增强算法的性能。实验使用10 000 个事件流样本,每个样本空间分辨率为 28 pixel28 pixel。实验中使用 90%样本训练,其余 10%样本用于测试。实验重复 9 次获得平均分类性能。2.2 实验结果及分析2.2.1 不同特征增强系数下网络分类性能对比本节分析了特征增强系数对网络的分类性能的影响。实验中使用不同特征增强系数的特征增强 Gabor滤波器增强事件流初级定向边缘特征。表1 显示了本文算法在的事件流片段输入下,系统在不同的特征增强系数下(1.0,1.2,1.5,3.0,6.0 和 10.0)的分类性能,其中,增强系数为 1 代表未采用 Gabor 滤波器特征增强的对比算法。表 1 本文算法在不同特征增强系数的 MNIST-DVS数据集样本时的分类性能特征增强系数网络分类精度/%1.087.71.288.91.589.03.088.56.088.310.088.4 由表 1 可知在不同特征增强系数下,本文提出的基于 Gabor 滤波器事件流特征增强算法的分类精度均优于对比算法。当特征增强系数为 1.5 时,网络取得了 89.0%的分类精度,比未使用基于 Gabor 滤波器事件流特征增强算法的网络的精度提高了 1.3%。表明在相同时间长度的事件流片段输入下,本文提出的基于 Gabor 滤波器事件流特征增强算法能有效提高网络的特征学习能力和分类性能。2.2.2 不同事件流长度下网络分类性能对比本节分析了输入事件流的时间长度对基于 Gabor滤波器事件流特征增强算法分类性能的影响,实验中分别使用 MNIST-DVS 数据集的全长以及不同时间长度的事件流样本片段作为网络输入。表2 显示了本文算法在特征增强系数为 1.5 的基于 Gabor 滤波器特征增强算法和对比算法在不同的输入事件流时间长度时(100 ms,200 ms,500 ms 和全时长约 2 s)的分类性能。表 2 本文算法与对比算法在不同时间长度的 MNIST-DVS 数据集样本时的分类性能%模型分类性能100 ms200 ms500 ms全时长对比算法87.790.792.792.9本文89.091.392.893.4由表 2 可知在不同的输入事件流时间长度下,本文提出的基于 Gabor 滤波器事件流特征增强算法的分类精度均优于对比算法。当使用样本的前 100 ms 的事件流片段作为网络输入时,本文提出的网络取得了89.0%的分类精度,比对比算法的网络分类精度提高了 1.3%。表明在较短事件流片段作为输入的情况下,本文提出的基于 Gabor 滤波器事件流特征增强算法能有效提高网络的特征学习能力和分类性能。总体而言,每种算法的分类精度都随着输入事件流时间长度的增长而上升,这是因为事件流时间长度越长,输入的事件越多,供网络学习的特征也越丰富。实验结果表明提出的基于 Gabor 滤波器事件流特征增强算法能在较短的事件流数据输入下保持良好的特征学习能力,且能进一步提升网络对不同时间长度事件流的特征学习能力和分类性能。3 结束语本文针对现有基于 Gabor 滤波器事件驱动卷积算法在事件相机对象识别中特征提取不充分的问题提出了一种基于 Gabor 滤波器事件流特征增强算法。通过基于 Gabor 滤波器事件流特征增强算法和未采用特征增强的算法进行对比实验,分析了本文提出的算法的特征提取能力以及分类性能。由实验结果可知,本文提出的基于 Gabor 滤波器事件流特征增强算法对比现有基于传统 Gabor 滤波器事件驱动卷积的脉冲神经网络能够提升事件相机对象的特征提取能力以及网络分类性能;对于较短的输入事件流仍具有良好分类性能。参考文献:1 GALLEGO G,DELBRCK T,ORCHARD G,et al.Event-based vision:a surveyJ.IEEE Transactions on Pattern Analysis and Machine Intelligence,2020,44(1):154-180.2 CHEN G,HONG L,DONG J,et al.EDDD:Event-based drowsiness driving detection through facial motion analysis with neuromorphic vision sensorJ.IEEE Sens J,2020,20(11):6170-6181.3 LEE C,KOSTA A K,ZHU A Z,et al.Spike-flownet:event-based optical flow estimation with energy-efficient hybrid neural networksC.S.L.:2020 European Conference 97 仪 表 技 术 与 传 感 器第 4 期on Computer Vision(ECCV),2020:366-382.4 GLOVER A,VASCO V,BARTOLOZZI C.A controlled-delay event camera framework for on-line roboticsC.S.L.:2018 IEEE International Conference on Robotics and Auto-mation(ICRA),2018:2178-2183.5CHEN G,CAO H,CONRADT J,et al.Event-based neuro-morphic vision for autonomous driving:a paradigm shift for bio-inspired visual sensing and perceptionJ.IEEE Signal Process Mag,2020,37(4):34-49.6 ZHAO B,DING R,CHEN S,et al.Feedforward categoriza-tion on AER motion events using cortex-like features in a spiking neural networkJ.IEEE Trans Neural Netw Learn Syst,2014,26(9):1963-1978.7 XIAO R,TANG H,MA Y,et al.An event-driven categoriza-tion model for aer image sensors using multispike encoding and learning J.IEEE Trans Neural Netw Learn Syst,2019,31(9):3649-3657.8LIU Q,PAN G,RUAN H,et al.Unsupervised AER object recognition based on multiscale spatio-temporal features and spiking neuronsJ.IEEE Trans Neural Netw Learn Syst,2020,31(12):5300-5311.9 ORCHARD G,MEYER C,ETIENNE-CUMMINGS R,et al.HFirst:A temporal approach to object recognitionJ.IEEE Trans Pattern Anal Mach Intell,2015,37(10):2028-2040.10 VEMURU K V.Image edge detector with gabor type filters using a spiking neural network of biologically inspired neu-ronsJ.Algorithms,2020,13(7):165.11 姜乐兵,宋飞虎,裴永胜,等.基于 PSO-Gabor 特征增强的钢板表面缺陷识别研究J.仪表技术与传感器,2022(8):115-121.12ZHOU Q,LI X.A bio-inspired hierarchical spiking neural network with reward-modulated stdp learning rule for aer object recognition J.IEEE Sensors Journal,2022,22(16):16323-16338.13PANZERI S,BRUNEL N,LOGOTHETIS N K,et al.Sensory neural codes using multiplexed temporal scalesJ.Trends Neurosci,2010,33(3):111-120.14 ZUZANNA B,SARA Z,WOLFRAM S,et al.Sequential neuromodulation of Hebbian plasticity offers mechanism for effective reward-based navigation.J.eLife,2017,6:e27756.15 MOZAFARI M,KHERADPISHEH S R,MASQUELIER T,et al.First-spike-based visual categorization using reward-modulated STDPJ.IEEE Trans Neural Netw Learn Syst,2018,29(12):6178-6190.16 CAPORALE N,DAN Y.Spike timing-dependent plasticity:a Hebbian learning ruleJ.Annu Rev Neurosci.,2008,31:25-46.17 SERRANO-GOTARREDONA T,LINARES-BARRANCO B.Poker-DVS and MNIST-DVS.Their history,how they were made,and other detailsJ.Frontiers in Neuroscience,2015,9:481.作者简介:周茜(1984),副教授,博士,主要研究方向为智能计算与神经工程,脉冲神经网络算法及应用。E-mail:qzhou 郑鹏(1998),硕士研究生,主要研究方向为脉冲神经网络算法及应用。E-mail:zhengpeng_(上接第 75 页)11 BARANIUK R G,CANDES E,NOWAK R,et al.Compressive sampling from the guest editors J.IEEE Signal Processing Magazine,2008,25(2):12-13.12 陈敏鑫,刘石,孙单勋,等.基于主成分分析的温度布重建优化算法J.仪表技术与传感器,2021(3):102-105.13 LI X,LI X,JIANG W,et al.Optimising thermal sensor place-ment and thermal maps reconstruction for microprocessors using simulated annealing algorithm based on PCAJ.IET Circuits,Devices&Systems,2016,10(6):463-472.14 CARLSON T E,HEIRMAN W,EECKHOUT L.Sniper:Ex-ploring the level of abstraction for scalable and accurate parallel multi-core simulationC.Proceedings of 2011 In-ternational Conference for High Performance Computing,Networking,Storage and Analysis,2011:1-12.15 LI S,AHN J H,STRONG R D,et al.McPAT:An integrated power,area,and timing modeling framework for multicore and manycore architecturesC.Proceedings of the 42nd annual ieee/acm international symposium on microarchitec-ture,2009:469-480.16 HUANG W,GHOSH S,VELUSAMY S,et al.HotSpot:A compact thermal modeling methodology for early-stage VLSI designJ.IEEE Transactions on Very Large Scale Integra-tion(VLSI)Systems,2006,14(5):501-513.作者简介:黄俊瑜(1998),硕士研究生,主要研究领域为多核处理器的温度重建。E-mail:通信作者:李文昌(1974),研究员,博士,主要研究方向为高可靠性数模混合集成电路技术。E-mail:08