基于生成式对抗网络的自监督多元时间序列异常检测方法.pdf

NATURASCIENCEMar.,20232023年3月JOURNALOFNANJINGUNIVERSITYVol.59,No.2第2 期第5 9 卷南京大学学报（自然科学）DOI:10.13232/ki.jnju.2023.02.008基于生成式对抗网络的自监督多元时间序列异常检测方法周业瀚1.2，沈子钰1.2，周清1.2，李云1，2*（1.南京邮电大学计算机学院，南京，2 10 0 2 3；2.江苏省大数据安全与智能处理重点实验室，南京，2 10 0 2 3）摘要：异常检测是数据挖掘的重要研究方向之一，工业设备的各项指标以多元时间序列的形式被传感器监测，多元时间序列的异常检测对保障安全和提高服务质量至关重要，但是异常的定义相对模糊，具有异常标签的数据很稀少.此外，多元时间序列具有复杂的时间依赖性和随机性，使异常检测存在许多问题。提出CPCGAN模型，使用自监督学习的方法对多元时序数据进行异常检测.首先使用对比学习的方法得到多元时序数据的表示向量，再将具有先验信息的表示向量作为输入用来训练生成式对抗网络，通过生成式对抗网络的重构误差来确定异常.在五个数据集上与五种无监督异常检测方法进行对比，实验结果证明提出的方法能有效地检测两类异常，并且，在大多数数据集上的表现更好。关键词：异常检测，多元时间序列，自监督学习，对比学习，生成式对抗网络中图分类号：TP391文献标志码：ASelf-supervised multivariate time series anomaly detection based on GANZhou Yehan-2,Shen Ziyul-2,Zhou Qingl-2,Li Yun.2*(1.College of Computer Science,Nanjing University of Posts and Telecommunications,Nanjing,210023,China;2.Jiangsu Key Laboratory of Big Data Security&.Intelligent Processing,Nanjing,210023,China)Abstract:Anomaly detection is one of the important research directions of data mining.The indicators of industrial devicesare monitored by sensors in the form of multivariate time series.Anomaly detection of multivariate time series is critical forsecurity and improving service quality.However,the definition of anomalies is relatively vague and the data with anomalouslabels is rare.Also,multivariate time series have complex time dependence and stochasticity which makes anomaly detectionmany issues to be settled.In this paper,we propose CPCGAN,a self-supervised learning method,to perform anomalydetection on multivariate time series data.Our main idea is to obtain the representation vector of multivariate time series databy using the contrastive learning method.We use the representation vector with prior information as input when training thegenerative adversarial network.The reconstruction error of the generative adversarial network is used to determine anomalies.We compare our method with five unsupervised anomaly detection methods on five datasets.Experimental results show thatour method is effective at detecting both types of anomalies and performs better on most datasets compared with othermethods.Key words:anomaly detection,multivariate time series,self-supervised learning,contrastive learning,Generative AdversarialNetwork异常检测是时间序列分析中的重要研究方向之一，旨在发掘时间序列中某一时间点或时间段基金项目：江苏省研究生科研创新计划（KYCX_0760）收稿日期：2 0 2 2 一0 7-18*通讯联系人,E-mail:的异常.传感器采集的多元时间序列数据充分反映了系统的运行状态，所以对采集的多元时间序257第2 期周业瀚等：基于生成式对抗网络的自监督多元时间序列异常检测方法列数据异常的检测可以及时察觉系统的非正常行为，对已发生的故障进行定位和分析，具有重要的现实意义.异常检测有广泛的应用，例如网络流量异常检测、心电图分析 1、信用卡欺诈检测 2 和数据中心的监测等.时间序列异常分两种：点异常和段异常.在某个时间点数据达到一个不正常的值,称为点异常；段异常是指在一个连续时间序列段中,虽然有许多时间点的数据是正常的，但整体时序数据段存在异常.许多基于阈值选择的统计学方法对数据点进行假设检验，以此来检测异常点，但这些方法无法处理复杂的多元时序数据，并且这些方法的统计特征经常是未知的或者变动性很大。由于对多元时序数据集进行专家标记的成本很高，因此含有异常标签的数据集很稀少，很多研究开始使用无监督的机器学习方法来解决异常检测问题.常见的方法是将时间序列划分为定长的子序列，使用聚类方法来找到离群点；或通过建模来预测或重构时间序列，计算预测值或重构值与真实值的误差，将过高的预测误差与重构误差作为检测异常的依据。但还有些问题没有很好地解决，例如，在时间序列具有时间依赖性和随机性的前提下如何学习健壮的特征表示、没有比较好的方法对不同类型的异常进行检测等。本文的主要贡献：（1)提出一种基于自监督学习的异常检测模型CPCGAN，通过重构多元时序数据，分析与原始数据的误差来判断是否存在异常。（2）针对多元时序数据缺少异常值标签的情况，将基于自监督的对比学习方法用于时序数据的预训练，提取具有鲁棒性的数据表示。1相关工作传统的异常检测方法是基于统计过程控制(Statistical Process Control)的,如 CUSUM,EW-MA和萧华特管制图 3 等，然而，使用统计量来寻找异常点的做法难以处理多元时间序列这种复杂的数据.随着数据量的快速增加，许多基于机器学习的研究相继展开，由于带有异常值标签的时序数据很难得到，人工打标签成本高昂，因此无监督学习的异常检测方法吸引了很多学者。当前，无监督机器学习异常检测主要分为基于预测的方法和基于重构的方法.Hundman etal4使用 LSTM(Long Short-Term Memory)5对多元时序数据进行预测，针对预测误差进行异常检测.Lietal6)使用原始GAN（G e n e r a t i v e A d-versarialNetworks）模型拟合多元时序数据分布，通过重构时序数据误差和判别器来检测异常，Geigeretal7提出TadGAN模型，通过训练生成器来重构时序数据，并使用评价器来计算异常得分.Suetal8使用变分自动编码器和平面标准化流来学习多元时序数据的鲁棒性表征，并重构数据概率分布来进行异常检测。本文提出基于自监督学习的GAN模型，将异常检测分为两阶段：在预训练阶段，使用对比学习的方法对多元时序数据进行表示学习；使用预训练模型输出的具有先验信息的表示向量作为GAN的输人来进行训练，使用重构误差来检测异常数据.这样的训练方法首先解决了数据标签难以获取的问题，其次，可以通过微调模型在不同目标任务上获得更好的效果。2多元时序数据的表示学习2.1多元时间序列定义多元时间序列可以定义为X=（1,2,其中N为时间序列长度，,ER为t(tN)时间点的一个M维变量.,=cl,M，因此多元时间序列XERMXN可以看作是由M个互相关联的一维时间序列组成2.2对多元时序数据进行对比预测编码马对比预测编码 9 可以对高维度的数据进行特征提取，是自监督学习中的一个通用方法，而针对时序数据，需要考虑其时间依赖性等特点.对比预测编码的总体结构如图1所示首先，一段多元时序数据al-n:i+m(n,m0)通过非线性编码器gene被映射为潜在表示Z=genc（X).考虑时序数据的时间依赖性，选定时间点t,将t时刻及之前的潜在向量,作为输入，将其输入自回归模型gar，产生一个具有t时刻之前时间点信息的潜在表示c,=ga（）).为了使得到的表示变量具有上下文信息，需要考虑未来第258第5 9 卷南京大学学报（自然科学）Ct9ar9ar9ar9ar口口1ZtZt+1Zt+2Zt+3Zt+4gencgencgenc9enc9enc9encgencgencXt-3Xt-2Xt-1XtXt+1Xt+2Xt+3Xt+4图1对比预测编码Fig.1Contrastive predicting codingk个时间点的数据，使c,与t+之间的互信息I(;c)=Zp(a,c)lg最大化此时令p()Cp(Ct+klf(ai+k,c.)o由于难以直接对高维数p(ai+k)据,的概率分布建模，因此使用自动编码器和双线性模型来计算fi(t+k,c)=exp(zt+WTc).其中，WTc,表示未来第k步时对c,的线性变换，将c变换成与之相同的维度。使用噪声对比估计（NoiseContrastiveEsti-mation,NCE)10-12和重要性采样 13 来比较目标值和随机采样得到的负值，训练编码器gene和自回归模型gar来优化基于NCE的InfoNCE9损失.定义损失为：LN=-Ex1g(j,C定义一个批量的N个时序数据Xbatch=X(1),X(2),X(N),随机选择一个时间点t,对其中某一条时序数据X()=1,2,)进行编码后得到的c，这条数据t时刻后k个时间点的数据i+符合概率分布p(t+k,c),与c,关联度高,将其作为正样本.同一批量剩余的N一1条数据t时刻后k个时间点的数据服从概率分布p(t+k),与c,关联度低，将其作为负样本。3生成式对抗网络（GAN)GAN通过对抗过程训练生成模型的架构 14架构包括两部分：一个生成器G学习真实数据分布，并模拟真实数据来生成可以欺骗判别器的假样本；一个判别器D判别当前数据的真伪,并输出当前为真实数据的概率，两个模型同时进行训练，其结构如图2 所示。realXSampletrainfake/realprobabilityRandomSampleNoiseZfake图2生成式对抗网络(GAN)Fig.2Generative Adversarial Network(GAN)普通的GAN模型会遭遇模式塌的问题.模式塌指生成器始终生成固定少量种类的、甚至是同样的假样本，这些样本可以很好地欺骗判别器，结果是无论模型输入什么，判别器都不能促进生成器学习到有用的变量信息，生成器始终无法学习到样本的真实分布.在拟合数据分布时，WGANL15I通过将KL散度或JS散度替换为Wasserstein距离来解决模式塌的问题.KL散度和JS散度衡量两个概率分布之间的相似程度，而Wasserstein距离衡量的是将该分布的函数图形调整为待拟合的分布时产生的最低消耗.GAN模型的Wasserstein距离损失定义为：w(P,P,)=sp E-(r)-E-(a)其中，P,是真实样本分布，P。是生成器产生的样本分布.最小上界覆盖所有的K-lipschitz函数，这里将K设为1,因此总体优化目标为：max Erp,fu()-ErP,fu(g()wEW其中,f()为生成器,g()为判别器.判别器损失为Erp,f（)-ErP,（),生成器损失为-Erp,(g()GAN模型的输人为随机高斯噪声,通过对之的编码和对抗训练来使生成器生成近似真实样本的假样本，本研究为了避免模式塌问题，选择WGAN模型，将上游模型输出的具有先验信息的表示向量作为GAN模型的输入，这样不仅可以有效地包含时序数据的时序特征和上下文信息，而且在训练时可以加速模型收敛259第2 期周业瀚等：基于生成式对抗网络的自监督多元时间序列异常检测方法4模型结构与异常检测算法4.1模型总体结构模型的总体结构如图3所示.模型分两部分：第一部分是基于对比学习提取时序特征；第二部分是训练生成式对抗网络，计算异常得分.TrainingdataDatapreWGANmodelCPC pre-trainTestprocessingtrainingdataMultivariatetimeseriesdataCPCmodelWGANComparedwithmodelthresholdLatentspaceAnomalyAnomalyAnomalymappingscoredetectionresultThreshold图3CPCGAN的总体结构Fig.3The overall structure of CPCGAN4.2多元时间序列异常检测算法设置一个长度为W的滑动窗口，按步长为1滑动取值，将原始数据集Xi.=1,2,),ERM划分为N一W十1个长度为W的时间序列子数据段(a1:w,22:w+1,aN-W+1.),记为 X=X(1),X(2),.,X(N-W+1),X()ERMxW.将滑动取值后的数据段作为算法的输人：通过自监督方法预训练对比预测编码模型。将原始多元时序数据m:m+w通过编码器变换为隐空间表示向量 m+选取一个随机时间点tE(m,m十w),将 mn+w作为输人，使用自回归模型，计算包含时间依赖性特征的上下文向量c，然后计算InfoNCE损失，更新模型参数.具体如算法1所示.算法1对比预测编码预训练输入：时间序列子数据段X=x(),x(2),.,X(-+1),batch=n,预测步长time_steps=K;输出：训练完成的对比预测编码模型ContrastivePredictingCoding()1.While has not converged do2.Sample(x()a batch from input data=13.Z=gene(X)4.Choose a random time step t5.C,=ga(Z.)6.InfoNCELoss(z:+k,c.)=一E1gm7.f-V。=InfoNCELoss(z(),C(i)mi=18.0+-0-Adam(o,fo)9.endwhile将对比预测编码输出的表示向量作为下游任务的输入来训练GAN模型，得到输人序列的重构误差序列（a,i=1,2,，W),将其作为得分.具体如算法2 所示，算法2多元时序数据异常检测算法输入：时间序列子数据段X=x(1),X(2),X(N+1)判别器训练次数neritic，参数截断常数c;输出：重构误差序列Ascore=a,i=1,2,W1.While has not converged do2.fort=O,.,neriedo3.Sample(x()-,P,a batch from the real da-一1ta.4.Z=ContrastivePredictingCoding(X)5.(（)m2.(g:(20)gwmm6.w-w+RMSProp(w,gw)7.wclip(w,-c,c)8.end for9.82(g.(20)10.00-RMSProp(0,go)1l.end while12.X=(x()13.fori=0,.,mdo260第5 9 卷南京大学学报（自然科学）14.X()=g(x(0)15.Ascore=ConstractiveError(x(,X(0)16.end for5实验及结果5.1实验数据集使用五个公开数据集作为实验数据，数据集的概况描述如表1所示.表1家实验使用的数据集Table 1Datasets used in experiments训练集样测试集样时序数据异常点数据集本数本数维度占比SWaT4968004499195111.98%WADI10485711728011235.99%SMD708405.70842028X384.16%SMAP13518342761755X2513.13%MSL583177372927X5510.72%安全水处理(SWaT)数据集是生产过滤水的真实工业水处理厂数据的缩小版本，包括连续运行11天采集的数据 16 ,其中正常操作下采集七天，系统异常场景下采集四天.水分配（WADI)数据集是从WADI测试平台收集的，WADI测试平台是SWaTtesbed的扩展 16 ，包括16 天连续运行的数据，其中正常操作下采集14天，系统异常场景下采集两天。服务器数据集（SMD)是一个持续时长为五周的由一家大型互联网公司收集并公开 8 的数据集，包含2 8 台服务器的数据，每台服务器反映运行状态的33个监测指标都受到监控.SMD分为两个大小相等的子集，前半部分是训练集，后半部分是测试集.土壤水分观测数据集（SMAP）、卫星和火星科学实验室（MSL）火星车数据集是两个现实世界的公共数据集 4,由NASA专家标注数据标签，分别包含5 5/2 7 个实体的数据，每个实体含有2 5/55个监测指标.5.2评价指标选择精确度(Precision,P）、召回率(Recall,R)和F1得分来评估异常检测的效果：TPP=TP+FPTPR=TP+FNPXRF1=2 P+R其中，TP表示真正例,FP表示假正例,FN表示假负例.训练集采用不含异常点的正常数据进行自监督学习；由于需要对比算法效果，验证集采用含有异常点标签的测试集，由于测试集的标签体现的是某个时间点是否异常，因此在判断段异常的场景下要对测试集标签进行一定的改动，若输人序列中异常点个数占比超过某个阈值，则将这个时间段标签设为异常：首先对输人的时序数据XT=,+1，,进行重构，计算每个点的重构误差作为异常点得分 seg,i=1,2,Tt+1);然后,计算重构误差序列的Z分数，偏离序列平均值2.5 个标准差的数据作为异常点。对于段异常检测，需要考虑输人的整段时间序列是否异常，设定默认阈值为0.2,若输序列中异常点个数占比超过阈值，则认为是段异常。5.3实实验结果设置一个长度为w=20的滑动窗口，按步长为1来滑动取值，将原始数据集X1.N一(1,2,),a,ERM划分为N-W+1个时序数据段1:w,2:+1,N-W+1:N,将滑动取值后的数据段作为算法的输入：模型中的编码器genc选用多层线性模型与卷积神经网络的混合模型，本文使用网格搜索法对超参数进行选择，最终设置隐空间变量维度为36.自回归模型gar采用双层GRUL17模型，GAN使用双层LSTM模型,其中判别器更新次数为nertic=5,batch=64,学习率=0.00005.为了验证CPCGAN对异常点检测的总体表现，选取五种无监督异常检测方法进行多元时序数据异常检测，分别是Autoencoders（A E）,M A D-GAN,LSTM-VAE18,DAGMM和TadGAN7各算法在所选数据集上的具体表现如表2 所示，表中黑体字表示结果最优。由于在建模时考虑了时序数据的时间依赖性,MAD-GAN,LSTM-VAE,TadGAN和CPC-GAN模型在分类精确度和F1得分上比较有优势.五个数据集中，CPCGAN在四个数据集上的261第2 期周业瀚等：基于生成式对抗网络的自监督多元时间序列异常检测方法表2CPCGAN与其他五种对比方法异常点检测的评价指标情况Table2Performanceof CPCGAN and five baseline approaches on anomalous points detectionSWaTWADISMDSMAPMSLPRF1PRF1PRF1PRF1PRF1AE0.93240.57340.7101 0.30740.1790.22620.56840.78940.66090.5633 0.62230.59150.5710.66410.614MAD-GAN0.95850.61660.75040.98420.13510.23750.87220.80750.83860.71060.95210.81380.84570.95460.8968LSTM-VAE0.96550.62180.75640.98450.13340.23490.85920.80120.82910.70560.97520.81870.86010.96630.9101DAGMM0.45760.6710.54410.0851 0.91170.15560.65730.85490.74310.62340.97760.76130.74670.98170.8482TadGAN0.9525 0.64810.77130.95610.12460.22040.91410.93620.9250.74130.98670.84650.90520.89320.8991CPCGAN0.98150.6610.78990.9910.13160.23230.95110.94840.94970.75810.98220.85570.8820.96860.9232精确度都是最高，F1得分在其中四个数据集上也是最高，对CPC自监督学习模块进行消融实验，将其替换为一般的LSTM模型，使用CPCGAN模型在相同数据集上进行自监督学习模块的有效性验证.去除自监督模块的算法在所选数据集上的表现如表3所示，表中黑体字表示结果最优，“with”表示模型包含CPC模块，“without表示去掉CPC模块.由表可见，在所选的五个数据集上，将对比自监督模块去除后，模型的性能指标有明显下降.表3包含（不包含）自监督模块的CPCGAN模型评价指标情况Table3Performance of CPCGAN with and without self-supervised moduleSWaTWADISMDSMAPMSLPRF1PRF1PRF1PRF1PRF1CPCGAN(with)0.98150.6610.78990.9910.13160.23230.95110.94840.94970.75810.9822 0.85570.8820.96860.9232CPCGAN(without)0.8420.59120.70140.8710.14160.19920.88330.90260.8370.65180.88720.7850.79660.9181 0.8395对于SWaT和WADI数据集，由于采集场景的原因，异常状态持续时间较长且多在连续时间点发生异常，因此需要对原始数据集的标签进行预处理，并针对异常段的检测效果进行实验，五个对比算法和CPCGAN的评价指标如表4所示，表中黑体字表示结果最优。由表可见，在一定场景下,CPCGAN对于段异常也能有效检测.在标表4CPCGAN与其他五种对比方法异常段检测的评价指标情况Table41Performance of CPCGAN and five baselineapproaches on anomalous segment detectionSWaT(segment)WADI(segment)PRF1PRF1AE0.75130.73340.74220.54230.57370.5575MAD-GAN0.72250.68660.70400.60220.67140.6349LSTM-VAE0.74680.7918 0.76860.76210.70010.7297DAGMM0.62210.75100.68050.63660.87820.7381TadGAN0.73920.85810.79420.7782 0.70750.7411CPCGAN0.81420.80100.80750.76910.78270.7758签处理后的SWaT和WADI数据集上，CPCGAN取得了最高的F1得分和较高的精确度.6结论本文提出一种基于自监督学习和生成式对抗网络的架构CPCGAN，针对多元时间序列数据进行异常检测，基于重构误差探究了该架构应用于异常点和异常段两种不同类型的异常检测上的表现.未来的工作包括：（1)深人对异常的可解释性研究，对异常发生的原因进行分析；（2)探究多种场景下更多的异常种类；（3）研究更合适的阈值选择方法，如自动调整阈值使模型的健壮性更强.参考文献1Jiang B C,Yang W H,Yang C Y.An SPC-basedforward-backward algorithm for arrhythmic beatdetection and classification.Industrial Engineering&Management Systems,2013,12(4):380-388.2Beutel A,Faloutsos C.User behavior modeling and杨可盛262第5 9 卷南京大学学报（自然科学）fraud detection.IEEE Intelligent Systems,2016,31(2):84-86.3Sun B,Luh P B,Jia Q S,et al.Building energydoctors:An SPC and Kalman filter-based method forsystem-level fault detection in HVAC systems.IEEE Transactions on Automation Science andEngineering,2014,11(1):215-229.4Hundman K,Constantinou V,Laporte C,et al.Detecting spacecraft anomalies using LSTMs andnonparametric dynamic thresholding/Proceedings ofthe 24th ACM SIGKDD International Conference onKnowledge Discovery&Data Mining.London,UK:ACM,2018:387-395.5Hochreiter S,Schmidhuber J.Long short-termmemory.Neural Computation,1997,9(8):1735-1780.6Li D,Chen D C,Jin B L,et al.Mad-GAN:Multivariate anomaly detection for time series datawithgenerativeadversarial1networks/The28thInternationalConferenceonArtificialNeuralNetworks.SpringerBerlinHeidelberg,2019:703-716.7Geiger A,Liu D Y,Alnegheimish S,et al.TadGAN:Time series anomaly detection using generativeadversarialnetworks/2020IEEEInternationalConference on Big Data.Atlanta,GA,USA:IEEE,2020:3343,DOI:10.1109/BigData50022.2020.9378139.8 Su Y,Zhao Y J,Niu C H,et al.Robust anomalydetection for multivariate time series throughstochastic recurrent neural network/Proceedings ofthe 25th ACM SIGKDD International Conference onKnowledge Discovery&.Data Mining.Anchorage,AK,USA:ACM,2019:2828-2837.9Van Den Oord A,Li Y Z,Vinyals O.Representationlearning with contrastive Predictive coding.2018,arXiv:1807.03748.1o Gutmann M,Hyvarinen A.Noise-contrastiveestimation:Anewestimationprincipleforunnormalized statistical models/Proceedings of the13thInternationalConferenceonArtificialIntelligence and Statistics.Chia Laguna Resort,Sardinia:JMLR.org,2010:297-304.11 Mnih A,Teh Y W.A fast and simple algorithm fortraining neural probabilistic language models/Proceedings of the 29h International Coference onInternational Conference on Machine Learning.Edinburgh,Scotland:Omnipress,2012:419-426.12 Jozefowicz R,Vinyals O,Schuster M,et al.Exploring the limits of language modeling.2016,arXiv:1602.02410.13 Bengio Y,Senecal Y S.Adaptive importancesamplingtoaccelerateetrainingof aneuralprobabilistic language model.IEEE Transactions onNeural Networks,2008,19(4):713-722.14 Goodfellow I J,Pouget-Abadie J,Mirza M,et al.Generative adversarial nets/Proceedings of the 27hInternational Conference on Neural InformationProcessing Systems.Montreal,Canada:MIT Press,2014:26722680.15 Arjovsky M,Chintala S,Bottou L.Wassersteingenerative adversarial networks/Proceedings of the34h International Conference on Machine Learning.Sydney,Australia:JMLR.org,2017:214-223.16 Mathur A P,Tippenhauer N O.SWaT:A watertreatment testbed for research and training on ICSsecurity/2016 International Workshop on Cyber-physical Systems for Smart Water Networks.Vienna,Austria:IEEE,2016:31-36.17 Cho B,Van Merrienboer D,Bahdanau D,et al.Onthe properties of neural machine translation:Encoder-decoderapproaches/Proceedingsofthe8hWorkshop on Syntax,Semantics and Structure inStatistical Translation.Doha,Qatar:Association forComputational Linguistics,2014:103-111.18 Park D,Hoshi Y,Kemp C C.A multimodal anomalydetector for robot-assisted feeding using an LSTM-based variational autoencoder.IEEE Robotics andAutomation Letters,2018,3(3):15441551.19 Zong B,Song Q,Min M R,et al.Deep autoencodingGaussian mixture model for unsupervised anomalydetection/The6th International ConferenceonLearning Representations.Toulon,France:ICLR,2018:1-19.（责任编辑