图像分布外检测研究综述.pdf

分类器学习一般假设训练样本和预测样本具有独立同分布.由于该条件过强,实践中当分类器面向分布外样本时容易导致预测错误.因此,对 OOD 检测进行深入研究就显得尤为重要.文中首先介绍 OOD 检测的概念及其相关研究领域,根据网络训练方式的差异性对有监督的检测方法、半监督的检测方法、无监督的检测方法和异常值暴露的检测方法进行系统概述.然后按照关键技术从神经网络分类器、度量学习和深度生成模型三方面总结现有 OOD 检测方法.最后讨论 OOD 检测未来的研究方向.关键词摇 机器学习,深度学习,分布外(OOD)检测,图像识别引用格式摇 郭凌云,李国和,龚匡丰,薛占熬.图像分布外检测研究综述.模式识别与人工智能,2023,36(7):613-633.DOI摇 10.16451/ki.issn1003鄄6059.202307004摇 摇 摇 摇 摇 摇 中图法分类号摇 TP 391Research on Image Out鄄of鄄Distribution Detection:A ReviewGUO Lingyun1,2,3,LI Guohe1,2,GONG Kuangfeng1,2,XUE Zhan忆ao3ABSTRACT摇Classifier learning assumes that the training data and the testing data are independent andidentically distributed.Due to the overly stringent assumption,erroneous sample recognition of classifiersfor out鄄of鄄distribution examples is often caused.Therefore,thorough research on out鄄of鄄distribution(OOD)detection becomes paramount.Firstly,the definition of OOD detection and the relevant researchare introduced.A comprehensive overview of supervised detection methods,semi鄄supervised detectionmethods,unsupervised detection methods and outlier exposure detection methods is provided according tothe difference of network training methods.Then,the existing OOD detection methods are summarizedfrom the aspect of three key technologies:neural network classifiers,metric learning and deep generativemodels.Finally,research trends of OOD detection are discussed.Key words摇 Machine Learning,Deep Learning,Out鄄of鄄Distribution(OOD)Detection,Image Recogni鄄tionCitation摇 GUO L Y,LI G H,GONG K F,XUE Z A.Research on Image Out鄄of鄄Distribution Detection:A Review.Pattern Recognition and Artificial Intelligence,2023,36(7):613-633.收稿日期:2023-06-13;录用日期:2023-07-19Manuscript received June 13,2023;accepted July 19,2023克拉玛依科技计划项目(No.2020CGZH0009)、中国石油大学(北京)克拉玛依校区科研基金项目(No.RCYJ2016B-03-001)资助Supported by Karamay Science and Technology Plan Project(No.2020CGZH0009),Science Foundation of China University of Pe鄄troleum鄄Beijing at Karamay(No.RCYJ2016B-03-001)本文责任编委 兰旭光Recommended by Associate Editor LAN Xuguang1.中国石油大学(北京)信息科学与工程学院摇 北京102249分布外(Out鄄of鄄Distribution,OOD)检测是深度学习的重要研究内容之一.传统深度学习任务通常2.中国石油大学(北京)石油数据挖掘北京市重点实验室摇北京 1022493.河南师范大学 计算机与信息工程学院摇 新乡 4530071.College of Information Science and Engineering,China Uni鄄versity of Petroleum,Beijing 1022492.Beijing Key Laboratory of Petroleum Data Mining,China Uni鄄versity of Petroleum,Beijing 1022493.College of Computer and Information Engineering,Henan Nor鄄mal University,Xinxiang 453007第 36 卷摇 第 7 期模式识别与人工智能Vol.36摇 No.72023 年 7 月Pattern Recognition and Artificial IntelligenceJul.摇2023摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇 摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇假设训练样本和测试样本具有独立同分布,并在训练集上训练模型用于预测测试集样本.当训练集和测试集的独立同分布假设不成立时,机器学习建立的模型(如分类器)精确度急剧下降,甚至对错误的预测结果给出高置信度1.随着深度学习的发展,图像识别和自然语言处理获得广泛应用,需要识别的对象不断增加,甚至随时产生未知类型.深度学习分类模型面临开放环境时,对未知类别(即不具有同分布)的待检测样本表现出过度自信,将其预测为训练集上的某个类别(即已知类别).在安全性要求较高的场景中,这种错误预测将造成严重后果.2017 年,Hendrycks 等2首次提出 OOD 检测概念,在保证原始任务的前提下检测未知类别的对象.近年来,OOD 检测受到学者们的广泛关注,在计算机视觉和自然语言处理领域都有深入的研究,以期在原始深度学习任务的基础上提高模型对未知样本的鲁棒性.具体地:OOD 检测在计算机视觉方面主要应用在人脸识别3、人体动作识别4、医疗诊断5-9和自动驾驶10-11等;在半导体晶圆识别12和天文学13领域也有少量应用;在自然语言处理领域,OOD 检测在对话系统域外话题识别14-15、情感分类2、文本分类2和自动语音识别2,16等方面都有相关研究.现已有大量 OOD 检测研究,但只有少量综述性文献.2019 年,Roady 等17从推理和特征表征两方面分析相关研究.2020 年,Bulusu 等18从意外异常和故意异常分析深度学习异常检测,其中意外异常检测即 OOD 检测,主要从有监督、半监督和无监督方面总结相关研究工作,对其它角度的研究路线缺乏梳理.2021 年,Yang 等19定义广义 OOD 检测统一框架,重点分析 OOD 检测及其相关研究领域之间的区别和关联.本文以图像识别为应用背景,系统分析并梳理OOD 检测的最新研究成果.首先介绍 OOD 检测的概念及其相关研究领域,根据网络训练方式的差异性对有监督的检测方法、半监督的检测方法、无监督的检测方法和异常值暴露的检测方法进行系统概述.然后,按照关键技术从神经网络分类器、度量学习和深度生成模型三方面总结现有 OOD 检测方法.最后讨论 OOD 检测未来的研究方向.1摇OOD 检测基础知识1.1摇 深度神经网络的基本概念深度神经网络(Deep Neural Network,DNN)是深度学习的基础,由基本处理单元神经元按照一定的层次结构构成.神经元的基本结构如图 1 所示.在图中,wi(i=1,2,m)表示权重,b 表示偏置项.神经元接受多个输入信号xi(i=1,2,m)后,首先利用加权求和函数计算z=x1w1+x2w2+xmwm+b,再经过非线性激活函数 g()得到该神经元的最终输出结果.常用激活函数有 sigmoid、tanh、ReLU 等.w1wiwmbx1xixm1zg()?图 1摇神经元模型结构图Fig.1摇 Structure of neuron model经典的DNN结构20如图2 所示,神经网络层主要分为输入层、隐藏层和输出层.DNN 训练的过程大致分为五步:变量初始化、前向传播、损失计算、反向传播、参数更新,其中前向传播和反向传播是两个关键步骤.前向传播主要是利用各层神经元计算预测结果 y,通过损失函数 L(y,yt)衡量真实结果 yt和预测结果 y 之间的差异.类似地,反向传播主要基于梯度下降和链式求导法则求解网络权重,优化模型参数.经过迭代训练使损失函数值最小,最终得到理想的模型.?图 2摇 DNN 基本结构Fig.2摇 Basic structure of DNN1.2摇 OOD 检测定义构建图像分类器一般首先提取训练集样本的特征,获得从训练样本到标签的映射关系 f 颐 xtr寅 ytr,然后利用 f 将测试集样本 xte映射到对应的类标签yte,即实现在训练集上训练模型,预测测试样本的类别.在实际应用中,模型面临的测试集可能包含未知类别的样本,属于训练集已知类别的样本称为分416模式识别与人工智能(PR&AI)摇 摇 摇第 36 卷布内(In鄄Distribution,ID)样本,而不属于训练集类别(即未知类别)样本称为 OOD 样本.摇 摇定义 1 OOD 检测 摇训练集和测试集由样本-标签对构成,训练集 Dtr和测试集 Dte分别表示为Dtr=xi沂 Xtr,yi沂 Ytr=C1tr,C2tr,Cktri=1,2,n,Dte=xj沂 Xte,yj沂 Yte=(Ytr胰 Yood),Ytr=C1tr,C2tr,Cktr,Yood=Coodj=1,2,m.其中:Xtr和 Ytr分别表示训练集 Dtr的样本空间和标签空间;样本 xi沂 Xtr对应的标签 yi沂 Ytr,yi的值为Cktr,表示该样本属于类别 k,n 表示训练集样本数目.测试集 Dte同理,样本数目为 m,若样本标签 yj值为Cood,表示对应的样本为 OOD 样本.利用 Dtr训练模型 f,在测试阶段,利用 f 对 Dte中的(xj沂 Xte,yj沂 Ytr=C1tr,C2tr,Cktr)分类,并将其它样本预测为 OOD 样本.OOD 检测的目标是训练模型对测试集中的已知类别样本分类,并检测出与训练集类别不相交的样本,将其预测为 OOD19.OOD 检测的训练集和测试集样本分布不一致,即Ptr(X,Y)屹 Pte(X,Y),测试集样本与训练集样本存在语义偏移,即Ptr(Y)屹 Pte(Y).具体样本分布如图 3 所示.OOD 检测与不确定性估计和模型校正有关,其实质是拒绝神经网络的不当输入.OOD 检测器 g子表示为g子(x;f)=ID,s(x;f)逸 子OOD,其它(1)基于神经网络模型f的输出设计OOD样本评估函数 s,并依据验证集设定阈值 子,通过计算输入样本 x 的 s 函数评估值与阈值 子 对比判定样本为 ID 样本或 OOD 样本.根据训练集 ID 样本的类别数目,将 OOD 检测分为多分类 OOD 检测(Multi鄄class OOD Detection)和单分类 OOD 检测(One鄄Class OOD Detection).训练集 ID 样本包含多个类别,即为多分类 OOD 检测.在测试阶段,需要预测输入样本属于 k 个类中某一类,并检测出 OOD 样本,OOD 样本不识别其具体类别,均归为同一类.训练集 ID 样本为单类时,即单分类 OOD 检测,此类 OOD 检测简化为传统深度学习异常检测问题,利用单一类别的正常样本训练模型区分正常样本和异常样本.ID1ID2ID4ID3(a)训练集(a)Training setID1OODOODID2ID4ID3(b)测试集(b)Testing set图 3摇 OOD 检测的训练集与测试集样本分布对比Fig.3摇Comparison of sample distribution of training andtesting datasets in out鄄of鄄distribution detectionOOD 检测的整体框架如图 4 所示.输入训练数据集 X 训练模型 f,获得 ID 样本的表征,在测试阶段,输入待测样本 x,利用 f 输出预测类别,并计算OOD 样本评估函数 s 的值.提高 OOD 检测精度的关键是获取 ID 样本的精确表征,增加 ID 样本和 OOD样本的差异.按照不同阶段,可在数据预处理、神经网络模型和样本评估指标三方面进行设计和优化.在数据输入阶段,对数据预处理,扩大 ID 样本和 OOD 样本的差异.在模型设计阶段,优化神经网络模型,获得更精准的 ID 样本表征,增大 ID 样本和 OOD 样本的表征差异.在结果输出阶段,设计有效的评估指标,区分 ID 样本和 OOD 样本.516第 7 期摇 摇 摇 摇 郭凌云摇 等:图像分布外检测研究综述f?XOOD?g()x；?f图 4摇 OOD 检测的整体框架图Fig.4摇 Overall framework of OOD detection1.3摇 OOD 检测类型OOD 检测的目的是在保证原始任务精度下检测未知类别样本.针对图像识别问题,根据原始任务的不同,将 OOD 检测分为图像级 OOD 检测、区域级OOD 检测和像素级 OOD 检测,具体概述如下.1)图像级 OOD 检测.图像分类是对整个图像的语义信息分类,在计算机视觉领域获得广泛应用.图像级 OOD 检测目标是实现图像分类并判断整个图像语义标签是否在训练集的类别空间内.在开放环境中,训练集和测试集之间存在数据偏移,数据偏移分为语义偏移和特征偏移两种方式19,21.语义偏移是测试集上包含与训练集语义类别不同的样本,OOD 检测主要针对这一类型的样本偏移.特征偏移包括样本含噪声、对抗干扰、样本损坏或风格迁移等,主要采用领域自适应22、领域泛化23-24等方法.2)区域级 OOD 检测.目标检测在图像中通过矩形框定位目标区域,并识别该区域的对象,目标区域的数量、位置和大小均可不固定.区域级 OOD 检测在目标检测基础上检测未知类别对象.深度学习在目标检测的准确性方面拥有相对成熟的研究成果,但大部分研究不考虑对未知类别对象的错误检测问题.Park 等25利用异常值暴露方法对目标检测模型神经网络 YOLOv3 进行微调,将特定类的不确定性估计应用于目标检测的置信度评估.3)像素级 OOD 检测.语义分割对图像的每个像素分类,从而区分图像中各种语义对象,如人、动物、背景等.像素级 OOD 检测在语义分割的基础上检测未知类别对象.面向开放环境时语义分割模型应能及时指出识别到的未知类别对象.针对此问题,2019年,Blum 等26提 出 Fishyscapes.同 年,Hendrycks等27提出 CAOS(Combined Anomalous Object Segmen鄄tation),在自动驾驶模拟环境中检测未遇到过的新对象.2021 年,Yang 等28研究医学图像分割的不确定性估计,对放射图像的模糊区域和焦点边界做出更准确的预测和不确定性量化.目前对图像级 OOD 检测的研究相对较多,像素级 OOD 检测和区域级 OOD 检测主要集中在自动驾驶环境检测27,29和医学图像28,30领域.本文主要关注图像分类中样本存在语义偏移的 OOD 检测.1.4摇 OOD 检测相关研究领域1)异常检测(Anomaly Detection).异常样本是与其它观测样本存在较大偏差的样本,异常检测是识别与给定观测样本明显不一致的样本的过程.不同的应用领域对异常检测定义不同,Yang 等19在广义 OOD 检测框架中较详细地区分离群值检测(Outlier Detection)、新颖性检测(Novelty Detection)等几种定义.离群值检测使用观测到的所有样本,采用直推的方法找出离群点.图像异常检测使用单一类别的正常样本构建模型,可分为定性异常的分类和定量异常的定位.定性异常的分类判断整体图像是否异常,定量异常的定位类似于目标检测或图像分割,需要定位异常区域31.单分类 OOD 检测与定性异常检测的任务基本一致.新颖性检测的正常样本可以是单类或多类,重点是检测未知类别的样本,无需对正常样本分类.OOD 检测需对正常 ID 样本分类,并检测未知类别样本.2)主动学习(Active Learning).主动学习根据样本评估策略选择部分无标签样本交由专家标注,将人工标注的数据重新放至训练集中优化分类模型,使用较少的带标签样本训练准确性较高的模型,降低获取数据的成本.标签样本获取代价较高,主动学习基本思想是使用更少的人工成本构建更高质量的数据集.评估无标签样本是主动学习的核心,评估方式主要有不确定性准则和代表性准则32,主动学习的样本评估策略对 OOD 检测有一定启发作用.3)带拒绝分类(Classification with a Reject Op鄄tion).带拒绝分类也称弃权学习或选择分类(Selec鄄tive Classification),在尽量保证预测精度的同时,对无法保证预测准确性的对象根据某种度量采取拒绝操作33.带拒绝分类应用在诸如智能驾驶、智能医疗等领域,在不能保证精确预测时放弃预测并给出提示,避免错误操作引起严重后果.拒绝分类以拒绝代价小于错分代价为标准,不关注放弃预测的样本是否属于已知类别或未知类别,保证预测精度.4)开放集识别.分类模型基于训练集和测试集样本满足独立同分布的假设,训练集和测试集的类别空间一致,因此分类器可以预测测试集样本类别.但在实际应用中,模型面对的环境是开放的,待测试616模式识别与人工智能(PR&AI)摇 摇 摇第 36 卷样本中包含新出现的类别,需要识别已知类和新类别的对象,即开放集识别(Open Set Recognition),甚至开放世界学习(Open World Learning),除了能够识别新类别的样本,还以增量方式将识别到的新类增加到已知类中,实现持续学习.Dhamija 等34从增量学习、OOD 检测和开放世界学习三个维度,提出统一的开放世界识别框架.开放集识别目前处于发展阶段,现有的开放集识别模型通常将新类别对象作为同一类别35,这类方法与 OOD 检测的问题设置基本一致,二者可以相互借鉴.2摇OOD 检测模型训练方式根据数据可用性和模型训练方式的不同,OOD检测可分为无监督 OOD 检测、有监督 OOD 检测、半监督 OOD 检测和异常值暴露(Outlier Exposure,OE).为了直观阐述,表 1 总结 OOD 检测四种方法的设计思路和特点.表 1摇 OOD 检测的四类方法Table 1摇 Four kinds of out鄄of鄄distribution detection methods模型训练方式设计思路特点无监督仅利用 ID 样本参与训练,无需额外的辅助样本.利用ID 样本建立模型,使 ID 样本和 OOD 样本的差异尽可能大.无需额外辅助样本,适用于各种类型的图像,通用性较强,易受训练集上异常样本影响.有监督利用带标签的ID 样本和OOD 样本,将OOD 检测作为有监督分类问题,利用 OOD 检测辅助样本或生成 OOD样本加入训练集,参与模型训练.需要精心设计生成 OOD 样本,可以使用主干网络模型或设计新的网络模型,方式灵活.半监督训练集包括带标签的 ID 样本和无标签辅助样本,无标签样本无需知道是 ID 样本或 OOD 样本,或利用少量带标签的异常样本辅助训练.利用少量带标签的异常样本或无标签的辅助样本提高模型性能,但难以获取带标注异常样本.异常值暴露在训练时引入与测试数据集不相交的辅助异常样本,增强神经网络的泛化能力,从已知异常样本中获得启发,泛化到未见异常样本.需精心设计参与训练的辅助数据集,需要设计额外的辅助任务.应用场景广泛,可扩展性较强,适用于分类、密度估计等.2.1摇 无监督 OOD 检测无监督 OOD 检测仅利用 ID 样本训练模型,设计评估方式,使 ID 样本和 OOD 样本的差异尽可能大,无需任何额外的辅助样本.常见方法是利用神经网络的输出设计样本评估指标、基于重构和概率密度估计检测 OOD.2017 年,Hendrycks 等2首次提出 OOD 检测概念,设计简单易行的基线方法 MSP(Maximum Soft鄄max Probability).相比错误分类的样本和 OOD 样本,正确分类的样本往往具有更大的 MSP 值.利用MSP 与阈值比较检测错误分类和 OOD 样本,并在计算机视觉和自然语言处理数据集上评估方法的有效性.上述方法是典型的利用分类网络的输出设计样本评估指标的无监督 OOD 检测方法.2018 年,Liang 等36在 MSP2的基础上提出ODIN(Out鄄of鄄Distribution Detector for Neural Networks),对输入样本加入扰动,并增加温度参数 T,加大 ID样本和 OOD 样本的 softmax 概率分布的差异,提升检测的精确度.此方法在 OOD 检测研究中作为样本预处理方法被广泛应用.基于重构的方法使用 ID 样本训练生成模型.相比 ID 样本,OOD 样本重构误差较大,可使用重构误差检测 OOD 样本.基于概率密度估计的方法使用ID 样本训练模型,拟合样本的概率密度分布,在该分布下,相比 ID 样本,OOD 样本似然值较低.2.2摇 有监督 OOD 检测有监督 OOD 检测利用带标签的 ID 样本和OOD 样本,将 OOD 检测建模转为有监督分类问题,利用 OOD 辅助样本或生成 OOD 样本加入训练集,参与模型训练.由于真实 OOD 样本难以获取,生成OOD 参与训练是一种直观方法,有研究者采用不同方法生成 OOD 样本参与模型训练.2019 年,Vernekar 等37利用条件变分自动编码器 CVAE(Conditional Variational Autoencoder)生成在样本流形外的和在样本流形上的两类 OOD 样本,有效覆盖整个分布边界,然后利用训练集中的 ID 样本和生成的 OOD 样本训练分类器.2021 年,Gao 等38利用生成对抗网络 GAN(Generative Adversarial Network)39生成 OOD 样本,针对现有基于图像分类的方法对整个图像进行检测的问题,提出 UEAOD(Uncertainty Enhanced Atten鄄tion for OOD Detection),利用注意力机制对图像的不同区域进行不确定性估计,提高检测能力.同年,Amit 等40设计 FOOD(Fast Out鄄of鄄Distribution Dete鄄ctor),采用对抗性方式生成 OOD 样本参与训练,利用扩展的 DNN 分类器快速检测 OOD 样本.716第 7 期摇 摇 摇 摇 郭凌云摇 等:图像分布外检测研究综述2021 年,Thulasidasan 等41把 OOD 检测作为 K+1 类分类任务,辅助样本作为一个额外的弃权类.利用包含 K 类 ID 样本的数据集 Din与一个已知的OOD 辅助数据集训练一个带弃权类的分类器 DAC(Deep Abstaining Classifier),优化交叉熵损失训练网络.检测器 g(x)根据 softmax 预测概率和阈值确定待测样本是否为 OOD 样本.2022 年,Ran 等42设计 INCPVAE(ImprovedNoise Contrastive Priors Variational Auto鄄encoder),在正常样本中增加不同程度的高斯噪声,生成 OOD 样本参与训练,优化反向 KL(Kullback鄄Leibler)散度训练模型,训练完成后使用 INCP鄄KL Ratio(ImprovedNoise Contrastive Prior鄄KL Ratio)作为评判指标.有监督 OOD 检测利用已知的或生成的 OOD 样本参与训练,可增加 OOD 样本的数量和种类,直接扩大训练集,但实际应用中待测试样本的分布是无法控制的,OOD 样本可能无限多,并不断变化,不断更新数据集并重新训练模型需要高昂的计算代价.2.3摇 半监督 OOD 检测半监督 OOD 检测的训练集包括带标签的 ID 样本和无标签辅助样本,无标签辅助样本无需知道是ID 样本或 OOD 样本,或利用少量带标签的异常样本辅助训练3.2019 年,Ren 等8利用辅助 OOD 样本,设计基于深度生成模型的似然率 Likelihood Ratios 检测OOD.该方法假设样本由相互独立的语义主体和背景两部分组成,即样本 x=xB,xS.利用背景相同但语义主体不同的 OOD 样本辅助训练,在输入样本中添加适当的扰动以破坏样本中的语义结构.根据加入扰动的输入样本训练的模型只捕获样本总体的背景统计特征,以此构建背景模型,去掉背景成分,仅保留语义成分,增强ID 样本的特定特征.p兹()表示基于 ID 样本训练的模型,p兹0()表示捕捉背景信息的背景模型,似然率近似表示为LLR(x)抑 log p兹(xs)-log p兹0(xs).根据似然率与阈值比较判断待测样本是否为 OOD样本.2020 年,Ruff 等43提出 Deep SAD(Deep Semi鄄supervised Anomaly Detection),同时利用有标签样本和无标签样本,同时有标签样本中可以包含少量异常样本,基于度量学习训练神经网络,将正常样本映射到超球中心附近,同时将异常样本映射到远离中心的区域,根据测试样本与超球中心的距离判断异常样本.半监督 OOD 检测更符合实际需求,ID 样本容易获得,而带标签的 OOD 样本难以获得,如果存在少量带标签的 OOD 样本或无标签的辅助样本应对其加以利用.半监督 OOD 检测研究目前较少,因此是值得研究的问题之一.2.4摇 异常值暴露 OOD 检测异常值暴露是在训练时引入与测试数据集不相交的异常样本,增强神经网络的泛化能力,从已知的异常样本中获得启发,识别未知异常样本.2019 年,Hendrycks 等44提出利用辅助的异常数据集检测 OOD 的异常值暴露方法 OE.训练集中ID 样本的分布 Din已知,现实环境中 OOD 样本的分布 Dout未知.OOD 检测的任务是确定测试样本来自Din或 Dout.异常值暴露方法利用 ID 数据集和与测试集上 OOD 样本不相交的辅助异常数据集,训练模型判断测试样本来自 Din还是 DOEout.测试阶段判断样本来自 Din或 Dout,从已知异常泛化到未知异常样本.该方法可以采用不同来源的辅助样本训练多个模型,并证明异常值暴露有助于检测出未知的异常样本,而真实和多样性较高的 OOD 样本比合成的异常值更有效.2021 年,Papadopoulos 等45在 OE44基础上提OECC(Outlier Exposure with Confidence Control),其优化目标在标准交叉熵损失基础上增加两个正则化项,在优化交叉熵损失的同时,使异常值暴露辅助数据集的 softmax 类别预测概率分布接近均匀分布,ID样本的训练准确率和平均置信度的欧氏距离尽可能小.2023 年,Wang 等46在 OE44的基础上设计DOE(Distributional鄄Agnostic Outlier Exposure),针对OE 中训练所用的 OOD 样本可能偏离测试集 OOD样本的问题,采用对模型扰动进而产生隐式数据变换的方式,生成与分布无关的 OOD 样本,对各种未知的 OOD 样本检测均表现良好.在利用异常值暴露辅助训练时,大多数的辅助OOD 样本可能对算法性能改进没有实际推动意义,甚至损害检测器的决策边界.Chen 等47针对这一问题,提出 ATOM(Adversarial Training with InformativeOutlier Mining),在训练时使用干净的 OOD 样本和加入扰动的 OOD 样本,有选择地利用 OOD 样本加入训练,避免随机选择辅助异常值参与训练会产生大量无信息样本的问题,通过挖掘富含信息的 OOD样本,提高检测精度,并推广到未知的对抗性攻击.随后,Chen 等48又针对输入样本加入微小扰动时OOD 检测器容易误判的问题,提出 ALOE(Adver鄄sarial Learning with Inliner and Outlier Exposure)48,816模式识别与人工智能(PR&AI)摇 摇 摇第 36 卷分别讨论在 ID 样本添加扰动和同时在 ID 样本和异常值暴露样本上添加扰动两种情况对检测精度的影响.2022 年,Du 等49提出 VOS(Virtual Outlier Syn鄄thesis),对比不同的异常样本合成方法,在特征空间低似然区域中采样生成虚拟异常值,解决真实异常样本难以获取和高维空间合成图像难以利用的难题,同时使 ID 样本和 OOD 样本之间决策边界更紧凑.异常值暴露方法在训练过程中使用已知的OOD 样本,试图在检测过程中泛化到未知的 OOD.目前研究表明利用异常值暴露方法使用真实图像和类别多样性高的辅助样本可以有效提高 OOD 检测精度,同时,发现富含信息的异常值、利用少量辅助样本参与训练也提供全新的思路.3摇OOD 检测关键技术本节梳理 OOD 检测的关键技术,根据不同的学习模式,将现有 OOD 检测关键技术分为基于神经网络分类器的 OOD 检测方法、基于度量学习的 OOD检测方法和基于深度生成模型的 OOD 检测方法.表2 从神经网络分类器、度量学习和深度生成模型三个方面总结 OOD 检测的关键技术.表 2摇 图像 OOD 检测方法的特点对比Table 2摇 Characteristics comparison of different out鄄of鄄distribution detection methods关键技术方法类别设计思路特点基于神经网络分类器的OOD 检测样本评估利用分类器网络的输出设计 OOD样本评估函数.直接利用预训练网络,设计 OOD 样本评估函数进行OOD 检测,方式灵活、简单高效.检测性能依赖于神经网络提取的特征,分类网络提取特征有利于分类,未必利于 OOD 检测.设计神经网络模型设计新的神经网络模型,优化训练方法,提取有利于区分 ID 样本和OOD 样本的特征.特征提取能力较强,检测精度较高.需要设计新的网络模型、损失函数或优化模型训练策略.结合传统方法利用分类器网络提取特征,结合传统异常检测方法.深度神经网络具有良好的特征提取能力,可以直接利用现有的异常检测方法,但特征提取和检测阶段相互独立,容易产生次优的样本评估值.不确定性估计在深度模型中引入不确定性,在给出预测结果的同时估计结果的不确定性.具有详实的理论基础,计算复杂度较高,显存占用较高,计算时间较长.基于度量学习的 OOD检测度量学习训练神经网络,拟合样本与特征之间的映射,在该映射下 ID 样本的特征向量分布尽量紧凑,通过计算距离和相似性检测 OOD.简单高效,但设定一个全局中心点的方法在一定程度上约束图像背景,容易受到训练集中 OOD 样本的干扰.基于深度生成模型的OOD 检测概率密度估计利用生成模型拟合 ID 样本的分布,再评估测试样本在该分布下的似然值.不需要预设样本的分布,直接对样本分布建模.训练复杂,存在检测失效问题.重构利用生成模型学习 ID 样本的分布,重构待测试样本,根据重构误差检测 OOD 样本.无需引入额外的辅助样本,应用场景广泛,计算复杂度较高.3.1摇 基于神经网络分类器的 OOD 检测方法使用神经网络分类器的 OOD 检测方法主要包括基于设计样本评估函数的 OOD 检测方法、基于设计神经网络模型的 OOD 检测方法、基于深度学习结合传统方法的 OOD 检测方法和基于不确定性估计的 OOD 检测方法.3.1.1摇 基于设计样本评估函数的 OOD 检测方法基于样本评估的 OOD 检测方法不改变神经网络分类器的训练过程和目标,利用神经网络的输出设计评估函数 s,对比样本评估值与阈值 子,检测OOD 样本.2017 年,Hendrycks 等2利用神经网络输出的最大 softmax 预测概率即 MSP 作为置信度评估待测样本,Liang 等36在其基础上对输入样本添加扰动,提出 ODIN,增大 ID 和 OOD 的预测概率分布差异.神经网络输出的预测概率,也是模型自身隐含的置信度,直觉上是合理的,但不是判断结果可信度的最佳方法.随后出现一些更有效的样本评估方法.Hsu等50基于概率统计解释 ODIN 的 MSP 作为置信度导致的 DNN 对预测结果过于自信的原因,并提出Generalized ODIN,设计分解置信度,提升 OOD 检测精度.Begon 等51从基于优化和基于批归一化的角度设计多种 OOD 评估指标.仅利用分类器网络最末端的输出信息不足以精确区分 OOD 样本和 ID 样本,而充分利用网络中间各层特征可以提升检测效果.2018 年,Lee 等52利用分类网络提取的各层特征拟合多元高斯分布,设计马氏距离置信度(Ma鄄916第 7 期摇 摇 摇 摇 郭凌云摇 等:图像分布外检测研究综述halanobis Distance),以各层特征所得马氏距离的加权值作为最终的置信度,并以增量学习的方式更新已知类和置信度.马氏距离对检测与 ID 样本语义和风格差别较大的远鄄OOD 有效,但对与 ID 样本语义差别不大的近鄄OOD 失效.2020 年,Kamoi 等53在其基础上提出 Partial Mahalanobis Distance 和 MarginalMahalanobis Distance,并与 ODIN36结合,进一步提高检测精度,但需要调优超参.2021 年,Ren 等54分析马氏距离对近鄄OOD 失效的原因,提 出 RMD(Relative Mahalanobis Distance)置信度,无需调优超参.2019 年,Abdelzad 等55假设网络深层的特征更有利于分类,而浅层特征更有利于区分 ID 样本和OOD 样本,因此利用神经网络各层特征训练 OSVM(One鄄Class Support Vector Machine)分类器,寻找OODL(Optimal OOD Discernment Layer),OSVM 针对给定的输入样本输出评估值检测 OOD.2020 年,Sastry 等56利用神经网络提取的各层特征,基于Gram 矩阵计算特征的相关性,设计基于 Gram 矩阵的 OOD 评估指标.2021 年,Erdil 等57采用边