基于自适应网络的量子模糊推理系统.pdf

量子信息专栏 基于自适应网络的量子模糊推理系统闫丽丽*，颜金歌，张仕斌(成都信息工程大学网络空间安全学院成都610225)【摘要】基于 ANFIS 与量子 BP 神经网络(QBP)提出了一种基于自适应网络的量子模糊推理系统(ANQFIS)。不同于ANFIS，ANQFIS 以量子门旋转的方式将模糊规则强度与 QBP 相结合，最后以量子态的测量概率作为输出，QBP 的加入使得模型的输出准确率更高，且凭借量子计算的速度优越性提升了模型的计算速度。根据梯度下降法，给出了该系统中参数的学习算法。在仿真实验中，分别使用低维数据和高维数据作为数据集来训练模型，使用攻击算法生成对抗样本进行测试，结果表明 ANQFIS 在输出准确率、鲁棒性方面优于 ANFIS 与 QBP。关键词量子神经网络；模糊神经网络；量子机器学习；量子计算；量子模糊机器学习中图分类号TP273+.2文献标志码Adoi:10.12178/1001-0548.2022220AdaptiveNetwork-BasedQuantumFuzzyInferenceSystemYANLili*,YANJinge,andZHANGShibin(SchoolofCybersecurity,ChengduUniversityofInformationTechnologyChengdu610225)AbstractInthispaper,aquantumfuzzyinferencesystembasedonadaptivenetwork(ANQFIS)isproposedbasedonANFISandquantumBP(QBP)neuralnetwork.DifferentfromANFIS,ANQFIScombinesthestrengthoffuzzyruleswithQBPinthewayofquantumgaterotation,andfinallytakesthemeasurementprobabilityofquantum states as the output.The addition of QBP makes the output accuracy of the model higher,and thecalculationspeedofthemodelisimprovedbyvirtueofthespeedadvantageofquantumcomputing.Accordingtothe gradient descent method,the parameters learning algorithm of the system is given.In the simulationexperiment,low-dimensionaldataandhigh-dimensionaldataareusedasdatasetstotrainthemodel,andattackalgorithmsareusedtogenerateadversarialexamplesfortesting.TheresultsshowthatANQFISissuperiortoANFISandQBPinoutputaccuracyandrobustness.Keywordsfuzzyneuralnetwork;quantumcomputation;quantumfuzzymachinelearning;quantummachinelearning;quantumneuralnetwork模糊集指边界不明确的集合。1965 年，Zadeh教授首次提出模糊集的概念，他提出用模糊数学来解决模糊问题1。模糊数学在实践中运用数学方法来研究和处理大量的不确定问题。近年来，机器学习领域2发展迅速，其中人工神经网络算法3得到了广泛的研究和应用。神经网络算法可以模拟人脑神经元对某些事物做出判断的功能。只要用训练数据集对神经网络模型进行训练，对模型参数进行更新和优化，模型就有可能对输入数据做出正确的判断。然而，随着大数据的发展，现实生活中出现了很多模糊数据。传统的神经网络不能很好地处理一些模糊问题，模型输出精度不高。因此，一些研究人员将模糊数学与神经网络相结合。提出了 BP模糊神经网络4、基于自适应网络的模糊推理系统(afuzzyinferencesystembasedonadaptivenetwork,ANFIS)5和 B-spline 模糊神经网络。这些神经网络吸收了模糊逻辑和神经网络的优点，在处理非线性和模糊问题方面具有一定的优势。机器学习算法通常需要对大数据进行处理，这使得它们的执行时间很长，这是传统计算机无法企及的。近年来，量子计算领域发展迅速，研究人员利用量子叠加态、量子纠缠和量子测量的特点设计收稿日期：20220706；修回日期：20220927基金项目：国家自然科学基金(62076042,62102049)；四川省自然科学基金(2022NSFSC0535)；四川省科技厅重点研发项目(2021YFSY0012,2021YFG0332)；四川省量子安全通信创新团队项目(17TD0009)作者简介：闫丽丽(1980)，女，博士，教授，主要从事量子计算、量子安全通信方面的研究.*通信作者：闫丽丽，E-mail：第52卷第4期电子科技大学学报Vol.52No.42023 年 7 月JournalofUniversityofElectronicScienceandTechnologyofChinaJul.2023了一些量子算法。如 Shor 大数分解算法、Grover搜索算法、HHL 算法6等。因此，使用量子计算来解决机器学习算法7-8的高时间复杂度问题是一个很好的选择。研究人员在经典机器学习算法的基础上设计了一些量子机器学习算法，如量子支持向量机9、量子主成分分析10和量子神经网络11-14。与经典算法相比，这些算法具有指数加速的优势。结合模糊神经网络在处理模糊问题上的优势和量子神经网络在计算速度上的优势，便可以设计出量子模糊神经网络15-16。ANFIS 将模糊规则强度与样本特征以乘法相结合作为输出，这样能使系统计算速度加快，但却限制了输出的准确度。本文将ANFIS 与QBP 相结合，提出了基于自适应网络的量子模糊推理系统(ANQFIS)，其将样本特征通过一层 QBP 处理后，再将模糊规则强度转化为角度作为量子门的参数，对 QBP 的输出的量子比特做量子门旋转操作，最后以量子态的测量概率作为输出。量子计算的速度优势和神经网络的高准确度使得 ANQFIS 在拥有高计算速度的同时又具有更高的输出准确率。1理论知识1.1量子比特与量子门|0|1|0|1一个量子比特可以是、或是与的叠加态，一个叠加态的量子比特可以表示为：|=|0+|1(1)|2+|2=1Z|0|2|1|2式中，和 是复数，表示振幅，且满足，即在 基测量下，被测量得到的概率为，被测量得到的概率为。|(cos0sin0)Tcos0=sin0=对量子比特的操作变换通常使用量子门来实现，量子比特写成向量的形式为，其中，。而一个量子门可以被写成矩阵的形式，本文用到的量子门定义为：R()=(cossinsincos)(2)|将此量子门作用到上则可以看作是对做了一个旋转操作：R()|=(cos(0+)sin(0+)(3)1.2量子神经元本文使用的是文献 11 提出的一种量子神经元结构的简化版本，如图 1 所示。x1x2xnR(1)R(2)R(n)yArctan图1量子神经元结构?xj=(cosjsinj)TR()|x1|xn(cossin)T正如经典神经网络中的神经元一样，此量子神经元有 n 个输入和 1 个输出，假设图 1 中的量子比特，且的定义如(3)所示，那么输入 n 个量子比特后，获得一个新的量子比特作为量子神经元的输出，其中：=arctannj=1sin(tj+j)nj=1cos(tj+j)(4)1.3模糊规则对于一个普通集合，一个元素可能属于它或不属于它。而对于模糊集合，元素就不能说属于还是不属于此模糊集合，而是用隶属度来衡量此元素属于它的程度大小。隶属度由隶属度函数来计算得到。如果存在一个模糊集 A，A(x)为此模糊集的隶属度函数，它的值域为 0,1，如果 A(x)越接近1，则表明 x 属于模糊集合 A 的程度越大，越接近0 则程度越小。模糊集 A 可以表示为：A=(x,A(x)|A(x)0,1(5)模糊 if-then 规则或模糊条件语句，是一种以ifAthenB为形式的表达式，其中 A 和 B 都是语言标签(小、大等)，拥有自己的隶属度函数。下面简要介绍 ANFIS 的模型结构。x1x2R在 ANFIS 中，所考虑的模糊推理系统假设有两个输入和一个输出，分别是、和，假设规则库中包含有两个 Takagi 和 Sugeno 提出的 if-then 规则：Rule 1:If x1is A1and x2is B1,then f1=p1x1+q1x2+r1Rule 2:If x1is A2and x2is B2,then f2=p2x1+q2x2+r2(6)piqiriAiBiAi式中，是待训练更新的参数，被称作后件参数。并且，的隶属度函数采用的是高斯隶属度函数，假设模糊集的高斯隶属度函数可以表示为：Ai(x)=exp12(xcii)2(7)第 4 期闫丽丽，等：基于自适应网络的量子模糊推理系统483cii式中，和是待训练更新的参数，被称作前件参数。之后根据语言标签的个数，计算出每个节点的输出：wi=Ai(x)Bi(y)i=1,2(8)wii式中，是模糊规则的强度。之后计算出第 个模糊规则强度占所有模糊规则强度之和的比例：wi=wiiwii=1,2(9)wi式中，被称作归一化强度。最后，根据式(7)的规则，计算得到最后的输出：Ri=wifii=1,2(10)R=iRi(11)2ANQFIS 模型结构因为一个多输入多输出的系统总是可以由多个多输入单输出的系统组成，所以本文提出的ANQFIS 模型结构具有 n 个输入和 1 个输出。模型可以看做由两部分组成，一个是量子部分，另一个是模糊部分。量子部分由量子 BP 神经网络启发而来，模糊部分由 ANFIS 启发而来。模型结构如图 2所示。x1xnyL1Lf1Lf2Lf3Lf4L2L3L1Lq1Lq2Lq3L2L3图2ANQFIS 结构图iLiiLfiiLqiLiLfiLqijjLijLfijLqijojLiojLfiojLqijkjkLijkLfijkLqijkojkLiojkLfiojkLqi模型的实线框部分为模糊部分，虚线框部分为量子部分。整个模型的第 层表示为，模糊部分的第 层表示为，量子部分的第 层表示为。对于，它们的第 个节点的输入分别表示为，第 个节点的输出分别表示为，。如果节点有多个输入或输出，则第 个节点的第 个输入分别表示为，第 个节点的第 个输出分别表示为，。一个x=(x1,x2,xn)yn 维数据被输入该模型后，分别经过量子部分和模糊部分处理，最后相结合得到输出。模型各个部分每一层的输入和输出描述如下。L1x=(x1,x2,xn)(输入层)：n 维数据被输入到 ANQFIS 模型。Lf1x=(x1,x2,xn)jk(模糊部分输入层)：n 维数据被输入到模糊部分，这一层中第 个节点的第 个输出为：ojkL1=xj(12)Lf2rnrj(模糊部分模糊化层)：设规则库有 个规则，则易得该层有个节点。结合式(13)从图 2中可以得知这一层中每一个节点的输入。每一个节点都定义了一个高斯隶属度函数，第 个节点的输出为：ojL2:gj=exp12jLf2cjj2(13)cjjj=1,2,nr式中，和是待训练参数，。Lf3rrjLf2gjgj+rgj+nrj1Lf3j2Lf3jrLf3j(模糊部分模糊规则层)：在这一层中，每一个节点可以看作是一个模糊规则，规则库有 个规则，故该层有 个节点。根据模糊规则，该层的第 个节点取中的,作为其输入,，将这些输入相乘获得输出。第 个节点的输出就是其规则强度：ojLf3:wj=nk=1jkLf3(14)j=1,2,r式中，。Lf4jLf3j(模糊部分归一化层)：在这一层中，第 个节点的输出为中第 个模糊规则强度占所有模糊规则强度之和的比例，再转换为角度：ojLf4:wj=2wjri=1wi(15)Lq1x=(x1,x2,xn)x1,x2,xnt1,t2,tnj(量子部分角度化层)：在这一层中，n 维数据被输入到量子部分，被转化为，第 个节点的输出为：ojLq1:tj=21+exp(xj)(16)Lq2t1,t2,tn|x1,|x2,|xnjk(量子部分量子化层)：在这一层中，根据制备相应的量子比特，并将其输出给下一层的每一个节点。该层第 个节点的第 个输出为：484电子科技大学学报第52卷ojkLq2:?xj=costj|0+sintj|1(17)Lq3rjk(量子部分量子神经元层)：在这一层中有个节点。第 个节点的第 个输入为：jkLq3=?xj=costj|0+sintj|1(18)j=1,2,n k=1,2,rjkLq3jkkkjjk|ak式中，,。该层中的节点实现神经网络中神经元的功能，节点的每一个都对应着一个以随机值为初值的角度，它们会在模型学习时被训练更新。对于第 个节点(注意此处用 而不是用 作为节点下标)，使用式(2)中提到的量子门和对其输入的所有量子比特进行旋转，并根据式(4)得到新的量子比特，并将其作为该节点的输出：k=arctannj=1sin(tj+jk)nj=1cos(tj+jk)(19)okLq3:|ak=cosk|0+sink|1(20)k=1,2,r式中，。L2jLf4Lq3(量子模糊层)：在这一层中，第 个节点接受和的输出作为其两个输入：j1L2=ojLf3=wj(21)j2L2=ojLq3=?aj=cosj|0+sinj|1(22)j=1,2,r wj?aj?bj式中，。再将作为角度使用式(2)中提到的量子门作用到上，得到新的量子比特，并将其作为输出：ojL2:?bj=cosj|0+sinj|1(23)jj wjj=1,2,r式中，=+,。总之，这一层按照模糊部分输出的角度值来对量子部分输出的量子比特进行旋转，得到新的量子比特。L3|y(输出层)：这一层是整个模型的输出层。将上一层输出的所有量子比特按照式(4)的方式融合得到新的量子比特：=arctanrj=1sinjrj=1cosj(24)|y=cos|0+sin|1(25)|y|1最后，取对测量得到的概率作为整个模型的输出：y=sin2(26)3ANQFIS 学习算法Lq3jkj=1,2,n k=1,2,rLf2cjjj=1,2,nr在 ANQFIS 模型中，有一些参数需要在模型训练学习中被更新优化，它们分别是中的(,)以 及中 的，()。模型的损失函数定义为：L=12(y y)2(27)y yJ=j%r式中，是模型的真实输出；是标签(0 或 1)。为了能够正确的表示节点，令，便可得到这些参数对损失函数的梯度为：jk=Ljk=Lyykkkkjk(28)cj=Lcj=LyyJJ wj wJwJwJgjgjcj(29)j=Lj=LyyJJ wJ wJwJwJgjgjj(30)定义变量：0=2(y y)sincos(31)jk1=coskTc0+sinkTs0Ts02+Tc02(32)Ts0=ri=1siniTc0=ri=1cosi式中，,jk2=cos(tj+jk)Tc1+sin(tj+jk)sinkTs1(Ts12+Tc12)(33)Ts1=ni=1sin(ti+ik)Tc1=ni=1cos(ti+ik)式中，。1=cosJTc0+sinJTs0Ts02+Tc02(34)2=2TwwJTw2(35)Tw=ri=1wi式中，。3=i=n1i=0gJ=irgj(36)第 4 期闫丽丽，等：基于自适应网络的量子模糊推理系统485cj1=exp12jLf2cjj2jLf2cjj2(37)oj1=exp12jLf2cjj2(jLf2cj)2j3(38)那么根据链式求导法则可得这些参数的梯度的准确值：jk=0jk1jk2(39)cj=0123cj1(40)oj=0123oj1(41)在模型训练时，只需要按照下面的方式更新这些参数，即可优化模型：jk(t+1)=jk(t)jk(42)cj(t+1)=cj(t)cj(43)j(t+1)=j(t)j(44)式中，t 是指当前训练轮数，t+1 则是下一个训练轮数；是学习率，其决定了模型训练的每一步的步长，在模型训练一开始时被定义为一个固定值。4仿真实验对比由于 ANQFS 执行时需要大量的量子比特对高维数据进行编码，而目前网络量子云平台所提供的量子设备是难以实现的，因此本文采用 Pennylane16仿真框架构建了 ANQFIS 模型来验证其学习算法的正确性，并且对 ANQFIS、ANFIS 和 QBP 的输出准确率和鲁棒性进行了分析和比较。由于仿真模型是使用经典计算机来模拟量子计算机，并不能体现出真实量子设备的速度优越性，所以本文没有在实验中对比模型之间的时间消耗。下面分别使用低维数据集和高维数据集来训练和验证模型，让其实现二分类功能。对于低维数据集，选择 IRIS 鸢尾花卉数据集(4 维)中的所有 0 类和 1 类数据作为训练集与验证集，学习率 选择0.1。对 ANQFIS、ANFIS、QBP 模型设置同样的学习率进行训练，每次训练 100 轮，一共分别训练 50 次。每一次训练中，每当训练 10 轮之后，使用验证集来测试模型的准确率并记录结果。图 3 是通过对 50 次训练结果求平均值，从而得到模型的平均准确率与训练轮数之间的关系图。0.50.60.70.80.91.00102030405060708090100平均准确率训练轮数ANQFISANFISQBP图3使用 IRIS 鸢尾花卉数据集时平均准确率与训练轮数的关系图=0.1根据图 3 可以看出，在使用低维数据集作为训练集和验证集时，ANQFIS 在准确率上并没有更优异的表现。下面采用高维数据集进行实验，选择MNIST 手写数字数据集(784 维)中的所有标签为 0和 1 的数据作为高维数据集，对 ANQFIS、ANFIS、QBP 模型设置同样的学习率进行训练，每次训练 500 轮，一共分别训练 50 次。在一次训练中，每当训练 50 轮之后，使用验证集来测试模型准确率并记录结果。图 4 为通过对 50 次训练的结果求平均值，从而得到模型平均准确率与训练轮数之间的关系图。训练轮数0.50.60.70.80.91.0050100150200250300350400450500平均准确率ANQFISANFISQBP图4使用 MNIST 数据集时平均准确率与训练轮数的关系图根据图 4 可以看出，在使用高维数据集作为训练集和验证集时，500 轮之后，ANFIS 和 QBP 的准确率基本稳定在 85%左右，而 ANQFIS 的准确率稳定在 92%左右，这说明 ANQFIS 在准确率上明显优于 ANFIS 和 QBP。x为了测试 ANQFIS 模型的鲁棒性，使用 FGSM攻击算法17分别对经过 MNIST 数据集 500 轮训练后的 3 种模型生成对抗样本来测试。FGSM 算法首先求出模型损失函数相对于模型输入 x 的梯度，对其取符号，再定义一个扰动系数，便可得到一个扰动值，最后将此扰动添加到合法样本上，便可486电子科技大学学报第52卷x得到对抗样本：x=x+signx(45)通过调整扰动系数，便可以调整对抗样本的对抗性强弱。在 MNIST 数据集中选取一个标签为0 的数据，如图5a 所示，且ANQFIS、ANFIS、QBP都能对其准确分类。再设置=0，使其每次增加0.1，并生成相应的对抗样本，然后输入 3 个模型，直到模型对其错误分类，此时 的值称之为该模型对该样本的“扰动系数阈值”，此时的对抗样本称为“阈值样本”。ANQFIS、ANFIS、QBP 的阈值样本分别如图 5b、5c、5d 所示。(a)(b)(c)(d)图5阈值样本对比图图 5a 为合法样本，图 5b 为 ANQFIS 的阈值样本，扰动系数阈值为 2.61，图 5c 为 ANFIS 的阈值样本，扰动系数阈值为 1.89，图 5d 为 QBP 的阈值样本，扰动系数阈值为 1.75。可看出，仅对这一个样本而言，ANQFIS 的扰动系数阈值更高，ANQFIS具有更高的鲁棒性。为了使结果更有说服力，从 MNIST 数据集中分别选取了 100 个标签为 0 的数据和 100 个标签为 1 的数据，并且再引入一个 FGM 攻击算法18-19。此算法生成对抗样本的方式是：x=x+x(46)在这两种攻击算法下，分别计算出这 3 个模型对这 200 个样本的扰动系数阈值。由于对于不同的样本而言，扰动系数阈值往往不在同一个数量级，因此将扰动系数阈值进行归一化处理，3 个模型在两种攻击算法下对这 200 个合法样本的平均归一化扰动系数阈值如表 1 所示。表 1平均归一化扰动系数阈值模型FGSM攻击算法FGM攻击算法ANQFIS0.4180.395ANFIS0.3010.311QBP0.2810.294根据表 1 可以看出，ANQFIS 在鲁棒性上也明显优于 ANFIS 和 QBP。5结束语本文将 ANFIS 与 QBP 相结合，提出了一种基于自适应网络的量子模糊推理系统 ANQFIS。经过仿真实验得出，该模型对于高维数据集在准确率方面明显优于 ANFIS 和 QBP 和鲁棒性。参考文献1ZADEHLA.FuzzysetsJ.InformationandControl,1965,8(3):338-353.2JORDAN M I,MITCHELL T M.Machine learning:Trends,perspectives,and prospectsJ.Science,2015,349(6245):255-260.3SCHMIDHUBERJ.Deeplearninginneuralnetworks:AnoverviewJ.NeuralNetworks,2015,61:85-117.4LEEHM,LUBH.FuzzyBP:Aneuralnetworkmodelwith fuzzy inferenceC/Proceedings of 1994 IEEEInternational Conference on Neural Networks.Orlando:IEEE,1994:1583-1588.5JANG R J S.ANFIS:Adaptive-Network-Based fuzzyinferencesystemJ.IEEETransactionsonSystemsMan&Cybernetics,1993,37(4):446-461.6HARROW A W,HASSIDIM A,LLOYD S.Quantumalgorithm for linear systems of equationsJ.PhysicalReviewLetters,2009,103(15):150502.7DAS S S,DENG D L,DUAN L M.Machine learningmeetsquantumphysicsJ.PhysicsToday,2019,72(3):48-54.8BIAMONTEJ,WITTEKP,PANCOTTIN,etal.QuantummachinelearningJ.Nature,2017,549(7671):195-202.9REBENTROST P,MOHSENI M,LLOYD S.Quantumsupport vector machine for big data classificationJ.PhysicalReviewLetters,2014,113(13):130503.10CONG I,DUAN L.Quantum discriminant analysis fordimensionality reduction and classificationJ.NewJournalofPhysics,2016,18(7):073011.11LI P C,LI S Y.Learning algorithm and application ofquantumBPneuralnetworksbasedonuniversalquantumgatesJ.JournalofSystemsEngineeringandElectronics,第 4 期闫丽丽，等：基于自适应网络的量子模糊推理系统4872008,19(1):167-174.12BENEDETTIM,LLOYDE,SACKS,etal.Parameterized quantum circuits as machine learningmodelsJ.QuantumScienceandTechnology,2019,4(4):019601.13CONGI,CHOIS,LUKINMD.QuantumconvolutionalneuralnetworksJ.NaturePhysics,2019,15(12):1273-1278.14DALLAIRE-DEMERS P L,KILLORAN N.Quantumgenerative adversarial networksJ.Physical Review A,2018,98(1):012324.15CHEN C H,LIN C J,LIN C T.An efficient quantumneuro-fuzzy classifier based on fuzzy entropy andcompensatoryoperationJ.SoftComputing,2008,12(6):567-583.16MIAO F Y,XIONG Y,CHEN H H,et al.A fuzzyquantum neural network and its application in patternrecognitionJ.Chinese Journal of Electronics,2005,14(3):524-528.17VILLE B.A open-source software framework forquantummachinelearningEB/OL.2021-10-11.https:/ I,SHLENS J,SZEGEDY C,et al.ExplainingandharnessingadversarialexamplesEB/OL.2021-10-15.https:/arxiv.org/abs/1412.6572v1.19MIYATOT,DAIAM,GOODFELLOWI.Adversarialtraining methods for semi-supervised text classificationEB/OL.2021-12-11.https:/arxiv.org/abs/1605.07725v2.编辑叶芳488电子科技大学学报第52卷