多任务衍射神经网络系统设计与实现.pdf

第 39 卷 第 4 期2024 年 4 月Vol.39 No.4Apr.2024液晶与显示Chinese Journal of Liquid Crystals and Displays多任务衍射神经网络系统设计与实现王子荣1，2，张星祥1*，龙勇机1，2，付天骄1，张墨1，2（1.中国科学院 长春光学精密机械与物理研究所，吉林 长春 130033；2.中国科学院大学，北京 100049）摘要：为探索利用衍射神经网络执行多任务图像分类识别的可行性，本文设计并搭建一种衍射神经网络系统。该系统采用空间光调制器（Spatial Light Modulator，SLM）做衍射神经网络的相位及振幅权重的调制以及网络层的光学全连接，并利用 CMOS 相机实现衍射神经网络中各衍射层输出的光电非线性激活与输出图像识别结果判别。设计的系统模型在MNIST 和 Fashion-MNIST 图像分类识别中正确率达到 94.1%和 92.1%。最终通过搭建光路系统，光学实验正确率分别为 91%和 81.7%。所设计的衍射神经网络系统可满足多种图像分类识别应用需求，为衍射网络的设计与构建提供了新的思路。关键词：衍射神经网络；光学神经网络；系统设计；图像分类识别中图分类号：TP391 文献标识码：A doi：10.37188/CJLCD.2023-0144Design and implementation of multi-task diffraction neural network systemWANG Zirong1，2，ZHANG Xingxiang1*，LONG Yongji1，2，FU Tianjiao1，ZHANG Mo1，2（1.Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China；2.University of Chinese Academy of Sciences，Beijing 100049，China）Abstract：To investigate the feasibility of diffraction neural network to perform multi-task image classification recognition，a diffraction neural network system is designed and built.The system uses a spatial light modulator（SLM）to modulate the phase and amplitude weights of the diffraction neural network and the optical full connection of the network layers.A CMOS camera is adopted to realize the optical nonlinear activation of the output of each diffraction layer in the diffraction neural network and discriminate the output image recognition results.The designed system model achieves 94.1%and 92.1%accuracy in MNIST and Fashion-MNIST image classification recognition.Finally，by building optical path system，optical experiments have 91%and 81.7%accuracy respectively，which verifies that the designed diffraction neural network system can meet the requirements of various image 文章编号：1007-2780（2024）04-0490-16收稿日期：2023-04-15；修订日期：2023-05-11.基金项目：国家自然科学基金青年科学基金（No.42001345）；吉林省自然科学基金（No.20220101168JC）Supported by Youth Science Foundation of National Natural Science Foundation of China（No.42001345）；Natural Science Foundation of Jilin Province（No.20220101168JC）*通信联系人，E-mail：jan_第 4 期王子荣，等：多任务衍射神经网络系统设计与实现classification and recognition applications，and provides a new idea for the design and construction of diffraction networks.Key words：diffraction neural network；optical neural networks；system design；image classification recognition1 引言近年来，神经网络逐渐成为人工智能领域的研究热点和主流发展方向1，其作为一种分布式、大规模且自适应计算的模型，已在机器视觉2-3、自然语言处理以及自动驾驶等领域得到了广泛应用4。然而，绝大多数神经网络架构均依托电子学硬件完成计算与推理任务。随着神经网络模型的不断进步而半导体硬件工艺逐渐受限，传统数字神经网络在低能耗和高实时性上还存在很多局限性。相比之下，光计算具备低能耗、纳秒级延迟和计算过程高度并行的优势5。利用光学器件构建神经网络，能在提高计算速率的同时降低硬件的功耗需求6-7。为此，近年来研究人员不断尝试并提出各种光学神经网络方案，使该类技术逐渐得到发展8。在各类光学神经网络中，衍射神经网络是一种利用光波相位调制及空间传播实现神经网络光计算的模型，是光神经网络研究中的热点之一。2018 年9，Aydogan 等人创新性地提出全光衍射深度学习架构（D2NN），利用 3D 打印加工并在空间中级联 5 个衍射相位模板成功实现用作图像分类的衍射神经网络模型。D2NN 物理模型在太赫兹光照射下自动执行图像分类计算任务，最终在MNIST图像数据集分类识别测试中实现 91.75%的仿真正确率和 88%的 50张手写数字实验正确率，在 Fashion-MNIST数据集中则分别为81.1%和90%（50 张），证明了衍射相位传播模型作神经网络光计算的可行性。此后，衍射神经网络研究得到了进一步的发展。2019年10，Lu等人开发了基于Ge材料的衍射光栅构建衍射神经网络，在相同性能下，物理尺寸相比 D2NN 缩小近 80 倍。2021 年11，Chen 等人实现可见光（632.8 nm）下的衍射神经网构建。该小组同时提出修正公式以处理衍射波长、衍射神经元大小与衍射网络层打印制造的矛盾。此外，包括北京信息科技大学、深圳大学等12-14研究团队均成功验证了衍射神经网络作为手写数字图像识别的可行性。当前，衍射神经网络发展迅速，但仍处于初期阶段12，15-16。采用衍射光栅构建的网络模型相位固定并且网络性能单一，网络架构处理不同任务时需要重新制作并搭建与应用相匹配的物理相位模板，装调过程复杂且面临多层网络对齐的困难，衍射网络系统在多任务应用下的实时处理能力以及实用性受到限制。为此，本文结合具有可编程实时调控功能的液晶空间光调制器（Spatial Light Modulator，SLM）17-18以及 CMOS 面阵相机，设计了一种多层衍射神经网络光路系统，以光学并行计算方式执行不同图像数据集分类识别任务。首先分析了衍射神经网络工作原理，通过仿真优化设计了带有非线性光电激活特性的多层衍射神经网络模型19。其次，在完成网络性能分析及参数确定后，设计了与模型相符的衍射神经网络光路系统并完成系统搭建。最后，开展衍射网络系统的多任务图像分类实验，证明该衍射神经网络方案的可行性。2 衍射神经网络连接层计算理论传统数字神经网络结构中主要包含输入层、中间层以及输出层 3部分4。中间层由多个全连接网络层组成，连接层中基础的神经元由可线性加权求和功能的感知机模型表示20-21。感知机接收的输入向量为x=x1，x2，x3，xn，如图1（a）所示。每个输入向量对应各自单元的权重w=w1，w2，w3，wn，经过一个映射函数f(x)后，最终神经元输出结果为y：y=f(x)=wTx+b.（1）通过多个神经元排列以及多层全连接扩展，整个网络的数学模型可具备极强的数学拟合能力。这样的大规模线性传递连接计算为网络执行人工智能应用奠定了基础。在衍射神经网络中，衍射光传播行为可模拟神经元计算过程9。如图 1（b）所示，由多个离散单元组成的平面在相491第 39 卷液晶与显示干光照射下，从平面透射的光波将发生衍射，衍射场中每个衍射单元发出的子波源波面分布可看作连接前后衍射层神经元且具有指向性的光束。通过调整平面上衍射元的相位分布可改变衍射光在接收面的分布情况，以实现接收面的神经元激活，而衍射输入面不同位置对接收面神经元的激活权重由入射光复振幅矢量叠加决定，因此光波经过逐层衍射面的传播过程可模拟整个神经网络的衍射计算求解。结合图 1（b），根据瑞利-索末菲衍射公式22-23，可以获取衍射空间传播的子波传递因子：hli(x，y，z)=z-zir2(12r+1j)exp(j2r)，r=()xpl+1-xil2+()ypl+1-yil2+()zl+1-zl2，（2）式中：l代表第l层衍射网络，i代表第i个神经元，r为两个衍射节点的传播距离。因此可知，第l层衍射面的第i个衍射神经元的复振幅情况可描述为前一衍射面（l-1层）所有衍射神经元衍射次级子波对i点的矢量叠加与i点处神经元固有输入相位的乘积：mli(xi，yi，zi)=tli(xi，yi，zi)nnl-1k(xi，yi，zi)，（3）其中，tli(xi，yi，zi)为l层第i衍射元透射系数，其包含振幅项 a与相位项，代表l层网络在向后传播的光传播权重：tli(xi，yi，zi)=ali(xi，yi，zi)exp()jli(xi，yi，zi)，（4）其中，a(xi，yi，zi)(0，1)代表衍射元的透射率。若采用纯相位调制系统，可根据衍射元件属性设置固定的透射率。=mod()li(xi，yi，zi)，2使衍射面相位约束在（0，2）以保证网络设计的连续性。根据上述公式，可以得到l层i神经元向l+1层传播时衍射次级子波的相位分布情况：nli(xi，yi，zi)=hli(x，y，z)tli(xi，yi，zi)nnl-1k(xi，yi，zi)=hli(x，y，z)mli(xi，yi，zi).(5)通过计算l层所有衍射元的传播分布，最终可求得l+1层衍射面各位置的衍射元激活状态。因此，无论是透射还是反射系统，只要物理条件确定，都可通过分析该模型实现神经网络衍射连接计算功能。图 1数字全连接模型与衍射连接模型示意图Fig.1Schematic diagram of digital full connection model and diffraction connection model492第 4 期王子荣，等：多任务衍射神经网络系统设计与实现3 衍射神经网模型设计与分析3.1衍射神经网络设计原理本文设计基于 SLM 器件振幅、相位调制的衍射光神经网络以执行 MNIST24手写数字及Fashion-MNIST25物品数据集的图像分类识别任务。衍射神经网络模型的工作原理如图 2 所示，网络包括光学图像输入层、衍射全连接层以及输出接收层 3部分，实验中分别由振幅型 SLM（AMP-SLM）、相 位 型 SLM（Phase-SLM）以 及CMOS 相 机 代 替。在 相 干 光 照 射 下，加 载 在AMP-SLM26的光学图像信息得以传输并经过Phase-SLM 组成的衍射全连接层完成计算27-28，最终在接收层设计的标签区获得光场分布并由面阵 CMOS 相机探测识别。数据集中不同类别图像分别对应一个标签区，从上到下分布为 09，共 10个类别。理想情况下，输入图像经过衍射神经网络须在对应标签位置获取光场分布。设计中，网络层传播距离满足菲涅尔衍射条件，因此衍射平面的空间传播距离可近似为：r=z2+()x-x02+()y-y02z 1+1/2()()x-x0/z2+1/2()()y-y0/z2=z+1/2()x2+y2/z+1/2()x20+y20/z-()xx0+yy0/z.(6)采用空间频域衍射理论完成衍射神经网络模型的数学计算。若(x0，y0，0)为衍射面坐标，(x，y，z)为观察面坐标，z为衍射平面间距，根据角谱衍射传播理论，观察面光场分布可表示为衍射面光场的空间频域分布与衍射空间固有传递函数哈达玛乘积的逆傅里叶变换：U(x，y，z)=F-1FU0()x0，y0，0 H()fx，fy.（7）H在衍射神经网络分析中由公式（2）中瑞利-索末菲衍射传播因子的角谱域传递函数做傅里叶变换表示：H(fx，fy)=Fh(x，y，z)=|C exp j2z1-()fx2-()fy2(fx=xz，fy=yz)，C=j+2zj2z.(8)根据图 2 模型，假设衍射神经网络的输入光场为Ein，第l层衍射层相位分布为tli且接收到上一层的衍射场分布为Eli，网络中所有衍射层大小为Lx Ly，离散采用数为Nx Ny，衍射层每个离散元代表衍射神经网络计算单元，因此采样间隔等于衍射神经元尺寸x=y=L/N，而每个衍射面间传播距离均为 z。其中，光场的傅里叶正逆变换由计算机快速傅里叶变换（FFT）完成：FFTE(xi，yi，zi)=m=-Nx/2Nx/2-1n=-Ny/2Ny/2-1E()mx，ny，z exp-j2(mLxNxfx+nLyNyfy)xy，FFT-1A(fxi，fyi，zi)=m=-Nx/2Nx/2-1n=-Ny/2Ny/2-1A()mLx，nLy，z exp-j2(mNxLxx+nNyLyfy)1x1y，（9）因此，对衍射神经网络的角谱传递函数公式（8）做离散化处理：H(fx，fy)=C expj2z1-()mLx2-()nLy2.（10）根据式（3）、（7）和（10）衍射面逐层空间传播的固有关系，可推导衍射神经网络光传播数学计算模型：图 2衍射神经网络工作原理示意图Fig.2Schematic diagram of the working principle of diffraction neural network493第 39 卷液晶与显示Ein()x0，y0，0=Inputtli()xi，yi，zi=1 exp()jli()xi，yi，ziMli()xi，yi，zi=Eli()xi，yi，zi tli()xi，yi，ziAl+1j()xj，yj，zj=FFTMli()xi，yi，zi H()fxj，fyjEl+1j()xj，yj，zj=FFT-1Al+1j()xj，yj，zjIout()xk，yk，zk=Eoutk()xk，yk，zkEout*k()xk，yk，zk，（11）其中：Input 为 AMP-SLM 上加载的纯振幅光学图像；Al+1j(xj，yj，zj)代表第l+1层衍射光场的频谱分布；衍射全连接层采用相位调制传播，不考虑损耗情况下，衍射相位分布函数t的振幅项设为 1。利用上述逐层光学传递公式，可计算获得输出光场Eout，输出光场则由 CMOS 探测并以光强Iout形式记录。网络训练预设的 10 个光强标签分布如图 2中 Label 所示，每个数字图像经过衍射网络计算输出后仅在该类别指定的方块获得光强分布。假设输出面设计的理想光强分布为Gk，可得到衍射神经网络的光强损失函数L(li)：L(l=ii)=1k(Ioutk-Gk)2，（12）其中，k为衍射面神经元个数，k=Nx Ny。损失函数与衍射神经网络中连接层的相位分布有关，采用神经网络反向传播法29计算光强损失函数与逐层网络相位分布有关的梯度结果，通过最小化损失函数值优化迭代设计的衍射相位层参数使网络输出接近理想分布，完成衍射神经网络优化：min L()l=iiL(l=ii)，(0，2).（13）3.2多层纯相位衍射神经网络仿真训练利用 3.1 节中建模的衍射神经网络数学模型，本文首先设计并训练可执行手写数字图像分类识别任务的 4 层纯相位衍射神经网络模型，设计中网络层间衍射传播距离为 150 mm。在衍射传播计算中，为配合 SLM 器件（表 1）参数及调制特性，衍射神经元大小与 SLM 像元尺寸一致为 8 m，模拟的衍射波长为 532 nm（单色光），输入面的纯振幅图像灰度级位数设置为 8 bit，衍射神经元相位分布范围在（0，2）内并划分为1 024 个相位等级（10 bit）。采用 MNIST 数据集中60 000张手写数字图像做网络层相位参数训练，其余 10 000 张用于测试网络性能。初始图片分辨率为 2828，因此将其做多倍采样扩展，使输入图像的衍射节点数及物理尺寸与网络模型设计参数保持一致。为探索网络性能与衍射神经元数量关系，保持衍射全连接层数一致，逐渐增加网络模型中单层的衍射神经元数量，训练的网络模型性能如表2所示。在同样的训练批次下，衍射神经网络的图表 1液晶 SLM 参数规格Tab.1LC-SLM parameter specifications参数规格生成厂商型号工作波长分辨率像素间距填充因子调制位数尺寸相位范围参数值相位型 SLM上海瑞立柯（UPOlabs）HDSLM80R4201 100 nm1 9201 2008 m95%10 bit（1 024）110 mm72 mm24 mm5.7/532 nm振幅型 SLM8 bit（256）158.9 mm110.5 mm31 mm线性灰度级表 2不同衍射神经元数量下衍射神经网络性能Tab.2Performance of diffraction neural network with different number of diffraction neurons相位模板尺寸6464128128256256512512衍射元尺寸/m8888网络层数4444Epoch100100100100训练正确率/%19.20.558.50.575.60.587.60.5测试正确率/%19.00.149.80.575.50.587.50.5494第 4 期王子荣，等：多任务衍射神经网络系统设计与实现像分类识别性能随着衍射面中单层衍射神经元数量增加而逐渐提高，因此衍射神经网络与传统数字神经网络模型类似，可通过扩展网络宽度来提高计算性能。由于受衍射元的尺寸以及衍射传播距离制约，网络衍射层尺寸不能无限扩展。根据衍射传播理论，单孔衍射下，衍射尺寸与接收面光能分布关系如式（14）所示：L=z/2a，L，z a，（14）其中：a为衍射元尺寸，z为衍射传播距离，L 为衍射中央主级大光斑半宽位置。以衍射元为中心，在半径为 L 的衍射范围内的光能始终超过衍射主级大能量峰值的 50%，且该范围内光能总和占衍射场总能量的 70%。在该范围内可保证神经元衍射传播能量范围完全覆盖并激活下一层网络的所有神经元，其代表了衍射神经元向下传播的最大网络连接能力11。根据式（14），本文设计的衍射神经网络模型中衍射元向下传播的最大连接数为 623623，因此设计 4 层 1 0241 024尺寸的衍射神经网络，单个神经元的衍射连接范围无法覆盖整个网络衍射面，训练后图像分类正确率为 89.8%0.5%，相比 4层 512512（表 2）规模的网络并没有显著提升。最终，仿真设计的具有最佳图像分类识别性能的 512512 尺寸网络的训练正确率如图 3所示。衍射神经网络的手写数字图像分类的正确率可达到 87.6%，训练后得到网络中各衍射连接层相位分布和接收到的衍射光场分布情况以及仿真计算中各输入层的衍射场频谱如图 4所示。其中，A0A4分别对应仿真计算中 Input、E1E4光场的衍射频谱。以手写数字“6”的光学图像识别过程为例，振幅图像在空间中自由传播，经过 4层 Mask衍射相位面连续调制，原始图像在衍射网络层中的激活状态发生变化，网络层接收的光场分布逐渐改变，最终在输出层 E5 获取识别结果。整个网络仿真的衍射传播过程如图 5 所示，i表示每个连接层的衍射元权重分布，由 Mask1Mask4组成，物理上则被加载在 Phase-SLM 中，输出结果以光强分布形式展现，每种数字对应不同光强输出。不同类别数字的分类识别结果在图6中展示，数字04在左列，59在右列。从左到右分别为输入图像、输出标签光强分布统计以及输出层结果。其结果证明设计的 4层相位调制衍射神经网络具有图像分类识别能力。图 4网络中各衍射层相位参数、角谱及光场分布。Fig.4Phase parameters，angular spectrum and optical field distribution of each diffraction layer in network.图 34层（512512）衍射神经网络图像分类训练结果Fig.3Classification training results of four-layer（512512）diffraction neural network image图 54层衍射神经网络图像识别计算过程Fig.5Computational process of 4-layer diffraction neural network image recognition495第 39 卷液晶与显示3.3衍射神经网络层非线性激活优化设计衍射神经网络利用相位层做衍射全连接实现网络的衍射计算和图像识别功能。为进一步提升衍射网络模型的图像分类性能，本文对纯相位衍射全连接网络做优化设计，利用最终接收网络输出层光强分布的 CMOS 相机实现每个衍射相位层输出的非线性光电激活30-31，CMOS 参数如表 3 所示。由于 CMOS 利用半导体光电效应实现光学信息探测，器件在探测阈值和饱和上限组成的动态范围内对接收的光强线性响应，利用该特性可模拟传统数字神经网络常用的 ReLU非线性激活函数。改进的衍射神经网络光学传播模型如图 7所示，每个衍射相位调制层（黄色）之间添加一个振幅自由传播的网络层（蓝色），该层的非线性激活功 能 由 CMOS 与 AMP-SLM 共 同 实 现。当CMOS接收到衍射相位层输出的光强信息后，以器件为基础设计的光电ReLU函数（PhotonicReLU，PReLU）对相位调制传播结果做非线性激活，经过激活输出的光强信息以电信号形式返回并加载至 AMP-SLM 中，并以振幅形式输出传播到下图 610类数字图像的仿真识别结果Fig.6Simulation recognition results of 10 types of digital images表 3CMOS参数规格Tab.3CMOS parameter specifications参数规格生成厂商型号分辨率帧率像元尺寸/m像元深度/bit光谱信噪比/dB参数值大恒图像MER2-20005 4963 67219.62.48，12黑白42.08496第 4 期王子荣，等：多任务衍射神经网络系统设计与实现一个衍射层完成计算。假设图中第 i个相位衍射层的相位分布为 i且该层接收的光复振幅为Ei，该层 CMOS 接收的光强分布为Ii，经 CMOS 做PReLU 激活并加载在 AMP-SLM 的纯振幅光场为EampSLM，下一衍射相位层接收的光复振幅为Ei+1，可 获 得 改 进 的 网 络 单 层 衍 射 传 播 数 学模型：Ei=FFT-1FFTEi i HIi=PhotonicReLU()Ei E*iEi+1=FFT-1FFTEampSLM()Ii H，（15）其中，设计的 PReLU 函数为：PhotonicReLU(I)=0 Gain (I-a)0IaaI255.（16）区别于传统神经网络的 ReLU 激活，探测器感受到的光强分布不存在负值，为此我们设置 a为网络的非线性激活的阈值，a 的取值范围与CMOS 的探测位深度（8 bit）相匹配。当 CMOS接收的光强信息低于阈值时受到截断不再继续传输；而高于阈值则获得大小为 Gain 的倍数增益，经非线性调制后加载在振幅型 SLM 上，继续传输至下一网络层执行神经网络计算，直至到达输出面 CMOS（橙色块）获取最终结果。优化设计后的非线性激活功能的衍射神经网络模型物理参数与 3.1 节中保持一致，物理上网络规模为 8层，但相位调制层仍为 4层，单层尺寸 512512，4 个振幅传输层仅用作非线性光电激活结果输出以及空间自由传播。通过仿真训练后获得 MNIST 数据集图像分类的网络衍射相位参数，如图 8 所示，网络层相位模板依次为Mask1Mask4。网模型的分类训练正确率曲线及损失函数如图 9所示，对比纯相相位调制的 4层衍射神经网络，非线性激活下的模型图像分类识别性能提高近 7%，正确率达到 94.1%0.5%。非线性模型在经过约 400次左右的优化迭代便可达到纯相位衍射模型的最高正确率 87.6%。为探索非线性衍射神经网络对复杂图像分类识别的潜力以及执行多任务应用的可行性，采用 Fashion-MNIST 数据集训练衍射神经网络模型。使用的数据集图像规模与 MNIST 一致，除了更改训练的数据集外，网络物理参数、数学计图 7带非线性激活的衍射光神经网络模型Fig.7Diffractive optical neural network model with nonlinear activation497第 39 卷液晶与显示算方式均不做改变。经过仿真训练后，获得用作Fashion-MNIST图像分类的 4层非线性衍射网络相位参数和训练曲线，如图 10所示。最终网络的分类正确率最高可达92.1%0.5%，与MNIST数据的识别正确率相比仅低2.0%。考虑到Fashion-MNIST 数据集图像的特征复杂程度更高，为达到最佳性能，网络相位参数优化训练的时间相比MNIST 数据集高出 1.5倍，训练过程中损失函数的整体下降幅度也低于 MNIST 数据集训练过程，仅有 0.08。从最终结果看，带非线性激活的衍射光神经网络模型获得了更好的图像分类性能，而且在同一个物理衍射模型中具备执行不同图像识别应用的潜力。仿真设计中，采用 PReLU 函数作非线性激活后，相位调制层输出受到截断和倍数增益，输出层图像对比度提高使参与网络计算的中间节点得到激活且被赋予更高的连接权重，避免了特征光斑传输中的光能损耗的缺陷，提升了网络对相似但不同类图像数据的区分识别能力。最终衍射相位层输出（红色）与输出经过 PReLU 光电激活的情况（绿色）对比如图 11所示。图 10衍射神经网络 Fashion-MNIST训练结果Fig.10Training results of diffraction neural network Fashion-MNIST图 8非线性衍射神经网络的衍射层相位分布Fig.8Phase distribution of diffraction layer of nonlinear diffraction neural network图 94层衍射神经网络性能对比Fig.9Performance comparison of 4-layer diffraction neural network498第 4 期王子荣，等：多任务衍射神经网络系统设计与实现4 光路系统设计与实现4.1系统工作原理及光路系统设计为实现衍射神经网络模型的光学计算，本文根据仿真训练的物理参数设计并搭建了光路系统，利用该系统做 MNIST和 Fashion-MNIST图像分类识别的光学实验，以证明系统具有执行多任务衍射神经网络光计算的能力。设计了基于 SLM器件的分块式衍射神经网络光路系统，如图 12（a）所 示，主 要 由 AMP-SLM（SLM1）、Phase-SLM（SLM2）、CMOS 相机、偏振分光棱镜 PBS、消偏振分光棱镜 NBS、CMOS 相机、532 nm 激光以及扩束镜等组成。532 nm 线偏振激光扩束且经过半波片调制后变为偏振方向垂直于光学平台的 S光。S 光通过 PBS 后入射到 SLM1，加载的振幅图像以 P 光形式输出并到达 SLM2 做纯相位调制，最终携带衍射相位信息的 P 光反射至 CMOS图 12衍射光神经网络光路系统Fig.12Light path system of diffractive light neural network图 11衍射神经网络相位调制层输出及输出层非线性激活效果Fig.11Demonstration of nonlinear activation effect of phase modulation layer output and output layer of diffraction neural network图 13ZEMAX衍射模型光路系统仿真Fig.13Simulation of diffraction model optical system by ZEMAX499第 39 卷液晶与显示图 14ZEMAX仿真输入及 CMOS光学面仿真计算输出对比Fig.14Comparison of ZEMAX simulation input and CMOS optical plane simulation calculation output500第 4 期王子荣，等：多任务衍射神经网络系统设计与实现相机完成探测。为利用该系统实现 4层衍射光神经网络功能，将 SLM1、SLM2 以及 CMOS 的光学平面划分为 4 个分区，顺序为 a、b、c、d 区，3 个器件上的 4 个分区位置沿光传播方向相对应，如图 12（a）所示。因此神经网络模型衍射传播计算过程按 a、b、c、d 顺序进行，首先 SLM1（a）区的振幅输入图像自由传输至 SLM2（a）区，经过相位调制 作 衍 射 连 接 计 算 后 输 出 的 复 振 幅 光 场 由CMOS（a）区接收并以光强形式记录。输出的光强分布经过 CMOS 相机 PReLU 非线性激活后，以振幅图像形式加载至 SLM2（b）分区，重新以振幅形式向 SLM1（b）传递，继续执行下一层衍射神经网络光计算任务。如图 12（b）所示，系统中的 3 个光学面经过 4 次光信息循环传输后，输入图像的分类识别结果由 CMOS相机（d）分区接收并对设计的分类标签区块做光强统计，从而得到图像的判别种类。完成系统原理设计后，本文采用 ZEMAX 建模整个光路系统模型并利用物理光学传播求解器仿真分析光路系统中 SLM 光学面的衍射情况，建模的系统如图 13 所示。仿真中设置 SLM 及CMOS 光学面传播尺寸为 16 mm9.8 mm，光学元件 NBS、PBS 尺寸为 25.4 mm25.4 mm25.4 mm，入射面光束为 532 nm 单色平行光，系统中各光学面间距与设计的网络模型保持一致，SLM1 和 SLM2 以及 SLM2 和 CMOS 的等效光学间距均为 150 mm。分别选取两个数据集中仿真的各层网络振幅输入图像导入 SLM1光学面。作为 SLM1 上的自由衍射光源，SLM2 则加载3.2节中训练的 4层衍射相位参数，如图 14（a）所示，通过衍射光学求解功能计算 CMOS的输出光场，模拟理想光路系统中接收面的衍射成像效果。最终ZEMAX衍射仿真计算的CMOS接收面光场分布几乎与网络训练时模拟的各层输出一致，如图 14（b）所示，验证了在严格按照 ZEMAX设计的光路系统参数下搭建实验平台做衍射神经网络光计算具备可行性。4.2光学实验结果及分析根据 4.1节的光路系统设计思路以及设计参数，采用光学元器件、激光器、液晶空间光调制器以及 CMOS搭建实验光路，最终衍射神经网络系统如图 15（a）所示。整个光路系统中，计算机驱动 SLM1、SLM2，为其加载振幅及相位调制参数，同时传输 CMOS 接收到的光强信息。根据3.3 节和 4.1 节设计的分区式衍射光神经网络工作原理，在 SLM 以及 CMOS 的光学面上选取尺寸为 1 2001 200的像素区域作为衍射神经网络层工作区，工作区上设计 4个区块，每个区块大小为 512像素512像素，且以 22形式分布排列。共两个工作区，其中一个为 SLM1加载输入以及CMOS接收并激活的各衍射层振幅调制图像，另一个为 SLM2 加载相位模板。光学面工作区选定以及工作区设计如图 15（b）所示。光 学 试 验 中，将 SLM 的 两 个 工 作 区 以 及CMOS面上选定的区域对准重合，保证光学系统正常执行衍射神经网络光学计算任务。两类数据集测试使用的相位模板分别为图 8 和图 10 中使用的相位参数，CMOS 光电 PReLU 非线性激活参数在测试中设置统一，4 个衍射分区的衍射元光强激活阈值分别为 CMOS（8 bit 模式）接收的 0、32、32、32 灰度级处，光强增益倍数分别为图 15衍射神经网络光路系统实物及衍射网络工作区选定和设计Fig.15Diffraction neural network optical path system physical and diffraction network working area selection and design501第 39 卷液晶与显示1.0、1.25、1.3、1.3 倍。为 完 成 光 学 测 试，从MNIST 的测试集中随机抽取 500 张图像，每类各 50张。Fahion-MNIST中则抽取 1 000张，每类100张。输入图像后，系统做衍射神经网络光计算并将识别结果输出至 CMOS（d）分区（图 12（a），测试 CMOS 接收面的 10个标签区块光强分布并做对比判别图像分类结果，接收到光强最强的区块，其输入图像的识别结果对应该区块的标签。同时，本文对非线性衍射光神经网络仿真模型做电子学测试，在保持与光路系统物理参数一致的条件下，对两种数据的测试集共 10 000张图像做分类预测并统计其正确率。完成测试后，获得衍射光神经网络在光路系统和仿真模型上的分类混淆矩阵，如图 16 所示，其中仿真测试图展示了识别百分比，光学试验图展示了识别个数。通过测试可知，衍射光神经网络在仿真测试中对 MNIST 数据集的识别正确率为 93.1%，接近训练中的 94.1%；对 Fashion-MNIST 数据集的识别正确率为 91.2%，同样符合训练预期。在光学测试中，两类数据集正确率分别为 91%和81.7%，对比仿真测试结果，分别下降 2.1%和9.5%。考虑到实验中光路系统装调存在误差，光学面之间难以实现像元级对准，系统中衍射神经网络光学的分类正确率下降不可避免。从性能上看，设计的衍射神经网络模型及光路系统可较好地模拟传统数字全连接模型做光学计算，完成不同图像数据集的分类识别任务。最终测试实验的部分图像识别结果如图 17（a）和图 17（b）所示，每类图像从上到下分别为对应的输入目标、仿真识别结果以及光学识别结果。图 164层衍射光神经网络的图像分类性能Fig.16Image classification performance of 4-layer diffractive optical neural network502第 4 期王子荣，等：多任务衍射神经网络系统设计与实现5 结论本文从衍射神经网络架构出发，对用作图像分类识别的光学衍射