基于改进型循环神经网络算法的食品包装智能实时识别系统研究.pdf

基金项目：河南省科技攻关项目（编号：）；河南省高等学校哲学社会科学基础研究重大项目（编号：）作者简介：王少英（），女，黄河交通学院教授，硕士。：收稿日期：改回日期：犇 犗 犐：犼 狊 狆 犼 狓 文章编号 （）基于改进型循环神经网络算法的食品包装智能实时识别系统研究 王少英犠犃犖犌犛 犺 犪 狅 狔 犻 狀 犵（黄河交通学院，河南 焦作 ）（犎 狌 犪 狀 犵 犺 犲犑 犻 犪 狅 狋 狅 狀 犵犝 狀 犻 狏 犲 狉 狊 犻 狋 狔，犑 犻 犪 狅 狕 狌 狅，犎 犲 狀 犪 狀 ，犆 犺 犻 狀 犪）摘要：目的：为了满足物联网边缘计算的需求，引入循环神经网络算法，构建智能实时分类识别系统，并对食品包装图像进行研究。方法：构建仿真试验测试模型，先对图像数据集进行预处理，将二维图像进行去冗余化、灰度化及归一化等处理，最终将时序化后数据并行输入；以典型的忆阻器作为实现硬件 的研究对象，采用忆阻器非线性函数构建并行阵列式储备池神经网络映射层；并利用岭回归算法解决训练过程中出现的过拟合等问题。结果：试验 方 法 对 食 品 包 装 数 据 集 的 分 类 准 确 率 高 达 。结论：该系统减少了传统神经网络层数，降低了训练成本，并实现了对时序信号的高精度实时在线识别。关键词：循环神经网络；图像识别；边缘计算；储备池计算系统犃 犫 狊 狋 狉 犪 犮 狋：犗 犫 犼 犲 犮 狋 犻 狏 犲：，犕 犲 狋 犺 狅 犱 狊：，犚 犲 狊 狌 犾 狋 狊：犆 狅 狀 犮 犾 狌 狊 犻 狅 狀：，犓 犲 狔 狑 狅 狉 犱 狊：；随着物联网的快速发展，“万物互联”的未来技术方案将逐步应用到智能食品包装、智慧工厂等实际场景，其中所用终端传感器设备不断增加，传感节点每时每刻所获取的各类数据呈几何级数增长。这些海量的边缘数据，如摄像头采集的食品包装标志图像均依赖于远离终端的云端或者高度定制化的人工智能芯片进行处理，从而导致了对海量边缘数据无法实现实时有效处理，或者成本大幅度增加。因此，探索一种新的人工神经网络算法边缘计算实现方案，使得满足诸如食品包装标志的实时在线识别与故障警报的实际需求，对智能食品包装应用具有重要意义。目前，主要通过摄像头等检测流水线上的食品包装信息，利用卷积神经网络（，）算法进行分类识别并给出指示，避免发生误包装事故。其中包括多列卷积神经网络，通过构建“层卷积层层池化层层全连接层”的单列网络结构，并通过种不同预处理方式组成一个完整的多列 结构，但多个网络的组合会产生大量的待训练参数，进而导致分类识别速率和训练速率均较慢；优化 的方法综合了批量归一化（，）方法、逐层贪婪预训练（，）方法，以 及 将 分 类 器 换 成 支 持 向 量 机（第 卷第期 总第 期 年月 ，）种方法对卷积神经网络结构进行优化。然而，算法主要用于处理二维静态图像数据，且训练时间长、资源浪费严重，本质上不适用于对实时采集的连续图像数据进行分类处理。循环 神 经 网 络 算 法（，）作为一种主要用来处理时序信息相关信号的基本人工神经网络算法架构，在实际应用中通常存在结构复杂、训练难度大，以及收敛速度慢等问题。循环神经网络算 法 通 常 是 利 用 时 间 反 向 传 播（，）算法进行训练，其训练计算代价较大，训练过程缓慢且训练成本高。利用 算法训练递归神经网络过程中，输入层和中间层的连接权变化缓慢，只有输出连接权变化明显。为解决上述问题，等提出了多种优化 训练难 度 高 的 改 进 型 算 法 模 型，包 括 长 短 时 记 忆 模 型（，）；等 提出了回声状态网络（，）；等 提 出 了 液 体 状 态 机（，）。研究 表明，回声状态网络和液体状态机算法本质上一致，并概括为储备池计算（，）。因此，算法作为一种改进型循环神经网络算法，其核心思想是利用一个储备池代替传统神经网络中的中间层，输入层到储备池的输入连接权和储备池的内部连接权均随机生成并保持不变，训练过程中唯一需要确定储备池到输出层的输出连接权。该算法模型的提出，极大地推进了专门用于处理时序信号的硬件神经网络算法的研究。该算法架构大大简化了传统 神经网络的训练计算难度，而且可以通过具备一定非线性特性与衰减特性的物理系统或器件在硬件层面实现该算法框架，在模拟域实现对传感信号的处理，有助于进一步推动边缘计算的实现。已有硬件 系统的研究多是利用不同类型器件，结合不同非线性特性进行基础性能的探索，其中包括电器件、光电器件以及全光器件、忆阻器以及自旋纳米振荡器等 。针对当前食品包装图像识别方案实时性差、成本高等问题，研究拟在智能食品包装这一具体应用场景下，引入改进型循环神经网络算法，构建以忆阻器非线性动态特性为核心的储备池计算系统。设计智能实时识别系统，通过仿真模拟实现对食品包装标志信号的分类识别，并验证该方法的可行性与实用性，以期为食品包装智能识别系统的开发提供依据。智能实时识别系统环境干扰食品包装图像数据采用公开的食品包装数据集 （），该数据集共有 类食品包装标志，包含万多张各类常见的食品包装图像，且这些图像的采集过程涉及不同的光照强度、拍摄角度、天气情况以及被遮挡等情况。该数据集构成为：训练集 个样本，测试集 个样本，验证集 个样本。通过对该数据集样本进行观察分析，总结整体样本存在的特征：不同样本的尺寸明显不一致；不同样本的背景信息不一致；不同样本的颜色不一致等。综合考虑样本特征，结合试验采用的阵列式忆阻器 系统需要保证待测信号的长度一致，而且样本颜色与冗余的背景信息不是实现分类识别的关键特征。因此将食品包装标志图像分别进行去除背景信息、灰度化与归一化处理以及重采样统一样本尺寸，最终实现降低模型训练的复杂度和减少模型的计算量的作用。预处理过程如图所示。图预处理过程 图利用官方给出的个 坐标信息进行图片背景的精准去除。使图像灰度化的方法较多，试验选择根据颜色空间（分量的物理意义是点的亮度，由该值反映亮度等级），根据 和颜色空间的变化关系可建立亮度犢与犚、犌、犅个颜色分量的对应，并以该亮度值表达图像的灰度值，其关系式为：犢犚 犌 犅。（）同时对其数值利用最大值法进行归一化操作，以便于后续调节参数更适配忆阻器 系统；最后选择使用一定的插值方法，对不同尺寸图像进行重采样缩放，试验采用“（）”函数，在默认使用双次插值的情况下，实现对不同尺寸样本统一转化为 像素 像素的图像。系统构成智能实时识别系统主要由控制程序外加三部分构成，包括信号采集与处理模块、硬件 系统与电路模块以及后处理回归算法模块。对食品包装标志等数据集的在线检测识别过程为：首先利用摄像头等传感器对实景中的食品包装标志进行采集，并转换为数字信号，从得到的视频流数据获取图像信息，经过一定的预处理过程；进 ，王少英：基于改进型循环神经网络算法的食品包装智能实时识别系统研究一步通过控制程序将待测信号输入由稳定非线性传输函数构成的 系统中，实时检测得到其动态响应信号；最后通过该响应信号矩阵，利用线性回归算法实现最优输出权重的训练，并将识别结果显示出来，其总体框图如图所示。图智能实时识别系统结构总体框图 第模块中的 系统是在传统软件 系统的基础上演变而来的硬件 算法实现架构，如图所示。其特点是利用物理器件的非线性响应特性实现传统的多个神经元节点构成的储备池映射层，既能保证高维映射性能，又能降低训练难度，节约整体成本。图改进型循环神经网络算法架构 改进型循环神经网络算法算法原理传统的储备池计算由输入层、储备池和输出层构成 图（）。输入信号通过输入层进入储备池，在储备池中被非线性映射到高维状态空间，输出层根据节点状态和训练过程中确定的输出连接权重产生输出信号，然后进行预测任务或者分类任务。训练过程中一般根据一个线性回归算法确定输出连接权。储备池系统的节点状态更新方程狓（狀）和输出方程狔（狀）分别为狓（狀）犳 犠 狌（狀）犠 狓（狀）犠 狔（狀），（）狔（狀）犳 犠 狓（狀），（）式中：狓（狀）节点状态；狌（狀）输入信号；狔（狀）输出信号；狀 时间步数；犠、犠 和犠 输入连接权值、内部连接权值、输出连接权值以及反馈连接权值；犳 状态激活函数；犳 输出函数（软件算法实现中通常选择双曲正弦函数作为犳 ）；犳 多项式恒等函数。由于 和 本质相同，此处只介绍 模型。如图所示，主要由输入层、储备池层和输出层部分组成。狌（狋）?犘为系统的输入向量，狋，犜。输入层与储备池层通过输入权重矩阵犠?犖犘连接，其中犖为储备池节点的个数。与 不同，输入权重矩阵犠 在系统初始化时随机指定，无需训练。储备池层由状态节点狓?犖组成。不是单项网络，储备池层状态节点的取值由两方面的输入决定：输入层的狌（狋）和储备池前一个状态节点输出狓（狋）。状态节点之间由状态反馈权重犠?犖犖连接。状态节点更新式为：狓（狋）犳犠 狌（狋）犠 狓（狋），（）式中：犳（）非线性激活函数。储备池层与输出层由输出权重犠?犕犖连接。网络需要训练的参数只有输出权重，因此大大减少了网络的训练计算量。训练目标为实际输出狔（狋）与目标输出狔（狋）之间的误差最小，其计算过程为：狔（狋）犠 狓（狋），（）犈（狔，狔）犕犕犿犜犜狋狔犿（狋）狔犿（狋）槡。（）需要训练的输出矩阵犠 可能为奇异矩阵，所以训练采用伪逆算法或者岭回归算法。有两个非常明显的特点：储备池中状态节点的连接状态是随机的，即神经元之间是否建立了连接、连接强度如何，外界是不清楚的；储备池中状态节点的连接权重矩阵是固定不变的，不会使用梯度下降法进行连接权重的更新。的这两大特点，使其拥有了 不具备的优势：只需训练输出权重矩阵，计算量显著降低；在一定程度上避免了梯度下降算法中的局部极小情况，从而避免了梯度爆炸和梯度消失的问题。综上，算法模型作为一种改进型循环神经网络算包装与设计 总第 期 年月图回声状态网络结构示意图 法，不仅解决了传统 网络复杂度高、训练难度大等问题，实现了对时序相关信号的快速处理；并且为硬件神经网络算法的实现提供了一条可行性极强的方案。硬件 工作原理试验重点以忆阻器件作为实现硬件 系统的研究对象，将其非线性响应特性与 算法相结合，实现传感信号在模拟域的直接感知与并行计算。同时，忆阻器的非线性动力学是构建硬件 系统的核心。与所有的忆阻器件一样，在忆阻器件的犐犞特性中可以明显观察到“迟滞”行为（图）。当施加正电压时，器件电导逐渐增加（称为写过程），当施加负电压时，电导逐渐减少（称为擦除过程）。图忆阻器响应状态随 电压的变化 此外，当进行多次连续的正向扫描时，器件电导会随着每次扫描持续增加，但迟滞回路之间也会出现重叠，这与储备池计算系统中的短时记忆行为一致；此外，忆阻器加工工艺与传统半导体工艺兼容，且具备集成度高、体积小、成本低等特点。因此，选择忆阻器作为实现模拟硬件 的研究对象，通过构建其仿真试验模型，初步探索其对食品包装标志信号的实时分类能力。忆阻器响应电流与驱动电压的非线性表达式为：犐（狑）（犞）狑 （犞），（）式中：对应犞贫区电导的肖特基项；对应犞富区电导的类隧通项（两个传导通道并联，其相对权重由内状态变量狑决定）。状态变量狑相对于外加电压的变化率的动力学方程为：狑狋 （犞）狑，（）式中：外加电场下的漂移效应；自发扩散系数；扩散时间常数。表的非线性传输函数表达式相关参数均按照所设计器件的参数给出，在仿真试验中默认其值保持不变。表忆阻器 模型相关参数 参数取值参数取值 、均为正值参数（均由材料属性决定）。每个脉冲时序信号输入前，忆阻器初始化为狑，对应于器件的静息状态。器件在脉冲时序信号中的变化可以分为两种情况：（）当施加写脉冲时，状态变量狑通过式（）改变：狑犚（狑）狋 （犞 ），（）式中：狋 、犞 输入脉冲的时间长度与电压大小。衰减效应往往在写入脉冲时序信号时被忽略，犚（狑）主要用于保证状态变量狑不会超过其自身上限（狑），表达式为犚（狑）（狑）（狑 ），狑 。（）（）在写入脉冲的电压信号为的周期内，状态变量将会衰减，形式为狑（狑狑 ）狋（），狑 ，（）式中：狋 该周期的长度；狑 该周期状态变量的初始值。该效应可通过对式（）在犞时求积分得到。当写入一定的脉冲信号时，读出脉冲施加相当于可以得到式（）中的响应电流信号。因此，储备池状态就可以通过包含忆阻器读出电流的向量信号表示，对于试验 ，王少英：基于改进型循环神经网络算法的食品包装智能实时识别系统研究预处理后的图像（），固定狋 下采用单个忆阻器处理单行灰度值信号，响应向量长度即为。并行忆阻器 算法框架在忆阻器 系统，基础上，根据忆阻器的非线性传输函数表达式，构建图中改进型循环神经网络算法模型的储备池层，用于实现对待测食品包装标志时序信号进行实时分类处理。为更好地提升系统的计算速度，使得该系统的算法运行时间所产生的延时最小，试验设计了一 种 并 行 忆 阻 器 算 法 架 构，其 原 理 如 图所示。试验设计模型利用 个忆阻器构建 个并行 系统阵列。预处理后的图像样本为 像素 像素的图像，将每一行 的数据添加时间信息狋，作为一段时序信号输入至单个忆阻器 系统；每个忆阻器 分别对待测信号进行非线性高维映射，产生相应的状态响应；将 个并行忆阻器 系统的实时状态响应串联为 的向量，作为该待测图像样本的高维非线性状态输出犐犻。所有样本输出状态为犖犐（犖为数据集样本数），进一步与构建的 个分类器进行线性回归训练，得到最优权重犠犻；利用测试集或者验证集中的样本进行测试，与 个最优权重值相乘后利用“”的算法得到最终的分类结果；然后与真值比较，如果该样本分类准确则“”，分类错误则“”，通过计算该值与测试总样本数的比值得到最终分类准确率。图并行忆阻器 系统示意图 储备池系统的输出状态本身并不是整个 系统所期望的结果，因此需要对该输出状态进行线性回归训练，获得系统最优权重向量，从而实现对测试集数据有效的分类与回归预测。该线性回归模型的训练算法为每个神经元节点分配一个输出权值，使状态的加权和尽可能接近期望的目标值，一般用式（）表示。狔（狋）犠犜狓（狋），（）式中：犠 待训练输出权重向量；狓（狋）储备池状态输出向量；狔（狋）预测值；狔 目标真值。一般对于所述线性回归模型，需要使用最小二乘估计（，）来训练其最优权重向量值，其损失函数为：犠（犡犜犡）犡犜狔。（）为了避免训练数据过拟合以及模型大量参数导致的复杂度，一般解决方案是通过在式（）上加一个惩罚项。如果惩 罚 项 是 参 数 的犔范 数，为 岭 回 归（）模型，其损失函数的解为：犠（犡犜犡 犐）犡犜狔。（）如果惩罚项是参数的犔范数，为拉索回归（）模型，其损失函数的解为：犠（犡犜犡）（犡犜狔）。（）第二项的目的是使犠权重尽可能小，同时使误差最小化。在训练权重系数规模不是特别大的情况下，这两种方法都可以使用，并有望产生相同的结果。试验采用岭回归算法作为用于输出层权值训练的方法，有效避免过拟合现象，同时保证权值数量的一致性。图为具体训练测试流程。首先对所选择 数据集进行如图所示预处理，得到无冗余背景、尺寸一致的归一化灰度值样本；构建由忆阻器非线性传输函数为储备池层的并行 仿真模型，并通过先验知识确定模型各参数；利用训练集数据样本进行 个分类器最优权值的训练，并通过测试集数据进行均方误差（犕）评估，通过式（）的岭回归函数得到犕 最小时的取值，反复迭代优化后确定最优犠犻；最后利用验证集进行最终性能测试，得到该算法模型分类精度指标。犕 犿犿犽（狔犽狔犽），（）式中：图系统训练测试流程图 包装与设计 总第 期 年月狔犽 预测值；狔犽 目标值；犿 目标函数中以时间为步长的数值个数。验证实验结果与分析以 作为程序开发环境，利用忆阻器非线性振动特性作为激活函数，设计并行忆阻器 系统对 类不同食品包装标志数据进行仿真模型搭建。图为 系 统仿 真 模 型 示 意 图，通 过 构 建式（）的 非 线 性 振 动 方 程 以 及 测 试 电 路 模 块，利 用 的控制程序实现预处理后数据的并行输入与保存，以及岭回归算法完成训练与测试。最终模拟实现对“视频流”图像数据的实时分类处理，并做出相应警告与提醒。图仿真模型部分示意图 设置试验系统写入 脉冲信号的犞 ，首先选择狋 ，时 间 间 隔狋，分别与归一化后的待测信号数据相乘后输入忆阻器 系统。试验测试结果表明，当狋 时，试验系统对有效数值信号的非线性积累效果最好。在已有试验参数设置基础上，已实现对不同灰度值数据的非线性积累效应，但是由于忆阻器的电导率会随正向电压的施压，导致中间层离子浓度不断积累，最终达到最高离子浓度饱和值。因此，需要通过调节输入数据图优化写入脉冲时间试验结果 前后时间间隔周期狋来实现离子浓度的降低，达到非线性状态衰减的效应。从而模拟神经元实现一定的上下文关联与短时记忆特性，保证系统实现复杂的非线性映射与状态积累。所设计优化试验通过改变狋，分 别 取值 的 个数值进行参数扫描试验测试。由图 可知，当狋 时，系统整体性能达到最优，此时的分类准确率高达 。图 优化时间间隔试验结果 由于数据集中采集数据因为光照、天气影响以及遮挡等非可抗力影响，导致图像本身产生形变难以辨别。因此，由表可知，试验设计系统的分类准确率最高只达到 。综合对比表明，试验建立的阵列式忆阻器 系统实现的分类准确率较高，已达到较高水平；试验利用单个物理器件的非线性振动特性方程作为传统神经网络算法中的犖个复杂连接的激活函数，不仅大大降低了神经元网络映射层的构建难度、节约了训练成本，还通过并行阵列式忆阻器 系统架构提升了计算速度。结论研究利用改进型循环神经网络算法，利用忆阻器非线性传输函数作为储备池神经网络映射层，构建并行储备池计算系统并设计智能实时识别系统仿真试验，最终实现了对食品包装的实时分类识别。结果表明，试验方表不同神经网络算法模型对比 算法模型准确率 优化 试验方法 ，王少英：基于改进型循环神经网络算法的食品包装智能实时识别系统研究案不仅取得了较高的分类准确率，且初步实现了对“视频流”图像数据的实时在线处理，极大提高了计算效率。说明循环神经网络算法构建的智能识别系统可以实现对食品包装标志信号的实时在线识别，并有望作为一种实现智能食品包装枢纽终端的重要技术方案。后续将进一步进行试验测试系统的搭建，并在此基础上逐步完善和改进该智能实时识别系统实现方案。参考文献?（?）?（?）?（?）?（?）?（?）?吴昊然?陈晓星?高傲?基于深度卷积神经网络的食品包装缺陷检测算法研究?智能计算机与应用?（?）?（?）?（?）?（?）?（?）?（?）?（?）?（?）?（?）?（?）?（?）?（?）?（?）?（上接第 页）?（?）?田萱?王子亚?王建新?基于语义分割的食品标签文本检测?农业机械学报?（?）?（?）?暴泰焚?焦慧敏?张皓?等?基于语义分割的纸质包装产品表面缺陷检测?制造业自动化?（?）?（?）?包装与设计 总第 期 年月