基于感知神经网络的图像恢复研究样本.doc

资料内容仅供您学习参考，如有不当或者侵权，请联系改正或者删除。
基于进化形态神经网络的图像恢复
何春梅
( 华东交通大学 信息工程学院, 江西 南昌 330013)
摘要: 本文提出了进化形态神经网络的概念, 给出了进化形态神经网络的误差能量函数关于连接权值的非连续偏导数的计算方法, 进而给出了网络连接权值的调整计算公式, 之后为进化形态神经网络提出了一种新的学习算法, 用遗传算法获取参数学习率的最优值, 最后将训练好的进化形态神经网络用于脉冲噪声图像恢复, 仿真实验表明该进化形态神经网络在图像恢复方面具有良好的潜力。
关键词: 形态神经网络; 图像恢复; 学习算法; 遗传算法
中图法分类号 TP183
Image restoration based on Evolutional morphological neural networks
Chun-mei He
(School of Information Engineering, East China Jiaotong University, Nanchang 330013, China)
Abstract: The concept of Evolutional morphological neural networks (EMNNs) is introduced in this paper. The partial derivatives formulas of the discontinued error functions and the adjusting computation of the weights in the EMNNs are proposed. And a new learning algorithm is presented for genetic morphological neural networks. Then the EMNNs are proposed and applied to restore the impulse noise images. The simulation experiments shows that the image restored by the proposed EMNNs is quite good and the proposed method can be well applied into image restoration.
Key words: morphological neural network; image restoration; learning algorithm; Genetic algorithm
1 引言
人工神经网络和形态学结合产生了形态神经网络[1-9] (Morphology Neural Networks, MNN), MNN的概念来自图像代数[5], 在MNN中每个神经元节点都执行相应的形态学算子。MNN已广泛应用于图像恢复中, 文[1]提出了用遗传算法训练模块化形态神经网络( Modular Morphological Neural Network, MMNN) 的参数, 包括内部权值、 网络结构和模块的数目, 并将训练好的MNNN用于灰度图像的恢复和边缘检测; 文[2]提出了一种由形态秩滤波器和线性滤波器组合而成的非线性滤波器用于灰度图像恢复和辨识, 其中滤波器的训练采用的学习算法是最小均方差算法。文[3,4]提出将多层形态神经网络(Multi-layer Morphological Neural Network, 多层MNN)用于彩色图像的恢复, 将彩色图像看成是RGB三通带的灰度分量图像组合而成, 实质也是灰度图像处理, 依然采用最小均方差算法训练多层MNN的权值。可见上述文献中, 对于MNN的训练算法多数采用的是最小均方差算法, 其算法中学习率和动量因子都是固定的, 不具有自适应性, 而且学习率的设置需人工设置, 设置不当可能导致算法振荡或者不收敛。本文将一种进化算法: 遗传算法和多层MNN结合形成进化形态神经网络, 进化形态神经网络的拓扑结构和计算基础和形态神经网络一样, 不同的是其训练学习过程。在进化形态神经网络的学习训练中, 本文基于遗传算法为网络提出一种新的学习训练算法, 并将训练好的进化形态神经网络用于脉冲噪声图像的恢复, 用于图像处理的神经网络模型众多, 如Hopfield神经网络[10]和混沌神经网络[10]、 模糊神经网络[11]、 脉冲耦合神经网络[12]和形态神经网络[1-4]等, 本文将所提出的进化形态神经网络进行图像恢复, 仿真效果良好, 为今后图像恢复提供了一种新的实用途径。
2进化形态神经网络(EMNN)的数学基础
基于格代数的矩阵算子被广泛地应用到工程科学中。在这些应用中, 传统的矩阵加法和乘法算子被相应的格代数算子所代替。将格代数引入到矩阵算子中产生了一类完全不同的非线性变换的观点。以格代数的矩阵算子为基础形成的MNN最初是由Ritter 和Davidson等人[6-8]提出的。进化形态神经网络和多层MNN的计算基础大致一样, 对此本节加以简单介绍。
在一般的人工神经网络中, 第m层节点j的输入输出关系为:
(1)
而在进化形态神经网络中, (1)式中加法和乘法运算将分别用加法和取最值( 最大或最小) 的运算取代, 其中神经网络的节点的输入输出关系被修改为非线性的计算。进化形态神经网络的拓扑结构如图1所示, 可知进化形态神经网络是一个多输入单输出的多层前馈神经网络。

图1 进化MNN的拓扑结构
设网络的第i个输入训练样本为, 第j个隐含层神经元的输出为, K表示训练样本个数, N为每个训练样本的维数, H为隐含层中的神经元个数, N取决于结构元素的大小 (如本文中选择的9邻域的结构元素, 则N=9), 而隐含层神经元个数能够自由选择。整个网络的输出为v(t)。表示输入层第i个节点到隐含层第j个神经元的连接权值, 表示隐含层的第j个神经元到输出层的连接权值, 它们直接的关系如下:
或 (2)
上式中, ∨和∧分别表示取最大或最小值的运算, N为输入神经元的个数( 即输入训练样本维数) 。
输出层为一个节点组成, 整个网络的输出v(t)为
(3)
上述(2)-(3)式中, 隐含层激活函数为, 其中; 输出层的激活函数为, 即, 其中。
3 进化形态神经网络(EMNN)的训练
将EMNN用于图像恢复之前, 我们先要将EMNN的连接权值Wo和Wi训练好。假设每个输入训练样本的维数为N( 对应网络输入层神经元节点数为N) , 训练样本数为L。
在整个图像恢复中, 网络的训练是一个监督学习的过程, 即训练EMNN使得期望输出和实际网络输出的均方误差达到最小, 选用的均方误差指导函数E如下:
(4)
其中分别表示第i个输入训练样本对应的网络的实际输出和期望输出, 即实际输出的复合函数为:
。
采用基于遗传算法的共轭梯度算法来训练网络的连接权值, 在迭代的每一步, 用遗传算法获取学习常数η的最优值, 其网络连接权值的调整公式如下, 其中η为学习常数, α为动量因子。
(5)
(6)
其中和是误差指导函数E对两个连接权值的梯度向量, 按照复合函数偏导的链式求导规则, 其计算过程如下:
(7)
(8)
其中偏导数在点并不连续, 受文献[13,14]的启发, 我们定义偏导数如下:
,
算法1 基于遗传算法的共轭梯度算法
Step 1 初始化: 给出学习算法的训练模式对, 其中x是网络的输入向量, d是网络的期望向量, y为网络的实际输出。设定误差上限, 迭代最大步数MaxTime, 令迭代时间步数t=1, 随机初始化连接权值Wi和Wo。
Step 2 对网络进行第一次训练, 计算误差函数E的值。
Step 3 WHILE (? and t数E的两个梯度向量: 和。
(2)采用遗传算法获取学习常数η的最优值:
。
(3)按照(5)-(6)式计算网络的两个连接权值Wi和Wo, 其中η为学习常数, α为动量因子。
(4) t=t+1.
(5)计算第i个训练样本输入网络的误差函数。
ENDWHILE
Step 4 保存权值向量Wi和Wo用于图像恢复。
采用遗传算法GA来获取上述算法中的最优学习常数的主要过程如下:
(1)编码。将每个学习率近似地表示为一个固定长度的二进制数。每个二进制串就代表了一个可能解, 所有可能解共同组成了解空间。
(2)初始化。设置进化过程中的种群个体的总数为n。从解空间中随机选取n个点组成初始种群, 并设置迭代次数t=0, 最大迭代步数Max_gen=50。
(3)计算适应度。任取, 计算, 其中P(t)为第t代种群。
(4)遗传选择。采用赌轮选择机制, 个体生存概率为。
(5)遗传算子。从种群P(t)中随机选取两两配正确个体, 设是交叉算子, 其中的交叉概率为。
变异算子会使二进制串个体的某些基因位的值发生改变, 变异概率选取较小的值, 如0.005。
(6)停止条件, 重复上述(3)-(5)步直至找到满意的解或达到最大迭代步数。
4仿真实验
原图像为EMNN对应的期望输出d, 将原图像加入脉冲噪声得到退化图像A, 按照下列方法采样以获取网络输入矩阵X:
设退化图像为灰度图像A, 我们选用的结构元素是3*3的滑动窗口, 即退化图像像素周围的一个9邻域。首先我们沿着退化图像的前三行从左到右依次取周围9邻域的9个像素作为一个训练样本, 然后是接下来三行进行取样, 从而获得输入矩阵X。我们采用滑动窗口对图像整体进行全局取样获得输入矩阵X, 因此退化图像边缘处的两行两列像素点不会被扫描到, 如果退化图像是m*n的矩阵, 则能够采样获取K=(m-2)*(n-2)个训练样本, 每个训练样本都是一个9维向量, 因此网络输入层神经元节点数为N=9。
从而得到网络的输入矩阵为X, 其中第i个输入样本为, i=1,2,…,K。设网络的结构元素为, 则灰度形态滤波运算记为, 其中表示取最大或最小运算, 或者由最大和最小运算组合而成的复合运算, 包含以下两种取大和取小运算( 又称为膨胀和腐蚀算子) : 和 。
为了有利于不同输入样本的统一分析, 我们能够对输入训练样本进行归一化处理, 使得每个样本的能力统一到单位能量上。由于此处为灰度图像, 我们能够用图像的最大灰度值来归一化输入训练样本和结构元素, 使得形态运算的动态范围为 [0,1], 期望输出也要进行归一化处理。
在MATLAB 环境下, 应用上述多层MNN对被脉冲噪声污染的图像和模糊图像进行恢复实验, 其中隐含层的神经元选为H=5个, 选择的结构元素为3*3的滑动窗口, 则输入层神经元节点数为N=9, 图2显示了脉冲噪声图像采用EMNN恢复和中值滤波器恢复的比较以及误差随迭代时间变化的情况, 图3显示了用模糊图像用EMNN恢复以及用中值滤波器恢复的结果比较。
5结束语
本文首先提出了EMNNs的概念, 给出了EMNNs连接权值的调整计算公式, 然后本文为EMNN提出了一种新的学习算法: 基于遗传算法的梯度下降算法, 采用上述学习算法将训练好的EMNN用于图像恢复, 仿真实验表明该算法具有良好效果。由于遗传算法只是进化算法中的一种, 今后的研究方向能够类似将其它进化算法比如量子遗传算法或蛙跳算法等进化算法引进到形态神经网络中, 提出更多的进化形态神经网络, 并寻求进化形态神经网络在模式识别和预测等方面的应用。

图2 脉冲噪声图像的恢复结果

图3 模糊图像的恢复结果
参考文献
[1] Lucio F. C. Pessoa, Petros Maragos. MRL-Filters: A General Class of Nonlinear Systems and Their Optimal Design for Image Processing. IEEE Trans. On Image Processing, 1998, 7(7):966~978
[2] de A. Araujo, R, Madeiro, F. Improved Evolutionary Hybrid Method for Designing Morphological Operators. IEEE Inter. Conf. on Image Processing, , 2417~2420.
[3] Ling Zhang, Yun Zhang, Yi Min Yang. Colour image restoration with multilayer Morphological Neural network”, Proc. of the second inter. conf. on Machine learning and Cybernetics, Xian,
[4] S. Uma, Dr. S. Annadurai. Colour Image Restoration Using Morphological Neural Network. GVIP Journal, , 5(8):53-60
[5] G.X. Ritter. Recent developments in image algebra. In P. Hawkes, editor, Advances in Electronics and Electron Physics, 1991, 80: 243–308. Academic Press, New York.
[6] J.L. Davidson, G.X. Ritter. A theory of morphological neural networks. In Digital Optical Computing II, volume 1215 of Proceedings of SPIE, 1990, 378~388.
[7] G.X. Ritter, J. L. Davidson. Recursion and feedback in image algebra. In SPIE’s 19th AIPR Workshop on Image Understanding in the 90’s, Proceedings of SPIE, McLean,Va., 1990.
[8]何春梅,叶征春等. 形态双向联想记忆网络中训练模式正确摄动研究.南京理工大学学报(自科版), ,35(5):664-669
[9]Chunmei He. Influences of perturbation of training pattern pairs on morphological bidirectional associative memories. Fourth Inter. Conf. on Intelligent Computation Technology and Automation, 2:1118-1121
[10] 丁伟. 基于神经网络的图像恢复方法研究. 江苏科技大学硕士论文, .
[11] Pu-Yin Liu, Hong-Xing Li. Fuzzy techniques in image restoration research—A Survey. International Journal of Computational Cognition, , 2(2): 131~149.
[12] 张军英,卢志军等. 基于脉冲耦合神经网络的椒盐噪声图像滤波. 中国科学, ,34(8):882~894.
[13] A. Blanco, M. Delgado, E. Requena. Identification of fuzzy relational equations by fuzzy neural networks. Fuzzy Sets and Systems, 1995, 71:215-226
[14] Four-layer regular fuzzy neural networks and its fuzzy BP learning algorithm. WSEAS Trans. On Systems, , 3(5):598-604