多元多项式函数的三层前向神经网络逼近方法.doc

《计算机学报》2009年5期
多元多项式函数的三层前向神经网络逼近方法本课题得到国家“973”重点基础研究发展计划项目基金(2007CB311000),国家自然科学基金重点项目(70531030),国家自然科学基金(10726040,10701062,10826081),教育部科学技术重点项目(108176),中国博士后科学基金(20080431237),西南大学博士基金(SWUB2007006)和西南大学发展基金(SWUF2007014)资助.王建军，男，1976年生，博士，副教授，主要研究方向为神经网络，学习理论和逼近论。E-mail: wjj@. 徐宗本，男，1955年生，博士，教授，博士生导师，主要研究领域为人工智能，非线性泛函分析等。

王建军 徐宗本
(西南大学数学与统计学院 重庆 400715)
(西安交通大学信息与系统科学研究所 西安 710049)

摘要 本文首先用构造性方法证明：对任意阶多元多项式，存在确定权值和确定隐元个数的三层前向神经网络，它能以任意精度逼近该多项式，其中权值由所给多元多项式的系数和激活函数确定，而隐元个数由与输入变量维数确定。我们给出算法和算例，说明基于本文所构造的神经网络可非常高效地逼近多元多项式函数。具体化到一元多项式的情形，本文结果比文献[11]所提出的网络和算法更为简单、高效；所获结果对前向神经网络逼近多元多项式函数类的网络构造以及逼近等具有重要的理论与应用意义，为神经网络逼近任意函数的网络构造的理论与方法提供了一条途径。
关键词 前向神经网络, 多元多项式, 逼近, 算法
中图分类号 TP18

Approximation Method of Multivariate Polynomials by Feedforward Neural Networks

WANG Jian-Jun XU Zong-Ben
(School of Mathematics & Statistics, Southwest University, Chongqing 400715)
(Institute for Information and System Science, Xi'an Jiaotong University, Xi'an 710049)

Abstract Firstly, this paper investigates that for a given multivariate polynomials with order, a
three-layer feedforward neural networks with determinate weights and the number of hidden-layer
nodes can be established by a constructive method to approximate the polynomials to any degree of
accuracy. Secondly, the weights are decided by both the coefficients of the polynomials and the
activation function, and the number of hidden-layer nodes of the constructed network depends on the
order of approximating polynomial and the dimension of input on the network..Then we give
the algorithm and algorithmic examples, where the constructed networks can very efficiently approxi-
mate multivariate polynomials. Specifically, for a univariate polynomial, the constructed network and realization of algorithm obtained are simpler and more efficient than those of the reference [11]. The obtained results are of theoretical and practical importance in constructing a feedforward neural network with three-layer to approximate the class of multivariate polynomials. They also provide a route in both theory and method of constructing neural network to approximate any multivariate functions.
Keywords Feedforward neural network; Multivariate polynomials; Approximation; Algorithm
10

一． 引言

近年来，许多学者对神经网络逼近问题进行了研究，取得了一系列重要成果。神经网络已经在工程、计算机、物理、生物等学科中得到了广泛的应用，大多数应用都被转化为利用神经网络逼近多元函数的问题([1]-[5]等)。神经网络之所以能得到广泛应用，其主要原因之一是它具有一定意义上的万有逼近性([6]，
[7]等)。所有这些研究的一个典型结论是：任何一个定义在上的连续函数可以通过一个具有单一隐层的三层前向神经网络任意逼近。一个具有单一隐层，含 个输入，个输出的三层前向神经网络数学上可表示为：
(1)
其中是阈值,
是输入层与隐层第个神经元的连接权值，是隐层与输出层之间的连接权值,是隐层节点的激活函数(传递函数)。通常情况下，网络激活函数取为 型函数，即满足(), ()的函数。用向量形式表示，(1)可进一步表达为

众所周知，人工神经网络的结构设计(使之有能力学习给定的函数)是其应用中的重要而基本的问题。 最近，有较多的工作(如文献[8]-[10])研究前向神经网络的逼近精度与隐元个数的关系，以从理论上反映网络逼近速度与网络拓扑之间的关系。 但是，这些理论结果并没有给出实现函数逼近的具体算法，所构造的网络也过于复杂，不易实现，所以很难在实际中得到应用。一元多项式是最简单和最基本的被逼近函数形式。在文献[11]中, 作者对一元多项式构造了一种前向神经网络，给出了逼近的理论结果和算法实现；对于多元情况，由于多元区域中点的方向的无穷性、多项式的展开分解以及差分的介入等问题的复杂性，它并不能表示为一元多项式的简单叠加，在逼近意义下，也不是一元多项式的简单推广，因而对于多元多项式，神经网络实现起来并不容易。然而，我们知道，多元多项式能够任意逼近任何一个连续多元函数，因而如何高效实现多元多项式的神经网络逼近对于发展对一般函数的神经网络逼近(特别是网络设计理论)有重要意义。有鉴于此，本文研究目标函数为多元多项式的三层前向神经网络的逼近问题。我们将给出一个具有确定隐元个数和确定权值向量的三层前向神经网络来实现对多元多项式的任意逼近。所给出的确定网络，其隐层节点数由所逼近多项式的阶数和输入空间的维数确定，而权值由所逼近多项式的系数和激活函数确定。我们将给出一个具体的算法实现网络设计。算例表明：所提出的算法十分高效，在一元情况，同文献[11]的结果相比，本文算法所构造网络的逼近精度比[11]提高了10倍. 本文所获结果对前向神经网络逼近多元多项式函数类的网络具体构造以及实现逼近的方法等问题具有重要的指导意义。

二．记号及主要结果

在本文中我们将采用如下记号，分别表示非负整数、实数，表示维实 空间；表示 . 对任何,，. 向量与的内积表示为:

同时记

用表示,表示. 对任意定义在上的光滑函数其-阶偏导数表示如下

其中 .
我们用表示定义在有界区域上的所有元实的、次数不超过的代数多项式。我们利用这些记号给出如下的逼近定理。
定理. 设是定义在上的具有
-阶连续有界导数的函数，且对任意的,,存在某一,使得., 则可以构造一个输入,一个输出及隐元个数为 的三层前向神经网络:

使得

证明. 设
(2)
记, 由于

(3)
于是

(4)
因而
(5)
将(5)式代入(2)，我们得到
(6）
对任意固定的,我们考虑以下有限j-阶差分
(7)
其中. 由三角不等式以及差分的积分表示,我们得到

(8)
其中(见[12])是函数的连续模, 且当有连续导数时, 令 于是

(9)
其中常数

由(8),(9), 我们可以构造出如下神经网络

(10)
其中
(11)
,
(12)
且由(9)知满足

令,得到

至于隐层单元个数，我们由(10)式很容易看出，网络具有个单元。
注1：从上述证明中我们看到，对于给定的多元多项式, 其神经网络的权值可具体由(11) 和(12)确定。从(11) 和(12)我们看到，它由所逼近多项式的系数和所选定的网络激活函数在点的各阶导数值唯一确定。

三．算法和算例

算法
总结上节讨论，我们能给出如下构造逼近多元多项式神经网络的算法：
给定参数：多元多项式的系数，阶数;
误差要求, 输入最大值，；满足要求的激活函数的具体表达式; 搜索步长.
第一步 求出隐元个数;
第二步 选择阈值并计算；
第三步 求出；
第四步 计算；
第五步 选取满足并令;
第六步 利用方程(12)计算权, 即；
第七步 结束。

算例
首先，我们采用文献[11]中的例子作为我们第一个算例，且和文献[11]的结果进行比较。

例1. 选取激活函数, 令被逼近的多项式函数为, 输入的最大值为 , 误差要求,则节点数是,选取阈值使得,通过计算，得到, , 所以,

于是，我们可以选择,注意到的表达式, 我们计算得到

从而，对于多项式函数, 我们可以构造前向神经网络

计算结果见表1，误差曲线见图1，文献[11]中关于此例的误差曲线见图2.

注2. 从这个例子可以看出，我们所构造的网络不但简单、容易计算网络权值，而且逼近精度非常理想。从网络构造上来说，本文所构造的网络比文献[11]的网络更容易实现，其计算复杂度明显下降，这只需注意到，[11]中需要通过计算以下矩阵的逆

表 1

其中是例1所构造的网络,是文献[11]所构造的网络。

图1. 例1误差曲线图

图2.文献[11]的误差曲线图

来实现网络构造，而显然，当多项式的阶数很高时，上式计算复杂度甚高；而本文的算法不涉及这样的矩阵求逆运算。 从计算结果来看，本文的结果明显好于文献[11]的结果，其误差精度提高了10倍。

例2．选取激活函数,令被逼近函数为二元三次多项式
, 输入的最大值为,误差要求, 则节点数,并且,,，
,,以 , 从而. 我们取
, 则利用(10)，我们可以得到
（13）
使得

表2(以搜索步长), 图3(误差曲线图（）)对例2进一步加以说明。
图3. 例2的误差曲面图（）

注3.从例2可以看出，我们构造的网络实际用到的隐元个数是10(由(13)式,右端共有10项是非零的,故此时隐元个数为10),而不是象定理所预测的 ( ),这是由于我们的定理是对于一般的多元多项式来给出隐元个数，而本例仅是一般多项式的一个特例。同时我们知道，对多元多项式，由于其方向的多样性，并不是简单的一元多项式的叠加，比一维情况复杂的多
；从这个算例我们可以看到，我们所构造的神经网络简单，非常容易计算，实现了对多元多项式的逼近，误差结果十分理想，它为我们实现对任意多元函数的逼近提供了一个很好的范例。

例3．选取激活函数,多项式

表 2

其中是例2所构造的网络。
,用我们的方法得到的网络逼近的仿真曲面图和误差曲面分别见图4，5.
图4. 神经网络对的仿真曲面图

四．结论

本文所构造的三层前向人工神经网络的方法和逼近的具体算法实用简单，容易计算。 通过算例看出实现这一逼近比较容易，而且十分高效，计算复杂度较低。所获结果表明：对给定阶数的多元多项式,存在确定权值和确定隐元个数的三层前向神经网络，它能以任意精度逼近该多项式，其中权值由所给多元多项式的系数和激活函数确定，而隐元个数由与输入变量维数确定，而且这一逼近完全可以通过一个具体的算法实现，这为我们对任意函数被神经网络逼近提供了一个很好的理论和实践方法，具有重要的指导意义。

五．致谢

作者衷心感谢审稿人提出的宝贵意见和建议。

参考文献
[1] Mckenna T, Davis J, Zometzer S F. Single neuron computation. New York:Academic Press, 1992
[2] Skrzypek J, Karplus W. Neural networks in vision and pattern recognition. New Jersey: World Scientific,1992
[3] Taylo J G. Mathematical approacheses to neural networks. New York:North-Holland, 1993

图5. 例3的误差曲面图（）

[4] Chen Tian-Ping,Chen Hong. Universal approximation to nonlinear operators by neural networks with arbitrary ac-
tivation functions and its application to a dynamic system. IEEE Transaction on Neural Networks, 1995,6(4):911-917
[5] Chen Tian-Ping. Approximation prob-
lems in system identification with neural networks. Science in China,
Ser.A,1994,24(1):1-7(in Chinese)
(陈天平, 神经网络及其在系统识别应用中的逼近问题, 中国科学(A辑),1994,24(1)
:1-7)
[6] Cybenko G. Approximation by superpos-
itions of sigmoidal function.Mathema-
tics of Control, Signals and Systems, 1989,2(4):303-314
[7] Hornik K, Stinchombe M, White H. Multilayer feedforward networks are universal approximators.Neural Networks, 1989,2(2):359-366
[8] Kurkova V, Kainen P C, Kreinovich V. Estimates of the number of hidden units and variation with respect to half-space.Neural Networks,1997,10 (6):1068-1078
[9] Maiorov V, Meir R S. Approximation bounds for smooth functions in by neural and mixture networks. IEEE Transaction on Neural Networks,1998, 9(5):969-978
[10] Cao Fei-Long, Xu Zong-Ben. Neural network approximation for multivaria-
te periodic functions: estimates on approximation order. Chinese Journal of Computers, 2001, 24(9): 903-908 (in Chinese)
(曹飞龙, 徐宗本, 多变元周期函数的神经网络逼近: 逼近阶估计. 计算机学报, 2001,24(9): 903-908)
[11] Cao Fei-Long, Xu Zong-Ben. Approxim-
ation of polynomial functions by

WANG Jian-Jun, born in 1976, Ph.D., associate professor. His research interests include neural networks,learning theory
and approximation theory of functions.

Background
Artificial neural networks have been extensively applied in various fields of science and engineering. Various problems concerning application of neural networks
in science and engineering can be converted into problems of approximating functions by superposition of the neural activation functions of the networks. The approximation of multivariate functions by the FNNs has been widely studied in past years, with various significant results, concerning density or complexity. However, from the respective of application, the algorithm research on approximation of the neural networks is more hopeful, especially, the determination of topology of neural networks and the parameter of algorithm. Polynomial is a class of fundamental functions. There are many methods to realize its approximation. We study an algorithm based on the theory of
neural networks, and give theory and exp-
eriments of the algorithm. Our results reveal the relationship between topology
neural networks: construction of
network and algorithm of approximation
Chinese Journal of Computers,2003, 26(8): 906-912(in Chinese)
(曹飞龙, 徐宗本, 梁吉业, 多项式函数的神经网络逼近: 网络的构造与逼近算法. 计算机学报,2003,26(8):906-912)
[12] Timan A F. Theory of Approximation of Functions of a Real Variable. New York: Macmillan, 1963

XU Zong-Ben, born in 1955, Ph.D., Professor and Ph.D. supervisor. His research interests are in artificial intelligent and nonlinear functional analysis.

Of networks and approximation accuracy in approximation of polynomial.
This research is supported by the National Key Basic Research Development Plan of China (NO.2007CB311000) and the National Natural Science Foundation of China(No.10726040,70531030,10701062,10826081),the Key Project of Chinese Ministry of Education (No.108176), China Postdoctoral Science Foundation (No.
20080431237).The group already achieved some research works in the area of theory and application of neural works, which was published in area premium journals such as Science in China Series E: Information Science, Neural Networks, Chinese Journal of Computers and so on. As an essential part of the project, both the theory and experimental results will deepen our research and contribute to our projects.
Currently, the authors and their research group are conducting intensive research in this field to get more and better
results.