BP神经网络实验报告资料.doc

江南大学物联网工程学院实验报告
课程名称 人工智能 实验名称 BP神经网络 实验日期 2016-04-30
班级 计科1305 姓名 游思睿 学号 1030413529
实验报告要求 1．实验名称 2．实验要求 3．实验环境 4．实验步骤 5．实验体会
一、 实验目的：
两个输入a、b（10以内的数），一个输出 c，c=a+b。换句话说就是教BP神经网络加法运算。

二、 实验内容：
  Data 用来表示已经知道的数据样本的数量，也就是训练样本的数量。In 表示对于每个样本有多少个输入变量; Out 表示对于每个样本有多少个输出变量。Neuron 表示神经元的数量，TrainC 来表示训练的次数。再来我们看对神经网络描述的数据定义，来看下面这张图里面的数据类型都是 double 型。

  d_in[Data][In] 存储 Data 个样本，每个样本的 In 个输入。d_out[Data][Out] 存储 Data 个样本，每个样本的 Out 个输出。我们用邻接表法来表示 图1 中的网络，w[Neuron][In]  表示某个输入对某个神经元的权重，v[Out][Neuron] 来表示某个神经元对某个输出的权重；与之对应的保存它们两个修正量的数组 dw[Neuron][In] 和 dv[Out][Neuron]。数组 o[Neuron] 记录的是神经元通过激活函数对外的输出，OutputData[Out]  存储BP神经网
络的输出。
  初始化主要是涉及两个方面的功能，一方面是对读取的训练样本数据进行归一化处理，归一化处理就是指的就是将数据转换成0~1之间。在BP神经网络理论里面，并没有对这个进行要求，不过实际实践过程中，归一化处理是不可或缺的。因为理论模型没考虑到，BP神经网络收敛的速率问题，一般来说神经元的输出对于0~1之间的数据非常敏感，归一化能够显著提高训练效率。可以用以下公式来对其进行归一化，其中 加个常数A 是为了防止出现 0 的情况（0不能为分母）。
       y=(x-MinValue+A)/(MaxValue-MinValue+A)
      另一方面，就是对神经元的权重进行初始化了，数据归一到了（0~1）之间，那么权重初始化为（-1~1）之间的数据，另外对修正量赋值为0
函数 backUpdate(i) 负责的是将预测输出的结果与样本真实的结果进行比对，然后对神经网络中涉及到的权重进行修正，也这是BP神经网络实现的关键所在。如何求到对于 w[Neuron][In] 和 v[Out][Neuron] 进行修正的误差量便是关键所在！误差修正量的求法在基本模型一文中数学分析部分有解答，具体问题具体分析，落实到我们设计的这个BP神经网络上来说，需要得到的是对w[Neuron][In] 和 v[Out][Neuron] 两个数据进行修正误差，误差量用数据结构 dw[Neuron][In]  和  dv[Out][Neuron]  来进行存储。那么来分析下这两个修正误差量是什么样的？推导的思路与基本模型中推导误差量的一致，这里仅列出对具体对于我们设计的BP神经网络中的数学推导过程：

三、 实验环境
VS2010

四、 实验步骤（对照截图具体说明，尽量详细）
#include <stdio.h>
#include <time.h>
#include <math.h>
#include <stdlib.h>

#define Data 820
#define In 2
#define Out 1
#define Neuron 45
#define TrainC 20000
#define A 0.2
#define B 0.4
#define a 0.2
#define b 0.3

double d_in[Data][In],d_out[Data][Out];
double w[Neuron][In],o[Neuron],v[Out][Neuron];
double Maxin[In],Minin[In],Maxout[Out],Minout[Out];
double OutputData[Out];
double dv[Out][Neuron],dw[Neuron][In];
double e;

void writeTest(){
FILE *fp1,*fp2;
double r1,r2;
int i;
srand((unsigned)time(NULL));
if((fp1=fopen("D:\\in.txt","w"))==NULL){
printf("can not open the in file\n");
exit(0);
}
if((fp2=fopen("D:\\out.txt","w"))==NULL){
printf("can not open the out file\n");
exit(0);
}

for(i=0;i<Data;i++){
r1=rand()%1000/100.0;
r2=rand()%1000/100.0;
fprintf(fp1,"%lf %lf\n",r1,r2);
fprintf(fp2,"%lf \n",r1+r2);
}
fclose(fp1);
fclose(fp2);
}

void readData(){

FILE *fp1,*fp2;
int i,j;
if((fp1=fopen("D:\\in.txt","r"))==NULL){
printf("can not open the in file\n");
exit(0);
}
for(i=0;i<Data;i++)
for(j=0; j<In; j++)
fscanf(fp1,"%lf",&d_in[i][j]);
fclose(fp1);

if((fp2=fopen("D:\\out.txt","r"))==NULL){
printf("can not open the out file\n");
exit(0);
}
for(i=0;i<Data;i++)
for(j=0; j<Out; j++)
fscanf(fp1,"%lf",&d_out[i][j]);
fclose(fp2);
}

void initBPNework(){

int i,j;

for(i=0; i<In; i++){
Minin[i]=Maxin[i]=d_in[0][i];
for(j=0; j<Data; j++)
{
Maxin[i]=Maxin[i]>d_in[j][i]?Maxin[i]:d_in[j][i];
Minin[i]=Minin[i]<d_in[j][i]?Minin[i]:d_in[j][i];
}
}

for(i=0; i<Out; i++){
Minout[i]=Maxout[i]=d_out[0][i];
for(j=0; j<Data; j++)
{
Maxout[i]=Maxout[i]>d_out[j][i]?Maxout[i]:d_out[j][i];
Minout[i]=Minout[i]<d_out[j][i]?Minout[i]:d_out[j][i];
}
}

for (i = 0; i < In; i++)
for(j = 0; j < Data; j++)
d_in[j][i]=(d_in[j][i]-Minin[i]+1)/(Maxin[i]-Minin[i]+1);

for (i = 0; i < Out; i++)
for(j = 0; j < Data; j++)
d_out[j][i]=(d_out[j][i]-Minout[i]+1)/(Maxout[i]-Minout[i]+1);

for (i = 0; i < Neuron; ++i)
for (j = 0; j < In; ++j){
w[i][j]=rand()*2.0/RAND_MAX-1;
dw[i][j]=0;
}

for (i = 0; i < Neuron; ++i)
for (j = 0; j < Out; ++j){
v[j][i]=rand()*2.0/RAND_MAX-1;
dv[j][i]=0;
}
}

void computO(int var){

int i,j;
double sum,y;
for (i = 0; i < Neuron; ++i){
sum=0;
for (j = 0; j < In; ++j)
sum+=w[i][j]*d_in[var][j];
o[i]=1/(1+exp(-1*sum));
}

for (i = 0; i < Out; ++i){
sum=0;
for (j = 0; j < Neuron; ++j)
sum+=v[i][j]*o[j];

OutputData[i]=sum;
}
}

void backUpdate(int var)
{
int i,j;
double t;
for (i = 0; i < Neuron; ++i)
{
t=0;
for (j = 0; j < Out; ++j){
t+=(OutputData[j]-d_out[var][j])*v[j][i];

dv[j][i]=A*dv[j][i]+B*(OutputData[j]-d_out[var][j])*o[i];
v[j][i]-=dv[j][i];
}

for (j = 0; j < In; ++j){
dw[i][j]=a*dw[i][j]+b*t*o[i]*(1-o[i])*d_in[var][j];
w[i][j]-=dw[i][j];
}
}
}

double result(double var1,double var2)
{
int i,j;
double sum,y;

var1=(var1-Minin[0]+1)/(Maxin[0]-Minin[0]+1);
var2=(var2-Minin[1]+1)/(Maxin[1]-Minin[1]+1);

for (i = 0; i < Neuron; ++i){
sum=0;
sum=w[i][0]*var1+w[i][1]*var2;
o[i]=1/(1+exp(-1*sum));
}
sum=0;
for (j = 0; j < Neuron; ++j)
sum+=v[0][j]*o[j];

return sum*(Maxout[0]-Minout[0]+1)+Minout[0]-1;
}

void writeNeuron()
{
FILE *fp1;
int i,j;
if((fp1=fopen("D:\\neuron.txt","w"))==NULL)
{
printf("can not open the neuron file\n");
exit(0);
}
for (i = 0; i < Neuron; ++i)
for (j = 0; j < In; ++j){
fprintf(fp1,"%lf ",w[i][j]);
}
fprintf(fp1,"\n\n\n\n");

for (i = 0; i < Neuron; ++i)
for (j = 0; j < Out; ++j){
fprintf(fp1,"%lf ",v[j][i]);
}

fclose(fp1);
}

void trainNetwork(){

int i,c=0,j;
do{
e=0;
for (i = 0; i < Data; ++i){
computO(i);
for (j = 0; j < Out; ++j)
e+=fabs((OutputData[j]-d_out[i][j])/d_out[i][j]);
backUpdate(i);
}
printf("%d %lf\n",c,e/Data);
c++;
}while(c<TrainC && e/Data>0.01);
}

int main(int argc, char const *argv[])
{
writeTest();
readData();
initBPNework();
trainNetwork();
printf("%lf \n",result(6,8) );
printf("%lf \n",result(2.1,7) );
printf("%lf \n",result(4.3,8) );
writeNeuron();
return 0;
}

五、 实验体会

教师评价

优

良

中

及格

不及格

教师签名

日期