信息论与编码实验一.doc

实 验 报 告

实验名称
关于信源熵的实验
课程名称
信息论与编码

姓名

成绩

班级
电子信息1102
学号

日期
2013.11.22
地点
综合实验楼

实验一 关于信源熵的实验

一、实验目的
1. 掌握离散信源熵的原理和计算方法。
2. 熟悉matlab 软件的基本操作，练习使 用matlab 求解信源的信息熵。
3. 自学图像熵的相关概念，并应用所学知识，使用matlab 或其他开发工具
求解图像熵。
4. 掌握Excel的绘图功能，使用Excel绘制散点图、直方图。
二、实验原理
1. 离散信源相关的基本概念、原理和计算公式
产生离散信息的信源称为离散信源。离散信源只能产生有限种符号。
随机事件的自信息量I（xi）为其对应的随机变量xi 出现概率对数的负值。
即： I （xi ）= -log2p ( xi)
随机事件X 的平均不确定度（信源熵）H（X）为离散随机变量 xi 出现概
率的数学期望，即：
å
2.二元信源的信息熵
设信源符号集X={0，1} ，每个符号发生的概率分别为p(0)= p，p(1)= q，
p+ q =1，即信源的概率空间为 ：
ú
则该二元信源的信源熵为：
H( X) = - plogp–qlogq = - plogp –(1 - p)log(1- p)
即：H (p) = - plogp –(1 - p)log(1- p) 其中 0 ≤ p ≤1

3. MATLAB二维绘图
用matlab 中的命令plot( x , y) 就可以自动绘制出二维图来。
例1-2，在matlab 上绘制余弦曲线图，y = cos x ，其中 0 ≤ x ≤ 2p。
>>x =0:0.1:2*pi； %生成横坐标向量，使其为 0，0.1，0.2，…，6.2
>>y =cos(x )； %计算余弦向量
>>plot(x ,y ) %绘制图形
4. MATLAB求解离散信源熵
求解信息熵过程：
1) 输入一个离散信源，并检查该信源是否是完备集。
2) 去除信源中符号分布概率为零的元素。
3) 根据平均信息量公式，求出离散信源的熵。
5. 图像熵的相关知识
图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。图像的
一维熵表示图像中灰度分布的聚集特征所包含的信息量，令Pi 表示图像中灰度
值为i 的像素所占的比例，则定义灰度图像的一元灰度熵为：

图像熵计算过程：
1) 输入一幅图像，并将其转换成灰度图像。
2) 统计出图像中每个灰度阶象素概率。
3) 计算出一幅图像的一维熵。
6. Excel的绘图功能
比如：用Excel或制作二元熵函数曲线。具体步骤如下：
1）启动Excel应用程序。
2）准备一组数据 p。在 Excel的一个工作表的 A 列（或其它列）输入一组 p ，
取步长为0.01 ，从0 至100 产生101 个p（利用Excel填充功能）。
3）使用 Excel的计算功能，在 B 列中用二元熵函数计算公式，求得 A 列中
各数值对应的二元熵值。比如：在单元格B2中输入公式：
=-A2*LOG(A2,2)-(1-A2)*LOG(1-A2,2)。
4）使用Excel的图表向导，图表类型选“XY散点图”，子图表类型选“无
数据点平滑散点图”，绘制二元熵函数散点图。

三、实验内容
1、使用matlab 软件绘制二元信源熵函数曲线，并说明其物理意义。
2、使用 matlab 软件求解离散单符号信源熵，请自己构造两个信源空间，根
据求解结果说明其物理意义。
3、使用 matlab 软件计算图像一维图像熵，请自己选择任意两幅图像，根据
求解结果说明其物理意义。
4、使用Excel软件，绘制二元信源熵函数曲线的散点图。
5、使用Excel软件，绘制（3）中两幅图像的灰度直方图（0 到255 各灰度
占图像像素的比例值，使用柱状图绘制其比列分布）
四、程序设计与算法描述
（1）绘制二元信源熵函数曲线
实验代码：
clc;
p=0.00:0.01:1;
H=-(p).*log2(p)-(1-p).*log2(1-p);
plot(p,H);

实验结果如下：
物理意义：（1）信源熵为信源的平均不确定性，而概率的大小决定了信息量的大小。
（2）由上图可知概率为1时，信息量最小，不确定性最低；概率等于0.5时熵最大。
（2） 求解离散单符号信源熵
程序代码：
p1=[0.1,0.4,0.5,0.1];
h1=sum(-p1.*log2(p1));
p2=[0.3,0.2,0.4,0.1];
h2=sum(-p2.*log2(p2));
h1,h2
实验结果：
h1 =

1.6932

h2 =

1.8464
计算结果表明了信源的平均不确定度。

计算图像一维图像熵
选择的图像如下：

实验代码如下：
（1）clear all;
close all;
fid=fopen('lena.img','r');
image1=fread(fid,[256,256],'uint8');
fclose(fid);
imshow(image1,[]);

[C1 R1]=size(image1);
image1size=C1*R1;
H1=0;
n=zeros(256,1);
for i=1:C1
for j=1:R1
image1_level=image1(i,j)+1;
n(image1_level)=n(image1_level)+1;
end
end
for k=1:256
P(k)=n(k)/image1_size;
if P(k)~=0;
H1=-P(k)*log2(P(k))+H1;
end
end
H1
（3） 用Excel软件，绘制二元信源熵函数曲线的散点图
取步长为0.01 ，从0 至100 产生101 个p
各数值对应的二元熵值。比如：在单元格B2中输入公式：
=-A2*LOG(A2,2)-(1-A2)*LOG(1-A2,2)。
使用Excel的图表向导，图表类型选“XY散点图”，子图表类型选“无
数据点平滑散点图”，绘制二元熵函数散点图。
在Excel中的数据如下：
0

0.01
0.0807931
0.02
0.1414405
0.03
0.1943919
0.04
0.2422922
0.05
0.286397
0.06
0.3274449
0.07
0.3659237
0.08
0.4021792
0.09
0.4364698
0.1
0.4689956
0.11
0.499916
0.12
0.5293609
0.13
0.5574382
0.14
0.5842388
0.15
0.6098403
0.16
0.6343096
0.17
0.6577048
0.18
0.680077
0.19
0.7014715
0.2
0.7219281
0.21
0.7414827
0.22
0.7601675
0.23
0.7780113
0.24
0.7950403
0.25
0.8112781
0.26
0.8267464
0.27
0.8414646
0.28
0.8554508
0.29
0.8687212
0.3
0.8812909
0.31
0.8931735
0.32
0.9043815
0.33
0.9149264
0.34
0.9248187
0.35
0.9340681
0.36
0.9426832
0.37
0.9506721
0.38
0.958042
0.39
0.9647995
0.4
0.9709506
0.41
0.9765005
0.42
0.9814539
0.43
0.985815
0.44
0.9895875
0.45
0.9927745
0.46
0.9953784
0.47
0.9974016
0.48
0.9988455
0.49
0.9997114
0.5
1
0.51
0.9997114
0.52
0.9988455
0.53
0.9974016
0.54
0.9953784
0.55
0.9927745
0.56
0.9895875
0.57
0.985815
0.58
0.9814539
0.59
0.9765005
0.6
0.9709506
0.61
0.9647995
0.62
0.958042
0.63
0.9506721
0.64
0.9426832
0.65
0.9340681
0.66
0.9248187
0.67
0.9149264
0.68
0.9043815
0.69
0.8931735
0.7
0.8812909
0.71
0.8687212
0.72
0.8554508
0.73
0.8414646
0.74
0.8267464
0.75
0.8112781
0.76
0.7950403
0.77
0.7780113
0.78
0.7601675
0.79
0.7414827
0.8
0.7219281
0.81
0.7014715
0.82
0.680077
0.83
0.6577048
0.84
0.6343096
0.85
0.6098403
0.86
0.5842388
0.87
0.5574382
0.88
0.5293609
0.89
0.499916
0.9
0.4689956
0.91
0.4364698
0.92
0.4021792
0.93
0.3659237
0.94
0.3274449
0.95
0.286397
0.96
0.2422922
0.97
0.1943919
0.98
0.1414405
0.99
0.0807931
1

所绘制图像如下：

(5) 用Excel软件，绘制（3）中两幅图像的灰度直方图
实验步骤：先在MATLAB里面计算出（3）中各级灰度值的概率，（3）中的图像都是128*128的，灰度级有256个。
求出各灰度级的相关概率代码如下：
(1) clear all;
close all;
fid=fopen('lena.img','r');
image1=fread(fid,[256,256],'uint8');
fclose(fid);
imshow(image1,[]);

[C1 R1]=size(image1);
image1_size=C1*R1;
H1=0;
n=zeros(256,1);
for i=1:C1
for j=1:R1
image1_level=image1(i,j)+1;
n(image1_level)=n(image1_level)+1;
end
end
for k=1:256
P(k)=n(k)/image1_size;
if P(k)~=0;
H1=-P(k)*log2(P(k))+H1;
end
end
H1

（1）
实验结果分析:
由图1灰度直方图可知,其灰度值分布较均匀，而图像中无明显的暗部和暗灰出现，因此可以得出期统计结果也是正确的。

五、实验心得
通过本次的试验，让我深刻的认识到了信息论与编码在实际生活中的应用的重要性，虽然在实验过程中遇到了许多的问题，但我加深了对信息论与编码这门课知识点的认识，学会了怎么样去计算信源熵，怎样去把它具体实现出来。还有，之前我很少用过Excel，也没用过Excel画图表，经过这次学习后，我基本上掌握了。
在此次实验过程中，让我知道了做实验之前预习是很重要的，通过查找资料可以解决一些我们不能解决的问题的方法。所以我以后要好好预习，学好这门科，只有学好了这门知识，才能够在以后运用好它，发挥出、实现它的有用价值。
五、附录
参考书籍：
《matlab数字图像处理》 2010 机械工业出版社
《数字信号处理》 2011 机械工业出版社
《信息论与编码（第二版）》姜丹编著中国科学技术大学出版社