计算离散信源的熵matlab实现.doc

实验一：计算离散信源的熵
一、实验设备:
1、计算机
2、软件：Matlab
二、实验目的:
1、熟悉离散信源的特点；
2、学习仿真离散信源的方法
3、学习离散信源平均信息量的计算方法
4、熟悉 Matlab 编程；
三、实验内容:
1、写出计算自信息量的Matlab 程序
2、写出计算离散信源平均信息量的Matlab 程序。
3、掌握二元离散信源的最大信息量与概率的关系。
4、将程序在计算机上仿真实现，验证程序的正确性并完成习题。
四、实验报告要求
简要总结离散信源的特点及离散信源平均信息量的计算,写出习题的MATLAB实现语句。

信息论基础：
自信息的计算公式
Matlab实现：I=log2(1/p) 或I=-log2(p)
熵（平均自信息）的计算公式

Matlab实现：HX=sum(-x.*log2(x))；或者h=h-x(i)*log2(x(i));
习题：
1. 甲地天气预报构成的信源空间为：

乙地信源空间为：

求此两个信源的熵。求各种天气的自信息量。
案：
运行程序：
p1=[1/2,1/4,1/8,1/8];%p1代表甲信源对应的概率
p2=[7/8,1/8];%p2代表乙信源对应的概率
H1=0.0;
H2=0.0;
I=[];
J=[];
for i=1:4
H1=H1+p1(i)*log2(1/p1(i));
I(i)=log2(1/p1(i));
end
disp('自信息量分别为：');
I
disp('H1信源熵为：');
H1
for j=1:2
H2=H2+p2(j)*log2(1/p2(j));
J(j)=log2(1/p2(j));
end
disp('自信息量分别为：');
J
disp('H2信源熵为：');
H2