第二章信息的度量.docx

清楚几种关系：
1、联合自信息量与“自信息量、条件自信息量”的关系
注：这种关系可通过“联想记忆”
即：p(ab)=p(a)*p(b/a);p(ab)=p(b)*p(a/b);
2、互信息量与“自信息量、条件自信息量、联合自信息量”的关系
3、平均互信息量与“平均自信息量(信源熵)、条件熵、联合熵”的关系(掌握证明)
清楚几种符号：
I(ai)、I(ai/bi)、I(aibi)——自信息量、条件自信息量、联合自信息量
I(ai;bi)——互信息量
H(A)、H(A/B)、H(AB)——信源熵(自信息量的统计平均)、条件熵、联合熵
I(A;B)——平均互信息量(互信息量的统计平均)
注：信息量的计算
I(x)=log1/p(x);
由“概率”可求“信息量”！
即：以“概率”来模拟“信息量”
一、 自信息量
自信息量、联合自信息量、条件自信息量

注：这种关系可通过“联想记忆”
即：p(ab)=p(a)*p(b/a);p(ab)=p(b)*p(a/b);
二、互信息量
互信息量、条件互信息量

互信息量与自信息量、联合自信息量、条件自信息量的关系：

注：比互信息量多了一个“小尾巴”
三、熵(平均自信息量)，即：自信息量的“统计平均”

注：熵ó平均自信息量ó所有自信息量的平均值!

证明题：等概分布下的信源熵最大.

f(变量)的均值=f(变量的均值)
四、平均互信息量，即：互信息量的“统计平均”

证明：
四、（5¢）证明：平均互信息量同信息熵之间满足
I(X;Y)=H(X)+H(Y)-H(XY)
证明：
（2分）
同理
（1分）
则

因为
（1分）
故

即
（1分）