20．黑白气象传真图的消息只有黑色（B)和白色（W)两种 即信源X={B W} 设黑色出现的概率为P（B)=0.3 白色的出现
白色,黑色,信源
已帮助 人
-
假设传真图上黑白消息没有关联，则等效为一个DMS，则信源概率空间为
，
信源熵为
=H(0.3，0.7)
=-0.7log0.7-0.3log0.3
≈0.881bit/符号$该一阶马尔可夫信源的状态空间集为
S={W，B}
根据题意可得状态的一步转移矩阵为
状态极限概率p(w)，p(B)满足
，
即
可以解得
，
该一阶马尔可夫信源的熵为
=p(B)[-0.2log0.2-0.8log0.8]+p(W)[-0.9log0.9-0.1log0.1]
$黑白消息信源的剩余度为
一阶马尔可夫信源的剩余度为
由前两小题中计算的H(X)和H2(X)比较可知
H(X)＞H2(X) 即γ1＜γ2
该结果说明：当信源的消息(符号)之间有依赖时，信源输出消息的不确定性降低，有依赖时的信源熵，小于信源消息之间无依赖时的信源熵。信源熵反映了信源的平均不确定性的大小，而信源剩余度反映了信源消息依赖关系的强弱，剩余度越大，信源消息之间依赖关系就越大。