香农的信源编码定理告诉我们 一个随机变量X的最佳码的平均码长满足L＜H（X)＋1 这只是一个最佳的上界 而事实上
香农,变量,上界
已帮助 人
香农的信源编码定理告诉我们，一个随机变量X的最佳码的平均码长满足L＜H(X)+1，这只是一个最佳的上界，而事实上在很多情况下编码的效率要差得多。例如X是一个二进制的随机变量，pX(1)=ε，则当ε→0时H(X)=H(ε)→0，而此时L=1。请找出一个随机变量，其熵为2，同时其相应最佳码的平均码长为3。
-
如果某个最佳码的平均码长满足L≈H+1，则必然有一个输出符号的概率接近1，其对应的码字的码长也为1。我们可以假设另外还有2m个输出符号，它们的出现概率的和为
。为了使得信源的熵最大，这2m个输出符号应该是等概的，因此分布为{1-p，p2-m，…，p2-m}的信源的熵为
(5.13)
选择一个很小的p使得H(p)1，例如p=2-10。为了让信源的熵等于2，即
pm=2-10m≈2m=2×210=2048
因此这个信源共有1+22048个输出符号，分布为{1-2-10，2-2058，…，2-2058}。
其相应的最佳码的平均码长为
L=(1-2-10)×1+2-10×(1+2048)=1+2=3
H=H(2-10)+2-10·log2(22048)=0.0112+2-10×211=2.01112
这个人为拼凑出来的信源主要说明了H+1只是最佳码平均码长L的上限，对于大多数合理的信源分布来说，L与H将会非常接近。