准则下的有失真信源编码定理) 设R(D)为一离散无记忆信源的信息率失真函数,并且选定有限的失真函数,对于任意允许平均失真度D>=0,和任意小的a>0,以及任意足够长的码长N,则一定存在一种信源编码W,其码字个数为M<=EXP{N[R(D)+a]},而编码后码的平均失真度D'(W)<=D+a。凡是能载荷一定信息量,且码字的平均长度最短,可分离的变长码字集合都可称为最佳码。每次必须将概率大的信息符号编以短码字,概率小的符号编以长的码字,使得平均码字长度最短。能获得最佳码方法主要有:香农(Shannon)编码、费诺(Fano)编码和哈夫曼(Huffman)编码等。下面我们分别介绍这几种编码方法。2.3.1香农编码方法香农第一定理指出了平均码长与信源之间的关系,选择每个码字的长度K满足下式:(2.1)就可以得到这种编码,这种编码称为香农编码。香农编码是码符号概率大的用短码表示,概率小的是用长码表示,在实现编码过程中,根据给定信源符号概率,要先判断信源符号概率是否满足概率分布,即各概率之和是否为1,如果不为1就没有继续进行编码的必要,虽然仍可以正常编码,但编码失去了意义。香农编码方法主要有以下几个步骤:(1)假定一组信源X,其出现的概率分别为P(x1)=0.40,P(x2)=0.30,P(x3)=0.10,P(x4)=0.09,P(x5)=0.07,P(x6)=0.04,即是X=[0.40,0.30,0.10,0.09,0.07,0.04],首先运用函数fliplr(sort(X))将信源消息符号按其出现的概率大小依次按照降序排列,进而得到矩阵X。p(x1)≥p(x2)≥…≥p(xn)(2.2)(2)根据公式2.3求信源符号概率对应位的累加概率,得到矩阵X1。(2.3)(3)利用最大取整函数L(k)=ceil(-log2(X(k)))计算满足下列不等式的整数码长Ki,进而得到码长L。
全文预览
