信息论基础7答案

=h=lbit\/丿H(2)=W||=0.8113/7z7(44丿(2)H(XY)=H(X)+H(Y)=l+l=2bit/对=1.5bit/对H(XZ)=W(X)+H(Z1X)=1+-H(1,0)+-W22(3)?H(XIY)=H(X)=lb〃H(ZIX)=*H(1,O)+新(4)?/(X9Y)=H(y)-H(YlX)=H(Y)-H(Y)=0Z(X,Z)=/7(Z)-W(ZIX)=0.8113-0.5=0.3113Wr八、(10分)设离散无记忆信源的概率空间为~x~x\x2p0.80.2通过干扰信道,信道输出端的接收符号集为丫=[必』2],信道传输概率如下图所示。5/6计算信源X中事件為包含的口信息量;计算信源X的信息爛;计算信道疑义度H(Xir);⑷计算噪声烦H(YIX);计算收到消息y后获得的平均互信息量。解:(1)/(X])=-log0.8=0.322b”=0.0969hart=0.223nat(2)H(X)=H(0.8,0.2)=0.122bit/符号=0.5nat/符号=0.217to/符号(3)转移概率:联合分布:H(XY)=H2?2丄]J,15,20,2()J71旳5/61/6X23/41/4y\2/312/154/53/201/201/549/6011/601/5=1.404hit/符号=0.913nat/符号=0.423hart)符号W(r)=W(49/60,11/60)=0.687M/符号=0.476?符号=0.207肋"/符号H(X丨Y)=H(XY)-H(Y)=0.717Wr/符号=0.497加〃符号=0.216hart/符号(4)H(YIX)=H(XY)_H(X)=0.682M/符号=0.473加“符号=0.205hart/符号(5)/(X;r)=/7(X)-/7(Xir)=0.00504Wr/符号=0.00349加f/符号=0.00152to/符号