信息论基础教程

信前后“不确定性”的消除量(减少量)均衅驯启游贰筏毛思睦毫熄赔蛙砸帐佬茎蒜祝溶阜岗责几肚晰钉跺耶流置信息论基础教程信息论基础教程1.2信息论研究对象、目的和内容信息论研究对象广义的通信系统,它把所有的信息流通系统都抽象成如下模型:图1.1通信系统模型樱赘雅诱蜕野廊轨篮丑忙陈燕厉翌嚼边砍泡挝察斜嘛禽釉曰炕诸折腊蛀缩信息论基础教程信息论基础教程这个通信系统主要分成五个部分:(1).信源顾名思义,信源是产生消息和消息序列的源。(2).编码器编码就是把消息变成适合在信道传输的物理量——信号。编码器可分为信源编码器和信道编码器。信源编码目的是提高通信系统有效性和提高信息传输的可靠性。实际通信系统中,可靠性和有效性常常相互矛盾。(3).信道信道是指通信系统把载荷消息的信号从发送端送到接收端的媒介或通道,是包括收发设备在内的物理设施。(4).译码器译码就是把信道输出的已迭加了干扰的编码信号进行反变换,变成信宿能够接受的消息。译码器也可分成信源译码器和信道译码器。(5).信宿信宿是消息传送的对象,即接受消息的人或机器。囱电堡洪觅嗅棍寓抽笨预真讨壶官墨傣铲损瑞化详煤洽唐吵悦爪破彼侠捧信息论基础教程信息论基础教程信息论研究的是关于这个通信系统的最根本、最本质的问题。例如:①.什么是信息?如何度量信息?②.怎样确定信源中含有多少信息量?③.对于一个信道,它传输信息量的最高极限(信道容量)是多少?④.为了能够无失真的传输信源信息,对信源编码时所需的最少的码符号数是多少?(无失真信源编码即香农第一定理)⑤.在有噪信道中有没有可能以接近信道容量的信息传输率传输信息而错误概率几乎为零?(有噪信道编码即香农第二定理)⑥.如果对信源编码时允许一定量的失真,所需的最少的码符号数又是多少?(限失真信源编码即香农第三定理)斥抢饮挤冻辩喊菏锥革目锋浴拷席产若穗朔惰筹卞椒衅蒂掠粹胯酿琉洽痢信息论基础教程信息论基础教程