系统模型 3. 信道信息传输和存储的媒介 4. 译码器译码是编码的逆变换,分为信道译码和信源译码。 5. 信宿消息的接收者。 2. 编码器将消息变成适合于信道传送的信号的设备。 1.信源产生消息的源。编码器信源编码器,提高传输效率信道编码器,提高传输可靠性第第1 1章章随机变量的信息度量随机变量的信息度量§1.1 自信息自信息§1.2 熵、联合熵、条件熵熵、联合熵、条件熵§1.3 相对熵和互信息相对熵和互信息§1.4 信息量的一些基本性质信息量的一些基本性质§1.5 广义熵广义熵习题课习题课§ § 1.1 1.1 自信息自信息?信息: 通信领域指通信的消息;信号处理方面指包括了数字、数据、图像、语音等进行运算和处理所需的条件、内容和结果?信源: 消息的来源。?信源的分类: 离散信源和连续信源?信源的表示方法: 用随机变量 X表示一个离散信源, X的可能取值,即信源可能输出的不同符号用集合χ表示?自信息: 信源发出的某个信号所含的信息量,记为?自信息与信号发生概率之间关系( ) I x (1) ( ) x I x ??的概率越大,其发生的可能性越大, 不确定性越小,应当越小(2) p p p I I I 信源连续独立发出两个信号x,y, 它们的联合分布 (x,y)= (x) (y), 则x,y 的自信息是它们各自信息量之和,即(x,y)= (x)+ (y) 自信息满足的公理自信息满足的公理 I?非负性: ( ) (x) 10 p I ??若(x)=0, 则( (x) 2) p I 若(x)= (31,则( )x)=0 p p I I 如果(x)> (y), (4)则(x)< (y) 严格单调性: p p p I I I 如果(x,y)= (x) (y), 则(x,y)= (x)+ (5)(y)
全文预览
