信息论讲义_第五讲

信息理论基础?(第五讲)Р授课教师:于泽?电子信息工程学院201教研室Р1Р第二章小结?信息的描述Р自信息量:简单事件? 联合事件?条件自信息量: ?互信息量:Р4. 条件互信息量:РI(xi ; yj)Р2Р信息熵:Р条件熵: Р联合熵:Р平均互信息量:Р第二章小结?信息的描述Р3Р信息熵数学性质?对称性: H(p1, p2, …pq)= H(p2, p1, …pq)?非负性: H(p1, p2, …pq) ≥0?扩展性: ?可加性?极值性:?确定性:?上凸性: H(X)是(p1, p2, …pq)的上凸函数Р第二章小结?信息的描述Р4Р平均互信息量的性质:?非负性Р互易性(对称性)Р极值性Р凸函数性Р第二章小结?信息的描述Р5Р各种熵的关系:?联合熵与信息熵、条件熵的关系Р共熵与信息熵的关系Р条件熵与通信熵的关系Р第二章小结?信息的描述Р6Р平均互信息和各类熵的关系Р第二章小结?信息的描述Р7Р第三章离散信源Р内容提要? 3.1 信源的数学模型及其分类? 3.2 离散无记忆信源? 3.3 离散无记忆信源的扩展信源? 3.4 离散平稳信源? 3.5 马尔可夫信源? 3.6 信源的相关性和剩余度Р通信的根问题是在接收端尽可能精确地再现出信源的输出,本章讨论如何描述信源的输出,也就是如何计算信源产生的信息量。Р8Р3.1 信源的数学模型及其分类Р3.1.1 信源及其数学模型?3.1.2 信源的分类? 输出消息的联系? 输出消息的时间Р9Р3.1.1 信源及其数学模型Р信源? 信息的发源地,可以是人、机器等,其输出称作消息。? 通信中接收者在未接到信息时,对信源发出什么消息是不确定的,所以信源的输出是随机的,可以用随机变量(离散信源)或随机过程(连续信源)描述。Р10