Code Modulation)方法量化为数字信号,即让模拟信号的不同幅度分别对应不同的二进制值,例如采用8位编码可将模拟信号量化为2^8=256个量级,实用中常采取24位或30位编码;数字信号一般通过对载波进行移相(Phase Shift)的方法转换为模拟信号。计算机、计算机局域网与城域网中均使用二进制数字信号。Р信息А香农认为:信息是有秩序的量度,是人们对事物了解的不确定性的消除或减少。信息是对组织程度的一种测度,信息能使物质系统有序性增强,减少破坏、混乱和噪音。А根据香农的有关信息的定义,那么信息是如何度量的呢? А显然,信息量与不确定性消除程度有关,量度信息多少的测度就是信息量。Р一则离散消息包含的信息量可表示为:Р其中P表示该消息发生的概率;底数a决定了信息量的单位,它可以任意取值,常取2、10、e:Рa=2 I= -log2P 单位为比特(bit)? a=e I= -lnP 单位为奈特(nat)? a=10 I= -lg P 单位为哈(hartley)? a=M I= -logMP 单位为M进制信息单位Р数据通信中若数据采用二进制传输,此时将二进制的每个符号“0”或“1”称为码元。?当两个码元等概出现时,每个码元包含的信息量为: I=log22=1 bit?因此通常常将二进制序列称为比特流,但若两个码元出现的概率不等,此时每个码元包含的信息量已不是1bit。Р更一般的情况,当采用M进制传输时,此时共有“0,1,…,M-1”个码元,且各码元出现的概率不相等,分别为P0,P1,…,PM-1,此时每个码元包含的信息量并不相等,分别为:Р因为上式与热力学和统计力学中系统熵的计算公式相似,故常将平均信息量称为信息熵。可以证明上式中,当P0=P1= …=PM-1时取最大值Р对上式求其期望,将其称作平均信息量H,表示平均每个码元包含信息的多少,单位为bit/符号如下式所示:
全文预览
