Chp02知识点： 自信息量：
1）
I (x i ) =-log p (x i )
2）对数采用的底不同，自信息量的单位不同。
2----比特（bit ）、e----奈特（nat ）、10----哈特（Hart ） 3）物理意义：事件x i 发生以前，表示事件x i 发生的不确定性的大小；事件x i 发生以后，表示事件x i 所含有或所能提供的信息量。
平均自信息量（信息熵）：
1）H (x ) =E [I (x i )]=-∑p (x i ) log p (x i )
i =1q
2）对数采用的底不同，平均自信息量的单位不同。 2----比特/符号、e----奈特/符号、10----哈特/符号。 3）物理意义：对信源的整体的不确定性的统计描述。 表示信源输出前，信源的平均不确定性；信源输出后每个消息或符号所提供的平均信息量。
4）信息熵的基本性质：对称性、确定性、非负性、扩展性、连续性、递推性、极值性、上凸性。 互信息：
1）I (x i ; y j ) =I (x i ) -I (x i |y j ) =log
p (x i |y j ) p (x i )
2）含义：已知事件y j 后所消除的关于事件x i 的不确定性，对
信息的传递起到了定量表示。
平均互信息：1）定义： 2）性质：
联合熵和条件熵： 各类熵之间的关系： 数据处理定理：
Chp03知识点：
依据不同标准信源的分类： 离散单符号信源：
1）概率空间表示：
⎡X ⎤⎡a 1⎢P ⎥=⎢p (a )
1⎣⎦⎣
a 2
r
p (a 2)
a r ⎤
p (a r )⎥⎦
i =1
0≤p (a i )≤1,(i =1, 2, , r ); ∑p (a i )=1
2）信息熵：H (x ) =E [I (x i )]=-∑p (x i ) log p (x i ) ，表示离散单符号信
i =1
q
源的平均不确定性。
离散多符号信源：用平均符号熵和极限熵来描述离散多符号信源的平均不确定性。
平均符号熵：H N (X ) =
1
H (X 1X 2... X N ) N
H N (X ) 极限熵（熵率）：H ∞(X ) =N lim ->∞
（1）离散平稳信源（各维联合概率分布均与时间起点无关的信源。）
（2）离散无记忆信源：信源各消息符号彼此互不相关。
⎡X ⎤⎡01⎤
⎢p (x ) ⎥=⎢p q ⎥
⎦⎣⎦，信源输出符号只 ①最简单的二进制信源：⎣
有两个：“0”和“1”。
②离散无记忆信源的N 次扩展：若信源符号有q 个，其N 次扩展后的信源符号共有q N 个。
离散无记忆信源X 的N 次扩展信源X 的熵：
N
等于信源X 的熵的N 倍，表明离散无记忆信源X 的N 次扩展信源每输出1个消息符号（即符号序列）所提供的信息熵是信源X 每输出1个消息符号所提供信息熵的N 倍。
离散无记忆信源X 的N 次扩展信源X 极限熵（熵率）
1
H N (X ) =lim ⨯NH (X ) =H (X ) 为：H ∞(X ) =N lim ->∞N ->∞
N
N
（3）离散有记忆信源—》马尔可夫信源—》时间和状态都是离散的马尔可夫过程称为马尔可夫链
1）用分布律描述：2）转移概率：
即条件概率3）转移概率矩阵：用
p ij (n ) 表示
。
n 步转移概率矩阵。且
，会写出马氏链的一步转移概率矩阵，会画状态转移p ij (n ) =(p ij (1)) n ，
图，能够求出n 步转移概率矩阵。
4）遍历性的概念：
求解马氏信源的遍历性，即找一正整数m ，使m 步转移概率矩阵p ij (m ) 中无零元。
求解马氏遍历信源的信息熵步骤：
（1） 根据题意画出状态转移图，判断出是平稳遍历的马尔可夫信源；
（2） 根据状态转移图写出一步转移概率矩阵，计算信源的
⎧W =WP
⎪
极限分布W ={ W 1, W 2,......, W q }即是求解方程组：⎨q
⎪∑W i =1⎩i =1
（3） 根据一步转移概率矩阵和极限概率W 计算信源的信息熵：极限熵H ∞ 等于条件熵H m+1。（m 阶马尔可夫信源的熵率）
信源的相关性和剩余度：，
γ=1-η=1-
H ∞
H 0
用来衡量信源输出的符号序列中各符号之间的依赖程度。 当剩余度＝0时，信源的熵＝极大熵H 0，表明信源符号之间： (1)统计独立无记忆;(2)各符号等概分布。
连续信源： （1） 微分熵：
i. ii.
定义： 物理意义：
（2） 连续信源的联合熵和条件熵 （3） 几种特殊连续信源的熵：
a) 均匀分布的连续信源的熵：H c (X ) =log 2(b -a )
12
H c (X ) =log 22πe σ【概率密度函数：b) 高斯分布的连续信源的熵：
2
p (x ) =
12πσ
2
e
-
(x -m ) 22σ】
c) 指数分布的连续信源的熵：H c (X ) =log 2me 【概率密度函数：
1-
p (x ) =e m 】
m
x
（4） 最大连续熵定理：
a) 限峰值功率的最大熵定理（输出幅值受限）：均匀分布 b) 限平均功率的最大熵定理（输出平均功率受限）：高斯分布 （5） 熵功率及连续信源的剩余度
\
Chp04知识点：
一、 一些基本概念：
1． 什么是信道？信道的作用，研究信道的目的。
2． 一般信道的数学模型，信道的分类（根据输入输出随即信道的特点，输入输出随机变量个
数的多少，输入输出个数，有无干扰，有无记忆，信道的统计特性进行不同的分类） 3． 前向概率p(yj /xi)、后向概率/后验概率p(xi /yj)、先验概率p(xi) 。 4． 几个熵的含义：
✧ H(X) ---表示信源的不确定性；
✧ H(X|Y)--- 信道疑义度，表示如果有干扰的存在，接收端收到Y 后对信源仍然存在的
不确定性。也称为损失熵，表示信源符号通过有噪信道传输后所引起的信息量的损失。 ✧ H(Y|X)--- 噪声熵，它反映了信道中噪声源的不确定性。
二、 离散信道：
1． 单符号离散信道：
a) (条件、转移) 概率p(yj|xi)组成）； b) —表示接收到输出符号集Y 后所消除的对于信源X 的不
确定性，也就是获得的关于信源的信息。它是平均意义上每传送一个符号流经信道的信息量。 关于I （X;Y ）的性质：I(X;Y)是信源概率分布p(xi)和信道转移概率p(yj|xi)的二元函数：
p (y j ) =∑p (x i ) p (y j /x i )
i =1
n
p (x i y j ) =p (x i ) p (y j /x i )
p (y j /x i ) j I (X ; Y ) =∑∑p (x i y j )log 2
i =1j =1
n m
=∑∑p (x i ) p (y j /x i )log 2
i =1j =1
n m
p (y j /x i )
∑p (x i ) p (y j /x i )
i =1
n
那么，当信道特性p(yj /xi)固定后，I(X;Y)随信源概率分布p(xi)的变化而变化。调整p(xi)，在接收端就能获得不同的信息量。由平均互信息的性质已知，对于给定的信道转移概率p(yj /xi)，I(X;Y)是输入分布p(xi)的上凸函数，因此总能找到一种概率分布p(xi)（即某一种信源），使信道所能传送的信息率为最大。那么这个最大的信息传输率即为信道容量。 c) 信道容量概念：在信道中最大的信息传输速率
C =max R =max I (X ; Y )
p (x i )
p (x i )
(比特/信道符号) 对于给定的信道，总能找到一个最
佳输入分布使得I(X;Y)得到极大值。
d) 最大能力的度量，信道实际传送的信息量必然不大于信道容量。
2． 几种特殊离散信道的信道容量：
a) 具有一一对应关系的无噪信道：n---输入符号数 ，m---输出符号数
当信源呈等概率分布时，具有一一对应确定关系的无噪信道达到信道容量C ：
b) 具有扩展性能的无损信道：
c) 具有归并性能的无噪信道：
注意：在求信道容量时，调整的始终是输入端的概率分布p(xi) ，尽管信道容量式子中平均互信息I(X;Y)等于输出端符号熵H(Y)，但是在求极大值时调整的仍然是输入端的概率分布p(xi) ，而不能用输出端的概率分布p(yj)来代替。也就是一定能找到一种输入分布使输出符号Y 达到等概率分布。 d) 行对称信道的信道容量：
'
C =max {H (Y )}-H (p 1' , p 2,..., p s ' )
p (x )
e) r 个输入符号，s 个输出符号，则
当输入为等概分布时达到信道容量，且
为信道矩阵中的任一行。
f)
，其
中
g) C =log 2r -
∑N
k =1
n
k
'
log 2M k -H (p 1' , p 2,..., p s ' ) ，其中Nk
是n 个子矩阵中第k 个子矩阵中行元素之和，Mk 是第k 个子矩阵中列元素之和。
h) C=1-H(p) p 为错误传递概率。
3． 一般离散信道的信道容量计算方法：已知信道的转移矩阵P ，求信道容量。
两种方法：
方法一：依据：I(X;Y)是输入概率分布p(xi)的上凸函数，所以极大值一定存在。 步骤：①根据信道转移矩阵Ｐ的特点，用某一参数α设为输入分布p(xi)；
②由p (y j ) =
∑p (x ) p (y
i
i =1
n
j
|x i ) 得出输出分布p(yj)也是关于α的函数；
③将用α表示的p(xi)和p(yj)带入I(X;Y)=H(Y)-H(Y|X)中，得到I(X;Y)
是关于α的函数。
④求I(X;Y)对α的偏导数，并令其等于0，解得α即得到输入分布； ⑤将解得的α代入I(X;Y)式中得到信道容量C 。
例子：见教材P65， [例4.5] 方法二：公式法：
注意：在第②步信道容量C 被求出后，计算并没有结束，必须解出相应的p(xi) ，并确认所有的p(xi)≥0时，所求的C 才存在。
在对I(X;Y)求偏导时，仅限制
∑p (x ) =1 ，并没有限制p(xi)≥0 ，所以求出的
i
i =1
n
p(xi)有可能为负值，此时C 就不存在，必须对p(xi)进行调整，再重新求解C 。
4． 平均互信息I(X;Y)达到信道容量的充要条件：见教材P65。 5． 多符号离散信道及信道容量：
a) 含义，数学模型：
✧ 多符号离散信源X =X 1X 2…X N 在N 个不同时刻分别通过单符号离散信道{X P (Y /X )
Y }，则在输出端出现相应的随机序列Y =Y 1Y 2…Y N ，这样形成一个新的信道称为多符号离散信道。
✧ 由于新信道相当于单符号离散信道在N 个不同时刻连续运用了N 次，所以也称为单
符号离散信道{X P (Y /X ) Y }的N 次扩展。
✧
b) 离散多符号信道的平均互信息和信道容量的几个结论：
结论1：离散无记忆信道的N 次扩展信道的平均互信息，不大于N 个随机变量X1X2…
XN 单独通过信道{X P(Y/X) Y}的平均互信息之和。
结论2：离散无记忆信道的N 次扩展信道，当输入端的N 个输入随机变量统计独立时，
信道的总平均互信息等于这N 个变量单独通过信道的平均互信息之和。
结论3：离散无记忆信道的N 次扩展信道，如果信源也是离散无记忆信源的N 次扩展信源，
则信道总的平均互信息是单符号离散无记忆信道平均互信息的N 倍。
结论4：用C 表示离散无记忆信道容量，用C N 表示其扩展信道容量，C
N
=NC
6． 组合信道及信道容量：
a) 独立并联信道：
含义：输入和输出随机序列中的各随机变量取值于不同的符号集，就构成了独立并联信道。是离散无记忆信道的N 次扩展信道的推广。
信道容量：C N ≤C 1+C 2+ +C N =
∑C
k =1
N
k
，并 当输入端各随机变量统计独
立，且每个输入随机变量Xk (k=1,2, …,N) 的概率分布达到各自信道容量Ck(k=1,2, …,N)的最佳分布时，CN 达到其最大值：C N max =b) 级联信道：
含义：可以看成一个马尔可夫链。
∑C
k =1
N
k
。
信道容量：先求各个级联信道的信道矩阵的乘积，得到级联信道的总的信道矩阵。然后按照离散单符号信道的信道容量方法求即可。
7． 连续信道及信道容量：
a) 传递特性表示及数学模型；传递特性用条件转移概率密度函数p (y /x ) 表示
。
b) 连续信道的信道容量：信源X 等于某一概率密度函数p 0(x ) 时，信道平均互信息的最大
值，即C =max {I (X ; Y ) }
p (x )
c) 平均功率受限的加性信道的信道容量:当噪声、输入分布和输出都满足高斯分布时达到
2
σx P 11
信道容量：C =log 2(1+2) =log 2(1+X )
22P N σ
8． 波形信道的信道容量：
✧ 设信道的频带限于(0,W ) ；
✧ 根据采样定理，如果每秒传送2W 个采样点，在接收端可无失真地恢复出原始信号； ✧ 2W 个样点，所
以单位时间的信道容量为C t =W log 2(1+
P X
)(比特/秒) P N
✧ 香农公式含义：当信道容量一定时，增大信道带宽，可以降低对信噪功率比的要
求；反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。
香农公式给出有噪信道中无失真传输所能达到的极限信息传输率，因此对实际通信系统的设计有非常重要的指导意义。
Chp05知识点
1、 信源编码的基本途径、主要任务： 2、 信源编码的基础：香农两大定理。
3、 离散无记忆信源的一般模型，理解含义
4、 一些码的含义：二元码、等长码、变长码、非奇异码、奇异码、同价码、码的N 次扩展码、唯
一可译码、即时码、最佳码。 5、 即时码的树图构造法
6、 等长编码定理及其物理意义，等长编码效率、等长编码时信源序列长度N 需满足的条件。 7、 会用Kraft 和McMillan 不等式判断即时码和唯一可以码的码长满足的条件。会用唯一可译码的
判别准则。
8、 香农第一定理及其物理意义，变长码编码效率。
9、 变长码编码方法：香农码、费诺码、霍夫曼编码、算术编码、游程码、词典编码。
Chp06知识点： 一、译码准则
1、 最小错误概率译码准则（也称最大后验概率译码准则）：
选择译码函数使满足
*
F (b j ) =a *
a i ≠a
*
P (a /b j ) ≥P (a i /b j )
F (b j ) =a *
*
2、 最大似然译码准则：
选择译码函数使满足
P (b j /a ) ≥P (b j /a i )
3、 最小距离译码准则：
（1） 汉明距离：两个码字之间对应位置上不同码元的个数。D (αi , βj ) =
∑α
k =1
n
ik
⊕βjk
（2） 最小距离译码准则：
F (b j ) =α*
D (α, βj ) ≤D (αi , βj )
*
αi ≠α
*
收到一个码字后，把它译成与它最
近的输入码字，这样可以使平均错误率最小。 二、平均错误概率：
P E =∑P (b j ) P (e /b j ) =∑{1-P [F (b j ) /b j ]}P (b j )
Y
Y
=
Y , X -a
∑
P (a i b j ) =
*
X -a , Y
∑
*
P (b j /a i ) P (a i )
方法：在联合概率矩阵[p(ai)p(bj/ai)]中先求每列除去F(bj)=a*所对应的p(a*bj)以外所有元素之和，然后再对各列求和。
三、信息传输率：R =
log M
注：M-信源的个数n-每个信源的符号数 n
四、编码方法：
编码方法的选择相当于对原来的信道进行N 次扩展，码字符号个数及码字的选择。我们应该选择这样的编码方法：应尽量设法使选取的M 个码字中任意两两不同码字的距离尽量大。 五、理解香农第二定理的含义。 六、纠错码 1、分类：
⏹ 分组码：编码的规则仅局限于本码组之内，本码组的监督元仅和本码组的信息元相关。 (n , k ) 分组码
⏹ 卷积码：本码组的监督元不仅和本码组的信息元相关，而且还与本码组相邻的前 n －1 个码
组的信息元相关。
⏹ 信息码元和校验码元是否可用线性方程组来表示，分为：
⏹ 线性码：编码规则可以用线性方程表示； ⏹ ：编码规则不能用线性方程表示；
⏹ 按纠正差错的类型可分为和； ⏹ 按码字中每个码元的取值可分为二进制码和多进制码。 2、差错控制方式：
3、线性分组码 （1）构成方式
（2）理解一致监督矩阵和生成矩阵的含义，掌握二者之间的关系，并会利用一致监督矩阵和生成矩阵来构造码字。
（3）线性分组码的纠检错能力：掌握最小距离与纠错能力、最小距离与检错能力、最小距离与纠检错能力的关系需满足的条件。
（4）掌握用伴随式来对译码出的码字进行纠错的方法。 （5）线性分组码的编、译码方法
✧ 编码方法：可由H 或G 求得（n,k ）的所有码字。
✧ 译码方法：1）由接收到的R 计算伴随式S ；2）根据所得的伴随式可判断是哪位码元发生了错
误，可纠正一位随机错误。 4、常见的两种纠错码
掌握汉明码和循环码的编译码方法。