原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
??????????????????????? 料推荐???????????????????
信息论与编码知识点分布
注：
1）复习过程中参考如下知识点，重点复习教材与多媒体讲义中的相关内容，在理解的基础上进行针对性公式记忆。
2）期末考试题量较大，题型较为灵活，求解速度很重要。因此复习中对典型例题、讲义中典型习题、教材中模拟题等要熟练掌握求解方法。
第二章 信源与信源熵
信源的不确定性
单符号离散信源
（1）单符号离散信源的数学模型
X
x1 ,
x2 ,
,
xi ,
,
xn
P( X )
p(x1 ),
p(x2 ),
,
p(xi ),
,
p( xn )
（2）单符号离散信源的信息量 （自信息量 、联合信息量、 条件信息量及三种信息量的关系）
自信息量：
I (xi ) log p( xi )
条件信息量：
I (xi / yj ) log 2 p(xi / yj )
联合信息量：
I (xi y j ) log 2 p( xi yj ) log 2 p( y j ) p(xi / y j )
I (xi ) I (xi / y j ) I ( yj ) I ( y j / xi )
互信息量：
p(xi / y j )
I ( xi ; y j ) log 2 I (xi ) I (xi / y j ) I (xi ) I ( y j ) I ( xi yj )
p( xi )
信源熵：
1
n
H( X ) E[ I ( xi )]
E[log 2 p( xi ) ]
i 1
p( xi ) log 2 p( xi )
条件熵：
m n
(
/
Y
)
[
(
xi
/
y j
)]
(
) (
xi
/
y j
)
H X
E I
p xi yj
I
j
1 i 1
联合熵：
n m n m
H( XY) p( xi yj )I ( xi y j ) p( xi yj ) log 2 p( xi y j )
i 1 j 1 i 1 j 1
熵函数的性质：非负性；对称性；最大离散熵定理；扩展性；可加性；极值性；平均互信息量：
1
??????????????????????? 料推荐???????????????????
n
m
p( xi y j )
I ( X ;Y )
i 1
j 1
p(xi yj )log 2 p( xi ) p( yj )
I (Y; X )
各种熵之间的关系：
例题：在理解的基础上求解实际问题：
多符号离散平稳信源
2
??????????????????????? 料推荐???????????????????
离散无记忆扩展信源：定义；
离散无记忆信源 X 的 N 次扩展信源的熵就是离散信源 X 的熵的 N 倍
H ( X N ) NH ( X )
离散平稳信源：定义；平均符号熵与极限熵；
4 马尔可夫信源：定义；信源状态转移图；各态遍历定理；熵计算
第三章 无失真信源编码
信源编码的分类：
2 Kraft 不等式与码树表示法；平均码长；编码效率；
定长编码定理；变长编码定理；
香农、费诺、 Huffman 、游程编码、 LD 编码、算数编码、 LZW 编码的编码过程。
第四章 限失真信源编码
失真测度与失真矩阵；
平均失真度与保真度准则；
信息率失真函数 R（ D）及其定义域的确定；
汉明失真下的的二元信源 R（ D）的定义式；
对称失真矩阵下 n 元等概信源率失真函数的定义式；
限失真信源编码定理及应用；
多媒体压缩编码（了解）
第五章 信道及信道容量
一般信道的数学模型：
p(b1 | a1 )
p(b2
| a1) ...
p(bm | a1 )
p(b1
| a2 )
p(b2
| a2 ) ...
p(bm | a2 )
P(Y | X)
...
...
...
...
p(b1
| an )
p(b2
| an ) ...
p(bm | an )
信道容量的定义：
3
??????????????????????? 料推荐???????????????????
C max I ( X ;Y ) bit/ 信道符号
p ( xi )
信道容量的计算：
特殊的单符号离散信道的信道容量一一对应关系的无损信道
C max I ( X ;Y ) max H (X ) max H (Y) log 2 n log 2 m
p( xi ) p (xi ) p (xi )
具有归并性能的无噪信道
C max I ( X ;Y)
p( xi )
max H ( X ) log 2 n
p ( xi )
具有扩展性能的无噪信道
C max I ( X ;Y ) max H (Y ) lo
文档评论（0）