《信息论与编码》全套教学课件.pptx

信息论与编码;信息论与编码;第1章绪论;第1章绪论;第一章绪论;第1章绪论;1.2信息论的研究内容

1.2.1信息度量、信息熵与消息

对于离散信源

对于连续信源;1.2信息论的研究内容

1.2.2信息表征与数据压缩

信息表征的理论基础由香农信源编码定理（又称为数据压缩定理或香农第一定理）给出，具体地，香农信源编码定理又细分为无失真信源编码定理和限失真信源编码定理。

对于无失真信源编码定理的简单解释是：压缩编码序列长度的最小值等于压缩前序列长度乘以信源熵。

限失真信源编码定理指出了给定失真度限制条件下的编码方法的存在性

;1.2信息论的研究内容

1.2.3信息传输、信道容量、调制与编码

信道传输特征由信道的熵特征确定；

条件熵完全界定了信道上消息的传输特征

信道传输的最大信息量为信道容量。

BSC和AWGN信道上的信息传输原理是其他信道上信息传输原理的基础；;1.2信息论的研究内容

1.2.4信息安全、加密与认证

应对两类信息安全威胁，通常最可信的措施是加密（通过消息数据加密实现信息隐私保护）和签名（通过消息数据签名实现信息认证保护）。

应对信息认证安全威胁，即实现信息真实性与完整性保护的途径主要有数字签名、消息认证码、区块链等。;第1章;第1章绪论;信息论与编码;2.1信源与信息度量的基本概念

;2.1信源与信息度量的基本概念;2.1信源与信息度量的基本概念;2.1信源与信息度量的基本概念;2.2自信息量与熵

;2.2自信息量与熵;2.2.1自信息量;?;2．联合自信息量;3．条件自信息量;2.2.2信息熵;2．条件熵;3．共熵（联合熵）;4．相对熵;5．交叉熵;2.2.3熵的基本性质;?;?;性质6熵函数具有确定性，即;性质8条件熵小于无条件熵，即;2.3互信息量与平均互信息量;2.3互信息量与平均互信息量; 再由自信息量和条件自信息量的定义公式，不难推出互信息量的概率计算式：;2.互信息量的性质;性质3互信息量可正可负;3.条件互信息量;?;1.平均互信息量的定义;?;2.平均互信息量的性质;性质3平均互信息量具有极值性，即;性质5平均互信息量和各类熵的关系如下;?;为了更便于理解，我们再把它们的关系列于表中;性质6三维联合符号集合上的平均互信息量为;3.平均互信息量的物理意义; 对于无扰离散信道，因为信道上没有噪声，所以信道不损失信息量，疑义度为零，噪声熵也为零。于是有;2.4离散信源的熵;2.4离散信源的熵;2.4.2多符号离散信源的熵;且有;2.4.3马尔可夫信源的熵;?;?;马尔可夫链可以用香农线图表示。;?;2.4.4离散信源的时间熵;?;?;

此时，该信源的时间熵又可表示为

;?;2.5连续信源的熵;2.5连续信源的熵;?;在定义连续信源的熵时把第二项（绝对熵）舍去，定义的连续信源的熵为;则一维连续信源的熵为;基本高斯信源是指信源输出的一维随机变量的概率密度函数是正态分布的，即;这个连续信源的熵为;?;其中;2.5.2连续信源的熵的性质;?;由Jensen不等式得出，故有;?;所以;定理2.3（均值受限条件下的最大熵定理）对于输出非负消息且均值受限的一维连续信源，当输出信号的概率密度函数服从指数分布时，其微分熵达到最大值。;首先有;因而有;2.5.3多符号连续信源的熵;不等关系：;同理可得;?;基本性质;2.5.4熵功率;因此，熵功率给出了随机变量功率的一个上界。;2.6信息论不等式及其应用;2.6信息论不等式及其应用;?;?;?;?;?;?;定理2.7（数据处理定理）当消息通过多级处理器时，随着处理器数量的增多，输入消息与输出消息之间的平均互信息量趋于变小。对于图所示的两级级联处理器的情况，有;?;?;?;证明：定义一个误差随机变量;?;?;?;第2章信源及其熵;信息论与编码;第3章信道及其信道容量;第3章信道及其信道容量;第3章信道及其信道容量;第3章信道及其信道容量;第3章信道及其信道容量;第3章信道及其信道容量;第3章信道及其信道容量;第3章信道及其信道容量;第3章信道及其信道容量;第3章信道及其信道容量;第3章信道及其信道容量;第3章信道及其信道容量;第3章信道及其信道容量;第3章信道及其信道容量;第3章信道及其信道容量;第3章信道及其信道容量;第3章信道及其信道容量;信息论与编码;第4章率失真函数;第4章率失真函数;第4章率失真函数;第4章率失真函数;第4章率失真函数;第4章率失真函数;第4章率失真函数;第4章率失真函数;第4章率失真函数;第4章率失真函数;信息论与编码;第5章信源