信息论第一章节(叶中行).ppt

x1 y1 x2 y2 3/4 1/4 1/2 1/2 1 0 0 1 3/4 1/4 1/2 1/2 ? X Y 1/3 0 1 1/3 1/3 0 1 0 X Y 第一级 处理器 第二级 处理器 X 输入 Y Z 级联处理器示意图 数据处理定理： 数据处理过程中只会丢掉一些信息，绝不会创造出新的信息，这就是所谓的信息不增性。 编码 信道 U Y X 译码 V 一般通信系统 §1.4 信息量的一些基本性质 §1.5 广义熵 习题课 信息论基础 绪论 第1章 随机变量的信息度量 第2章 随机过程的信息度量和渐近等分性 第3章 数据压缩和信源编码 第4章 数据可靠传输和信道编码 第5章 限失真信源编码和率失真函数 第6章 连续信源和信道编码理论 绪论 信息论是应用近代概率统计方法研究信息传输、交换、存储和处理的一门学科，也是源于通信实践发展起来的一门新兴应用科学 研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学 研究可能性和存在性问题，为具体实现提供理论依据 信息论研究的主要内容 广义信息论，包括信息论在自然和社会中的新的应用，如模式识别、机器翻译、自学习自组织系统、心理学、生物学、经济学、社会学等一切与信息问题有关的领域。 实用信息论，研究信息传输和处理问题，也就是狭义信息论方法在调制解调、编码译码以及检测理论等领域的应用。 狭义信息论，即通信的数学理论，主要研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码。 干扰源 信道 信道译码器 信道编码器 信源译码器 信源编码器 信宿 信源 等效信源 等效信宿 等效干扰信道 信息传输系统模型 3. 信道 信息传输和存储的媒介 4. 译码器 译码是编码的逆变换，分为信道译码和信源译码。 5. 信宿 消息的接收者。 2. 编码器 将消息变成适合于信道传送的信号的设备。 1.信源 产生消息的源。 编码器 信源编码器，提高传输效率 信道编码器，提高传输可靠性 第1章 随机变量的信息度量 §1.1 自信息 §1.2 熵、联合熵、条件熵 §1.3 相对熵和互信息 §1.4 信息量的一些基本性质 §1.5 广义熵 习题课 §1.1 自信息 信息：通信领域指通信的消息；信号处理方面指包括了数字、数据、图像、语音等进行运算和处理所需的条件、内容和结果 信源：消息的来源。 信源的分类：离散信源和连续信源 信源的表示方法：用随机变量X表示一个离散信源，X的可能取值，即信源可能输出的不同符号用集合χ表示 自信息：信源发出的某个信号所含的信息量，记为 自信息与信号发生概率之间关系 自信息满足的公理 §1.2 熵、联合熵、条件熵 熵：对整个信源来说，每个信号的平均信息量的多少 定义1.2.1 离散随机变量X的熵定义为 注意！熵只是概率分布p的函数，与X取什么值并无关系 H(X) 对数函数底 熵的单位 2 比特(bit) e 奈特(nat) 10 哈特(hartley) 对数底与熵单位的对应关系 §1.3 相对熵和互信息