02－信源和信源熵.pptVIP

信源与信源熵 信源的统计特性 在信息论中，确切地说信源是产生消息(符号)、消息序列和连续消息的来源。从数学上看，由于消息的不确定性，因此，信源是产生随机变量、随机序列和随机过程的源。 其次，讨论信源的统计特性。客观信源的基本特性是具有随机不确定性。 信源的分类讨论 首先讨论离散单个消息(符号)信源（单符号离散信源）。它是最简单的也是最基本的信源，是组成实际信源的最基本单元。 其次，讨论实际信源。实际信源不可能仅发送单个消息(符号)，对离散信源而言，发送的是一组消息(符号)串，即一个随机序列（多符号离散信源） ；对连续信源而言则是一随机过程（连续信源） 。 在实际问题中，连续的模拟信源往往可以采用两种方法进行分析。 一类是将连续信源离散化为随机序列信源，再采用前面的随机序列信源进行分析； 另一类则是直接分析连续模拟信源，但是由于数学上的困难，只能分析单个连续消息变量的信源。 有3类最常用展开式：傅氏级数展开、取样函数展开及K-L展开。 单符号离散信源数学模型 单符号离散信源的数学模型就是离散型的概率空间： X代表随机变量，指的是信源整体 xi代表随机事件的某一结果或信源的某个元素 p(xi)=P(X=xi)，表示随机事件X发生某一结果xi的概率。 n是有限正整数或可数无限大 不确定性与发生概率 事件发生的概率越小，我们猜测它有没有发生的困难程度就越大，不确