信息论基础总复习.pptVIP

图5-1-2信道模型转移概率矩阵输入输入信道模型5.1.2信道容量如何刻画DMC信道的容量?考虑一个DMC信道，其输入字符集是X={x0，x1，…，xq-1}，输出字符集是Y={y0,y1，…，yQ-1}，转移概率P（yj／xi）.若给定信道的转移概率和对应于输入符号的概率分布p（xi）,则DMC信道容量C为信息论基础总复习1.1信息的概念物质、能量和信息是构成客观世界的三大要素。信息是物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律。通信系统中形式上传输的是消息，实质上传输的是信息，消息中包含信息，消息是信息的载体。信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。对于信息论的研究，一般划分为三个不同的范畴：广义信息论，包括信息论在自然和社会中的新的应用，如模式识别、机器翻译、自学习自组织系统、心理学、生物学、经济学、社会学等一切与信息问题有关的领域。实用信息论，研究信息传输和处理问题，也就是狭义信息论方法在调制解调、编码译码以及检测理论等领域的应用。狭义信息论，即通信的数学理论，主要研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。1.2信息传输系统通信的基本问题是在彼时彼地精确地或近似地再现此时此地发出的消息。各种通信系统，一般可概括为图1.1所示的统计模型：干扰源信道信道译码器信道编码器信源译码器信源编码器信宿信源等效信源等效信宿等效干扰信道图1-1信息传输系统模型这个模型包括以下五个部分：3.信道信道是信息传输和存储的媒介。4.译码器译码是编码的逆变换，分为信道译码和信源译码。5.信宿信宿是消息的接收者。2.编码器编码器是将消息变成适合于信道传送的信号的设备。1.信源信源是产生消息的源。编码器信源编码器，提高传输效率信道编码器，提高传输可靠性1.3离散信源及其数学模型信源是产生消息的源，根据X的不同情况，信源可分为以下类型：离散信源消息集X为离散集合。连续信源时间离散而空间连续的信源。波形信源时间连续的信源。根据信源的统计特性，离散信源又分为两种：无记忆信源X的各时刻取值相互独立。有记忆信源X的各时刻取值互相有关联。1.4离散信道及其数学模型信道是信息传输的通道，如图1-3，信道可看作一个变换器，它将输入消息x变换成输出消息y，以信道转移概率p(y?x)来描述信道的统计特性。信道p(y?x)xy图1-3信道模型无记忆信道信道的输出y只与当前时刻的输入x有关。有记忆信道信道的输出y不仅与当前时刻的输入有关，还与以前的输入有统计关系。信道可以按不同的特性进行分类，根据输入和输出信号的特点可分为：波形信道信道的输入和输出都是时间上连续，并且取值也连续的随机信号。半连续信道输入序列和输出序列一个是离散的，而另一个是连续的。连续信道信道的输入和输出都是时间上离散、取值连续的随机序列，又称为模拟信道离散信道信道的输入和输出都是时间上离散、取值离散的随机序列。离散信道有时也称为数字信道。根据统计特性，即转移概率p(y?x)的不同，信道又可分类为：离散无记忆信道的输入和输出消息都是离散无记忆的单个符号，输入符号xi?{a1,a2,…,ak}，1?i?I，输出符号yj?{b1,b2,…,bD}，1?j?J，信道的特性可表示为转移概率矩阵：(yj?xi)对应为已知输入符号为xi，当输出符号为yj时的信道转移概率，满足0?p(yj?xi)?1，且。离散集的平均自信息量－熵熵条件熵和联合熵XY独立时有H(X|Y)=H(X)熵的凸性H(P)是P的上凸函数非负性对称性平均互信息量条件互信息连续随机变量的互信息随机变量的相对熵(微分熵)凸集R：a，b属于R，qa+(1-q)b也属于R，其中0≤q≤101概率矢量矢量a的所有分量和为102上凸函数03凸函数STEP1STEP2STEP3f(a)是上凸的，－f(a)是下凸的f1(a),…,fL(a)是R上的上凸函数，c1,…,cL是正数，c1f1(a)+…+cLfL(a)也是上凸函数f(a)是上凸函数，E[f(a)]≤f[E(a)],E为求数学期望凸函数的性质第一极限定理:无失真信源编码定理。01第二极限定理:信道编码定理(包括离02散和连续信道)。