3第三章单符号离散信道讲述.ppt

Channel matrix BSC (binary symmetric channel ) Statistical average Mutual information Ensemble (time) average Chapter 3 单符号离散信道 概率复习 Conditional probability Random process Stochastic process Random series Normal distribution (Gaussian ~) 3. 4 平均交互信息量 定义 互信息量 是定量地研究信息流通问题的重要基础。但它只能定量地描述输入随机变量发出某个具体消息 ，输出变量出现某一个具体消息 时，流经信道的信息量；此外 还是随 和 变化而变化的随机变量。 互信息量不能从整体上作为信道中信息流通的测度。这种测度应该是从整体的角度出发，在平均意义上度量每通过一个符号流经信道的平均信息量。 定义互信息量 在联合概率空间 中的统计平均值为Y对X的平均互信息量，简称平均互信息，也称平均交互信息量或交互熵。 条件熵是一个确定值，表示信宿在收到Y后，信源X仍然存在的不确定度。这是传输失真所造成的。有时称H(X/Y)为信道疑义度，也称损失