2.6 离散有噪信道中熵速率与信道容量.pptVIP

§2.6 离散有噪信道中的熵速率和信道容量;一、离散有噪信道中的接收熵;一、离散有噪信道中的接收熵;一、离散有噪信道中的接收熵;关系;二、散布度与疑义度;二、散布度与疑义度;二、散布度与疑义度;二、散布度与疑义度;二、散布度与疑义度;有一个产生 A、B、C、D 四种消息的信源，其出现的概率 相等。通过某一通信系统传输时, B 和 C 无误; A 以 1/4 的 概率传为 A, 以 1/4 的概率误传为 B、C、D; 而 D 以 1/2 的 概率正确传输, 以 1/2 的概率误传为 C。试求其可疑度？收 到的信号中哪一个最可靠？其散布度为多少？ ;首先求其它 几种概率：;(1) 疑义度：;可见，收到的信息中， A 最可靠， C 最可疑。;(3) 散布度：;可见，在发出的信息中， A 的散布度最大。;三、离散有噪信道中的接收熵速率;则已知的概率如右：;解;四、离散有噪信道中的信道容量;某信源产生 A、B 两种消息，通过某等宽脉冲的二元信道 传输时，消息 B 无误; 消息 A 以概率 a 正确传输。试求该 信道的信道容量以及信源的最佳概率分布。;解;解; p q; x0 x1;解;作业：; 休息一下;关于离散有噪信道中的信道容量的计算问题 ; 通常情况下，信道的转移概率 是已知的，;1972 年 R . Blahut 和 A . Arimoto 分别独立提出：; 休息一下