27熵速率和信道容量..docVIP

2.7熵速率和信道容量 2.7.1信源熵速率 信源在单位时间内输出的熵称为信源的熵速率，也叫信息速率或传信率。 1.离散信源的熵速率 2.连续信源的熵速率 如果信源输出信号的带宽有限，最大为W，则根据采样定理，为了采样后不丢失任何信息，其采样率应至少为2W，因此连续信源的熵速率应为: 2.7.2信道容量的概念 信道容量是信道对信源一切可能的概率分布而言能够传送的最大熵速率，其单位为比特/秒等。 1.离散信道的信道容量 离散信源如果有n个符号，符号间无相关性且等概率分布，则其输出熵最大： 如果离散信道每秒最多能传送个信源符号，则最大熵速率为： 把信道可能传送的最大熵速率定义为信道容量. 　 应该注意以下几个问题： (1) 信道容量是信道可能传送的最大熵速率，实际传信率可能大大低于信道容量，即可能的最大熵速率，造成信道容量不能充分利用。其原因是因为信源符号间有相关性及符号并非等概分布。解决的办法是对原始信源符号进行编码，即改造信源，使得信源和信道相匹配，这就是信源最佳编码或称为（与信道）匹配编码。 (2) 信道容量（单位为比特/秒等）与信道单位时间内最多可传输的符号数（例如二进符号0、1）有关系，但这是两个不同意义的物理量。其单位前者为比特/秒，后者为符号/秒。 (3) 如果发现传信率不能满足要求，应先看信源有无可能改造得更好，以充分利用现有