信道容量一定时.PPTVIP

已知。求该信源的平均信息量。解：若上例中A、B、C符号统计独立，则有：可见，符号间统计独立时的熵高于统计相关时的熵。当离散信源中每个符号等概率出现，而且各符号的出现为统计独立时，该信源的平均信息量最大。即：若上例中A、B、C符号统计独立，等概率出现。则有：通过比较可知:符号统计独立，等概率出现时，信源的平均信息量最大。联合熵（共熵）：存在两个离散信源X和Y时，X中与Y中同时出现的平均信息量。条件熵：X中出现条件下Y中出现的条件平均信息量。同理，有：平均互信息量：互信息量的统计平均值。根据熵、条件熵、共熵、平均互信息量的定义，可证明：（1）共熵与熵和条件熵之间的关系：（2）平均互信息量与熵和条件熵之间的关系：（3）平均互信息量与熵和共熵之间的关系：四、连续信源的信息度量可以把连续消息看成是离散消息的极限情况。连续消息信号在每个抽样点上的取值是一个连续的随机变量，概率密度函数为p(x)。将取值范围分成2N小段。当N足够大时，取值落在小段内，概率表示为：上式中第二项为无穷大。在计算熵变化时，此项始终出现（相抵消）。因此，定义连续信息的平均信息量为：离散消息源当其所有符号等概率输出时，其熵最大。连续消息源的最大熵条件则取决于消息源输出取值上所受到的限制。即：均方值受限和峰值受限。可证明：均方值受限时的最佳概率密度函数为：数字通信具有以下特点：①抗干扰能力强。由于数字信号的取值个数有限(大多数情况只有0和1两个值)，因此在传输过程中我们不太关心信号的绝对值，只注意相对值即可。比如设高电平5V为1，低电平0V为0，在传输时受噪声影响，5V变成8V，而我们只要看到大于5V的值认为是5V就行了(当然，0V受干扰也可能变成8V，以致于把数据0误认为数据1。但经过信道编码后，数据0不是用简单的低电平表示，因此，这样的误码就不会出现)。同时，传输中继器可再生信号，消除噪声积累。比如一个中继器收到一个受干扰而变成8V的信号，若是模拟通信，中继器就会原封不动地把这个8V信号放大后送往下一级，下一级接着放大再往下送，这样一级一级下去，噪声被不断地放大，形成噪声积累直到通信终端。如果是数字通信，第一个收到这个8V信号的中继器先认为该信号为一高电平信号，然后并不将该信号往下传，而是重新生成一个标准高电平信号(比如为5V)传往下一级，这样，噪声就不会像模拟通信那样被一级一级地放大，而是被中继器“隔离”，从而消除了噪声积累。②便于进行信号加工与处理。由于信号可以储存，因此可以像处理照片一样对信号随意加工处理(在技术允许的范围内)。③传输中出现的差错(误码)可以设法控制，提高了传输质量。④数字信息易于加密且保密性强。⑤能够传输话音、电视、数据等多种信息，增加了通信系统的灵活性和通用性。总之，数字通信的优点很多，但事物总是一分为二的。数字通信的许多长处是以增加信号带宽为代价的。比如，一路模拟电话信号的带宽为4kHz，而一路数字电话信号大概要占20～60kHz的带宽。这说明数字通信的频带利用率低。尽管如此，数字通信仍将是未来通信的发展方向。2.按传输介质分类按传输介质的不同，通信系统又有无线通信系统与有线通信系统之分。利用无线电波、红外线、超声波、激光进行通信的系统统称为无线通信系统。广播系统、移动电话系统、传呼通信系统、电视系统等都是无线通信系统。而用导线(包括电缆、光缆和波导等)作为介质的通信系统就是有线通信系统，如市话系统、闭路电视系统、普通的计算机局域网等。随着通信技术、计算机技术和网络技术的飞速发展，单纯的有线或无线通信系统越来越少，实际通信系统常常是“无线”中有“有线”，“有线”中有“无线”。因此，无论是作为科学知识还是学科专业，当代的无线通信、有线通信和计算机网络三者的关系密不可分。3.按调制方式分类按调制与否，可分为基带通信系统和调制通信系统。所谓基带系统，传输的是基带信号(指没有经过任何调制处理的信号)，而调制通信传输的是已调信号。4.按传送信息的物理特征分类分为电话通信系统、电报通信系统、广播通信系统、电视通信系统、数据通信系统等。5