信息论与基础11信息与消息的概念有何区别信息存在于.doc

第一章 信息论与基础 1.1信息与消息的概念有何区别？ 信息存在于任何事物之中,有物质的地方就有信息，信息本身是看不见、摸不着的，它必须依附于一定的物质形式。一切物质都有可能成为信息的载体，信息充满着整个物质世界。信息是物质和能量在空间和时间中分布的不均匀程度。信息是表征事物的状态和运动形式。 在通信系统中其传输的形式是消息。但消息传递过程的一个最基本、最普遍却又十分引人注意的特点是：收信者在收到消息以前是不知道具体内容的；在收到消息之前，收信者无法判断发送者将发来描述何种事物运动状态的具体消息；再者，即使收到消息，由于信道干扰的存在，也不能断定得到的消息是否正确和可靠。 在通信系统中形式上传输的是消息,但实质上传输的是信息。消息只是表达信息的工具，载荷信息的载体。显然在通信中被利用的（亦即携带信息的）实际客体是不重要的，而重要的是信息。 信息载荷在消息之中，同一信息可以由不同形式的消息来载荷；同一个消息可能包含非常丰富的信息，也可能只包含很少的信息。可见，信息与消息既有区别又有联系的。 1.2 简述信息传输系统五个组成部分的作用。 信源：产生消息和消息序列的源。消息是随机发生的，也就是说在未收到这些消息之前不可能确切地知道它们的内容。信源研究主要内容是消息的统计特性和信源产生信息的速率。 信宿：信息传送过程中的接受者，亦即接受消息的人和物。 编码器：将信源发出的消息变换成适于信道传送的信号的设备。它包含下述三个部分：(1)信源编码器：在一定的准则下，信源编码器对信源输出的消息进行适当的变换和处理，其目的在于提高信息传输的效率。(2)纠错编码器：纠错编码器是对信源编码器的输出进行变换，用以提高对于信道干扰的抗击能力，也就是说提高信息传输的可靠性。(3)调制器：调制器是将纠错编码器的输出变换适合于信道传输要求的信号形式。纠错编码器和调制器的组合又称为信道编码器。 信道：把载荷消息的信号从发射端传到接受端的媒质或通道，包括收发设备在内的物理设施。信道除了传送信号外，还存储信号的作用。 译码器：编码的逆变换。它要从受干扰的信号中最大限度地提取出有关信源输出消息的信息，并尽可能地复现信源的输出。 1.3 同时掷一对骰子，要得知面朝上点数之和，描述这一信源的数学模型。 解：设该信源符号集合为X 1.4 二阶马尔可夫信源的符号集X=｛0，1，2｝，Y=｛0，1，2｝，已知符号下发出符号的概率为p(0|0)=1-2p, p(1|0)= p(2|0)=p, p(0|1)= p(2|1)=p, p(1|1)=1-2p, p(0|2)= p(1|2)=p, p(2|2)=1-2p,画出状态转移图并求平稳后各状态的概率分布。 解：根据符号转移概率 p(y︱x) y x 0 1 2 0 1-2p p p 1 p 1-2p p 2 p p 1-2p 状态空间为 S={00（S0），01（S1），02 （S2），10（S3），11（S4），12（S5），20（S6），21（S7），22（S8）} 可写出转移概率矩阵 状态转移图（略） 由状态转移图列方程组，设各状态的转移概率分别为 解得 1.5 设有一马尔可夫信源如题图1-1所示， 求平稳后各状态出现的概率; 若在初始时刻L=0时处于状态s1; 求L=2时刻 x2=a1的概率; 求稳态下字母序列a3,a1,a2,a1,a2出现的概率。 解：（1）求平稳后各状态出现的概率 转移概率矩阵为 由P列方程组 解得平稳分布为 （2）若在初始时刻时处于状态S1，求时刻，的概率 或由二步转移概率矩阵 可得 （3）∵在L=0时处于状态S1，∴在L=2时x2=a1有两种情况： P1= ，P2 = = ∴所求概率P= P1 +P2= （4）求稳态下字母序列出现的概率 1.6 有一个二院对称信道，p=0.06，设该信道以1000个符号/秒的速度传输输入符号，现有一消息序列共有9500个符号，并设消息中 q（0）=q（1）=0.5，问从信息传输的角度来考虑，10秒钟能否将消息无失真地传送完？ 解：信源符号等概率分布，故信源熵为bit，9500个符号的信息量为9500bit。 又由二进制对称信道的信道矩阵 ，bit/符号 发送和接收符号的联合概率矩阵为 =0.327 bit/符号 10秒钟可以传送bit，故无法在10秒内无失真地传送。 1.7 求二元删除信道的二次扩展信道。 解：二元删除信道的信道矩阵为，设输入符号集合为X={0,1}，输出符号集合为Y={0,e,1}。 ， 1.8 设有一反馈通信系统如图1-2所示，信源为二元离散无记忆信源，信道为二元删除信道，反馈信道为