信息实际的基础——自我信息.pptVIP

复习; （1）信息是可以识别的 （2）信息的载体是可以转换的 （3）信息是可以存贮的 （4）信息是可以传递的 （5）信息是可以加工的 （6）信息是可以共享的;1.1 自信息 ;信源：产生消息和消息序列的来源。 通常信源的消息序列是随机发生的，因此要用随机变量来描述。;编码器：把消息变换成适合于信道传输的信号。 信源编码器：将信源的输出进行适当的变换，以提高信息传输的有效性。 信道编码器：对信源编码器的输出进行变换，用增加多余度的方法提高信道的抗干扰能力，以提高信息传输的可靠性。;调制器：将信道编码器输出的数字序列变换为振幅、频率或相位受到调制控制的形式，以适合在信道中进行较长距离的传输。 ;解调器：从载波中提取信号，是调制的逆过程 MODEM ;信道：信号由发送端传输到接收端的媒介。 典型的传输信道有电缆、高频无线信道光纤通道等；典型的存储媒介有磁芯、磁盘、磁带等。;干扰源：对传输信道或存储媒介构成干扰的来源的总称。干扰和噪声往往具有随机性，所以信道的特征也可以用概率空间来描述； ;信道译码器：利用信道编码时所提供的多余度，检查或纠正数字序列中的错误。 信源译码器：把经过信道译码器核对过的信息序列转换成适合接收者接收的信息形式。 ;信宿：消息传送的对象 （人或机器 ）。;在通信系统中形式上传输的是消息，但实质上传输的是信息。消息只是表达信息的工具、载荷信息的客体。显然，在通信中被利用的(亦即携带信息的)实际客体是不重要的，而重要的是信息。 通信的结果是消除或部分消除不确定性从而获得信息。;信源的分类;连续信源 连续信源是指发出在时间和幅度上都是连续分布的连续消息（模拟消息）的信源，如语言、图像、图形等都是连续消息。 ;{;{;{;? 符号 的先验概率： ;, ;设X取值{ x1, x2, …,xi, … ,xn}， Y取值{ y1, y2, …,yj, … ,ym}，则 ＊联合概率p(xiyj) ——X 取值xi ,Y 取值yj同时成立的概率 ＊条件概率p(yj/xi)——X 取值xi 条件下,Y 取值yj的概率 ＊条件概率p(xi/yj)——Y 取值yj条件下,X取值xi的概率;[性质] ;1.1 自信息 ;通信系统模型;, ;〉;设有12枚同值硬币，其中有一枚为假币，且只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现采用天平比较左右两边轻重的方法来测量（因无砝码）。为了在天平上称出哪一枚是假币，试问至少必须称多少次？;讨论题;将12枚硬币平分为3堆； 在天平的两端各放一堆：如果平衡，则假币在剩余一堆； 通过这步操作，可消除一些不确定性，获得一定的信息量： ;信息量的直观定义： 收到某消息获得的信息量 =不确定性减少的量 =（收到该消息前关于某事件的不确定性）- （收到该消息后关于某事件的不确定性） 事件的发生所提供的信息;特殊情况： ① 发生概率为1的必然事件，无不确定性； ② 发生概率为0的不可能事件，确定性无限大 ③ 独立事件发生包含的信息量为各事件信息量的和。;（3）当;根据上述条件可以从数学上证明这种函数形式是对数函数，即： ; 自信息量的单位取决于对数所取的底，若以2为底，单位为比特，以e为底，单位为奈特，以10为底，单位为哈特,通常取比特为单位。;例题（1）;设“在12枚同值硬币中，某一枚为假币’这事件为a。其出现的概率为 设“假币重量比真币重量重，或轻’这事件为b。其出现的概率为 事件a,b的不确定性为 要发现某假币并知其比真币重还是轻所需的信息量是消除这两事件的不确定性。这两事件是统计独立事件．所以所需获得的信息量 ; 而在天平上称—次能判断出三钟情况：重、轻和相等。这三种情况是等概率的 所以，天平测一次能获得的信息量(即消除的不确定性)为 则至少必须称的次数为 ;如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几?”则答案中含有多少信息量? 如果你在已知今天是星期四的情况下提出同样的问题．则答案中你能获得多少信息量？ (假设已知星期一至星期日的排序);设事件A知道今天是星期几的悄况下，问明天是星期几的答案；事件B为已知今天是星期四的情况，问明天是星期几的答案。则;;一个以等概率出现的二进制码元（0，1）所包含的自信息量为： I（0）= I（1）= - log2 （1/2）=log22=1 bit ;某电子厂共能生产四种仪器A,B,C,D、其中，A因技术落后停产了，B占全部产量的20％，C占30％，D占50％。有两个消息“现在完成1台仪器B”，和“现在完成1台仪