信息论基础-自信息量.pptVIP

复习 信息具有以下特征 （1）信息是可以识别的 （2）信息的载体是可以转换的 （3）信息是可以存贮的 （4）信息是可以传递的 （5）信息是可以加工的 （6）信息是可以共享的 1.1 自信息 通信系统模型 信源的分类 概率论基础 信息的可度量性 自信息 熵 信源：产生消息和消息序列的来源。 通常信源的消息序列是随机发生的，因此要用随机变量来描述。 编码器：把消息变换成适合于信道传输的信号。 信源编码器：将信源的输出进行适当的变换，以提高信息传输的有效性。 信道编码器：对信源编码器的输出进行变换，用增加多余度的方法提高信道的抗干扰能力，以提高信息传输的可靠性。 调制器：将信道编码器输出的数字序列变换为振幅、频率或相位受到调制控制的形式，以适合在信道中进行较长距离的传输。 解调器：从载波中提取信号，是调制的逆过程 MODEM 信道：信号由发送端传输到接收端的媒介。 典型的传输信道有电缆、高频无线信道光纤通道等；典型的存储媒介有磁芯、磁盘、磁带等。 干扰源：对传输信道或存储媒介构成干扰的来源的总称。干扰和噪声往往具有随机性，所以信道的特征也可以用概率空间来描述； 信道译码器：利用信道编码时所提供的多余度，检查或纠正数字序列中的错误。 信源译码器：把经过信道译码器核对过的信息序列转换成适合接收者接收的信息形式。 信宿：消息传送的对象 （人或机器 ）。 在通信系统中形式上传输的是消息，但实质上传输的是信息。消息只是表达信息的工具、载荷信息的客体。显然，在通信中被利用的(亦即携带信息的)实际客体是不重要的，而重要的是信息。 通信的结果是消除或部分消除不确定性从而获得信息。 信源的分类 按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类 信源的分类 信源的分类 信源的分类 信源的分类 知识回顾--概率论基础 知识回顾--概率论基础 知识回顾--概率论基础 设X取值{ x1, x2, …,xi, … ,xn}， Y取值{ y1, y2, …,yj, … ,ym}，则 ＊联合概率p(xiyj) ——X 取值xi ,Y 取值yj同时成立的概率 ＊条件概率p(yj/xi)——X 取值xi 条件下,Y 取值yj的概率 ＊条件概率p(xi/yj)——Y 取值yj条件下,X取值xi的概率 知识回顾--概率论基础 [性质] 1.1 自信息 通信系统模型 信源的分类 概率论基础 信息的可度量性 自信息 熵 通信系统模型 离散无记忆信源—数学模型 1）中国女子乒乓球队夺取亚运会冠军。 2）中国男子足球队夺取世界杯赛冠军。 讨论题 一般的方法是，在天平的两端各放一个 硬币：如果平衡，则都不是假币；如果不 平衡，则有一个是假币，再与别的任一硬 币比较。 讨论题 将12枚硬币平分为3堆； 在天平的两端各放一堆：如果平衡，则假币在剩余一堆； 通过这步操作，可消除一些不确定性，获得一定的信息量： 讨论题 信息量的直观定义： 收到某消息获得的信息量 =不确定性减少的量 =（收到该消息前关于某事件的不确定性）- （收到该消息后关于某事件的不确定性） 事件的发生所提供的信息 信息的可度量性（3） 特殊情况： ① 发生概率为1的必然事件，无不确定性； ② 发生概率为0的不可能事件，确定性无限大 ③ 独立事件发生包含的信息量为各事件信息量的和。 自信息量的单位取决于对数所取的底，若以2为底，单位为比特，以e为底，单位为奈特，以10为底，单位为哈特,通常取比特为单位。 例题（1） 设有12枚同值硬币，其中有一枚为假币， 且只知道假币的重量与真币的重量不同， 但不知究竟是重还是轻。现采用天平比较 左右两边轻重的方法来测量（因无砝 码）。为了在天平上称出哪一枚是假币， 试问至少必须称多少次？ （用信息论方法证明） 例题（1）--解答 设“在12枚同值硬币中，某一枚为假币’这事件为a。其出现的概率为 设“假币重量比真币重量重，或轻’这事件为b。其出现的概率为 事件a,b的不确定性为 要发现某假币并知其比真币重还是轻所需的信息量是消除这两事件的不确定性。这两事件是统计独立事件．所以所需获得的信息量 例题（1）--解答 例题（2） 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几?”则答案中含有多少信息量? 如果你在已知今天是星期四的情况下提出同样的问题．则答案中你能获得多少信息量？ (假设已知星期一至星期日的排序) 例题（2）--解答 设事件A知道今天是星期几的悄况下，问明天是星期几的答案；事件B为已知今天是