第六章-编码基础.ppt

第六章 编码技术;信息是什么？; （1）信息是可以识别的 （2）信息的载体是可以转换的 （3）信息是可以存贮的 （4）信息是可以传递的 （5）信息是可以加工的 （6）信息是可以共享的;信源：产生消息和消息序列的来源。 通常信源的消息序列是随机发生的，因此要用随机变量来描述。;编码器：把消息变换成适合于信道传输的信号。 信源编码器：将信源的输出进行适当的变换，以提高信息传输的有效性。 信道编码器：对信源编码器的输出进行变换，用增加多余度的方法提高信道的抗干扰能力，以提高信息传输的可靠性。;调制器：将信道编码器输出的数字序列变换为振幅、频率或相位受到调制控制的形式，以适合在信道中进行较长距离的传输。 ;解调器：从载波中提取信号，是调制的逆过程 MODEM ;信道：信号由发送端传输到接收端的媒介。 典型的传输信道有电缆、高频无线信道光纤通道等；典型的存储媒介有磁芯、磁盘、磁带等。;干扰源：对传输信道或存储媒介构成干扰的来源的总称。干扰和噪声往往具有随机性，所以信道的特征也可以用概率空间来描述； ;信道译码器：利用信道编码时所提供的多余度，检查或纠正数字序列中的错误。 信源译码器：把经过信道译码器核对过的信息序列转换成适合接收者接收的信息形式。 ;信宿：消息传送的对象 （人或机器 ）。;在通信系统中形式上传输的是消息，但实质上传输的是信息。消息只是表达信息的工具、载荷信息的客体。显然，在通信中被利用的(亦即携带信息的)实际客体是不重要的，而重要的是信息。 通信的结果是消除或部分消除不确定性从而获得信息。;信源的分类;连续信源 连续信源是指发出在时间和幅度上都是连续分布的连续消息（模拟消息）的信源，如语言、图像、图形等都是连续消息。 ;{;{;{;? 符号 的先验概率： ;;设X取值{ x1, x2, …,xi, … ,xn}， Y取值{ y1, y2, …,yj, … ,ym}，则 ＊联合概率p(xiyj) ——X 取值xi ,Y 取值yj同时成立的概率 ＊条件概率p(yj/xi)——X 取值xi 条件下,Y 取值yj的概率 ＊条件概率p(xi/yj)——Y 取值yj条件下,X取值xi的概率;[性质] ;通信系统模型;;〉;信息量的直观定义： 收到某消息获得的信息量 =不确定性减少的量 =（收到该消息前关于某事件的不确定性）- （收到该消息后关于某事件的不确定性） 事件的发生所提供的信息;特殊情况： ① 发生概率为1的必然事件，无不确定性； ② 发生概率为0的不可能事件，确定性无限大 ③ 独立事件发生包含的信息量为各事件信息量的和。;;根据上述条件可以从数学上证明这种函数形式是对数函数，即： ; 自信息量的单位取决于对数所取的底，若以2为底，单位为比特，以e为底，单位为奈特，以10为底，单位为哈特,通常取比特为单位。;如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几?”则答案中含有多少信息量? 如果你在已知今天是星期四的情况下提出同样的问题．则答案中你能获得多少信息量？ (假设已知星期一至星期日的排序);设事件A不知道今天是星期几的悄况下，问明天是星期几的答案；事件B为已知今天是星期四的情况，问明天是星期几的答案。则;一个以等概率出现的二进制码元（0，1）所包含的自信息量为： I（0）= I（1）= - log2 （1/2）=log22=1 bit ;某电子厂共能生产四种仪器A,B,C,D、其中，A因技术落后停产了，B占全部产量的20％，C占30％，D占50％。有两个消息“现在完成1台仪器B”，和“现在完成1台仪器C”，试确定哪一种消息提供的信息量大些?其中有什么规律?;解：因为 以及消息提供的信息量与其出现概率倒数的对数成正比，所以 ，即”现在完成一台仪器B”提供的信息量大于”现在完成一台仪器C”提供的信息量。 规律： (1)出现概率为零的消息可略去。 (2)概率小的消息出现时提供的信息量大于概率大的消息出现时提供的信息量。 ;离散信源的（信息）熵;天气预报，有两个信源 ;熵函数可以表示为：;作业：;*;*;*;*;*;*;*;*;6．1．2 信源编码 1.对于信源和信道都已知的通信系统，其编码根据不同的目的可分为信源编码和信道编码两类。 信源编码主要针对信源特性，通过改变信源各个符号之间的概率分布，实现信源与信道间的匹配，使信息传输速率无限接近其最大值——信道容量，所以也称之为有效性编码。 信道编码则是通过变换各个信码之间的规律或相关性，使其对误码具有一定的自检或自纠能力，进而使系统在一定的传信率下错误概率任意小。这类