概率信息论PPT课件.pptVIP

概率信息论;等概时信息熵最大;狭义与广义信息论;信道编码－线路码与纠错码;从信息论角度来看的信道编码是指第二层次的编码，即差错控制编码，包括各种形式的纠错、检错码，统称为纠错编码。纠错编码的理论体系属于信息理论，但纠错编码的实现离不开有形载体的信号理论，因此信息的编码与信号的编码有天然联系。纠错码在有形化信号阶段的差错概率是符号(symbol)差错概率（误码元率），而在承载信息方面的差错概率是比特差错概率(误比特率)。

本书讨论的信道编码主要指纠错编码，而衡量纠错编码性能的指标主要是误比特率的改善程度。;编码信道

输入、输出、转移概率矩阵三要素;信道模型;突发差错编码信道模型;随机编码;（N，K）分组码;在qNM个可能的码集中，有的码集“好”些（码字间距离大，差错概率Pe小），有的码集“差”些。代数编码的任务是找出其中的好码，而随机编码的任务是找出统计规律，求出平均差错概率及它的上下界

码集点数M占N维矢量空间总点数的比例是

F=qK/qN=q-(N-K) (1-33)

显然，当K和N的差值拉大即富余的空间点数增加时，平均而言码字的分布将变得稀疏，码字间的平均距离将变大，平均差错概率将变小。我们现在提出这样一个问题：当F?0即(N-K)??时，能否让平均差错概率?0？;Gallager界;编码定理;差错控制的途径;纠错能力的获取－冗余度、随机化;最小码距;重量谱;最佳译码和最大似然译码;先验概率与后验概率间的关系;在此前提下最大后验概率译码等效于最大先验概率译码，或者说最佳译码等效于最大似然译码。

理论上，我们通过信源编码算法的改进及扰码、交织的采用可使发码ci等概化，令信道对称均衡而使收码r也等概化，从而可用最大似然译码替代最佳译码。;对数似然函数;作为一个特例，BSC信道的最大似然译码可以简化为最小汉明距离译码。

汉明距离译码是一种硬判决译码。我们只要在接收端将发码r与收码ci的各码元逐一作比较，选择其中汉明距离最小的码字作为译码估值。由于BSC信道是对称的，只要发送的码字独立、等概，汉明距离译码也就是最佳译码。;差错控制系统分类;纠错码分类;误码率;香农公式;③第三种情况：当信道容量为零即C/W?0时，利用对数公式和极限公式x?ln(1+x)|x?0，

式(1-67)改写为

即

说明当Eb/N0为-1.6dB时信道完全丧失了通信能力。我们把-1.6dB称作香农限，其含义是：以码率等于信道容量的最大速率通信时，通过编码可降低对信道信噪比的要求，但最低也不可能低于香农限。反过来说，只要信道信噪比大于香农限，就可以通过码长N??的编码实现无差错的信息传输。香农限为编码性能分析提供了一个理论极限。;香农限和编码增益;几种常用检错码;3.等比码(constantratiocode);加权码(weightedcode);ISBN码的码元结构为

ISBNC8C7C6C5C4C3C2C1C0–C校

则正确的书号一定满足

(1-70)

检验书号是否有错，只要核算(1-70)式是否成立。

如上面提到的《编码和信息理论》一书中

0×10+1×9+3×8+1×7+3×6+9×5+1×4+3×3+9×2+9=143，求模[143]MOD11=0

显然书号是正确的。书号的各位码分别乘以一个数叫做“加权”，这里的权值是2～10。;加权和模值选择的原则是：

①模值应大于字符个数。统一书号数字符0～9共10个，模取11，满足此条件。

②模与权值互素。这里11分别与2~10互素。

已知9位统一书号求最后一位检验码可用下式

C校＝11－[]mod11(1-71)

上例书号中，

9×2+3×3+1×4+9×5+3×6+1×7+3×8+1×9+0×10=134

C校=11—[134]MO11=11—2=9

对11求模的最大余数可能是10，但校验码只有1位，所以凡余数是10就用“X”来表示。;ISO7064《校验码标准系统》;ISO7064具体标准;用规律检错