第二章信息论及数学基础研讨.pptVIP

信息论与数学基础 熵 “熵”是德国物理学家克劳修斯在１８５０年创造的一个定义，他用熵的定义来表示任何一种能量在空间中分布的均匀程度。 能量分布得越均匀，熵就越大。 如果对于我们所考虑的那个系统来说，能量完全均匀地分布，那么，这个系统的熵就达到最大值。 2.1 信息论 1948年由香农（claude elmwood shannon）确立了信息论 从通信的实质意义来讲，如果接收者收到的消息是已知的，则等于没有收到任何消息。 因此，人们更感兴趣的是消息中所包含的未知成分，用概率论的术语来讲，就是具有不确定性的成分，香农将该成分称为信息，并进行了数量描述。 2.1 信息论 信息量：对消息的所有可能含义进行编码时所需要的最少比特数 例如对于一周中的时间或性别进行有效编码 一条消息中的信息量可以通过熵来度量 1 熵和不确定性 在1948年由克劳德·艾尔伍德·香农第一次引入到信息论中来。 定义 如果有一个系统S内存在多个事件S = {E1,...,En}，每个事件的机率分布 P = {p1, ..., pn}，则每个事件本身的信息为： Ie= ? log2pi（对数以2为底，单位是位元(bit)） Ie = ? lnpi（对数以e为底， 单位是纳特/nats） 例如 1）如英语有26个字母，假如每个字母在文章中出现次数平均的话，每个字母的信息量为： 2）汉字常用的有2500个，假如每个汉字在文章中出现次数平均的话，每个汉字的信息量为 熵是整个系统的平均消息量，即： 熵均大于等于零， HS=0 设N是系统S内的事件总数，则熵HS =log2N。当且仅当p1=p2=...=pn时，等号成立，此时系统S的熵最大。 安全角度看消息的熵值描述了明文的不确定性，熵值越小不确定越低，被攻击的可能性越大。信息熵大，意味着不确定性也大。 2. 密码体制的安全性 在密码学方面，1949年香农发表《保密系统的通信理论》，通常它被认为是密码学的先驱性著作。 1976年狄菲和赫尔曼首次提出公开密钥体制，为密码学的研究开辟了新的方向。 超大规模集成电路和高速计算机的应用,促进了保密编码理论的发展,同时也给保密通信的安全性带来很大的威胁。 70年代以来把计算机复杂性理论引入密码学,出现了所谓P类、NP类和NP完全类问题。算法的复杂性函数呈指数型增长，因此密钥空间扩大，使密码的分析和搜索面临严重的挑战。密码学开始向纵深方向发展。 保密编码:为了防止窃译而进行的再编码称为保密编码。其目的是为了隐藏敏感的信息。 常采用替换或乱置或两者兼有的方法。 一个密码体制通常包括两个基本部分：加（解）密算法和可以更换的控制算法的密钥。 密码根据它的结构分为序列密码和分组密码两类。 序列密码是算法在密钥控制下产生的一种随机序列，并逐位与明文混合而得到密文。其主要优点是不存在误码扩散，但对同步有较高的要求。它广泛用于通信系统中。 分组密码是算法在密钥控制下对明文按组加密。这样产生的密文位一般与相应的明文组和密钥中的位有相互依赖性，因而能引起误码扩散。它多用于消息的确认和数字签名中。 密码学还研究通过破译来截获密文的方法。 破译方法有确定性分析法和统计性分析法两类。 确定性分析法是利用一个或几个未知量来表示所期望的未知量从而破译密文。 统计分析法是利用存在于明文与密文或密钥之间的统计关系破译密文。 3 唯一解距离 定义：进行强力攻击时，可能解密出唯一有意义的明文所需要的最少密文量。 一般来说，唯一解距离越大，密码体制越好 比解距长的密文可以合理的确定唯一的有意义的解密文本，比解距短的密文可能会有多个同样等效的解密文本，这样增加了选择正确的难度，可以获得安全性。 定义：U=H(K)/D 其中D是语言多余度， H(K)密码体制的熵。 唯一解距很小，密码体制不安全；但不一定是唯一解距大就一定安全。 4 语言信息率 语言信息率：r=H(M)/N 其中H(M)是熵，N是消息的长度 语言的绝对信息率：R=log2L 其中L是语言中字母数，R也是单个字母的最大熵。 语言的多余度：D=R-r 5 混乱和散布 混乱：也可以称为替换 散布：也可以称为置换，位置的变化。 2.2 复杂性理论 分析不同密码技术和算法的的“计算复杂性”的方法，通过对密码算法及技术进行比较，确定其安全性。 1）算法的复杂性 一个算法的复杂性由两个变量来描述：T(时间复杂度)、S（空间复杂度）， T和S表示为n的函数，n是输入尺寸。 一个算法的复杂度可以用O符号表示，O(n2) 时间复杂度和空间复杂度与输入的尺寸有关 2）问题的复杂性 P问题：能够在多项式时间内解决的问题（时间复杂度） NP问题：多项式时间内可验证的问题 NP完全问题：特殊的问题，如果N