信息与计算科学毕业论文.docxVIP

河北工程大学毕业设计（论文） i n n a a k i i 1 i 1 k ，因此， H n N (P) (1 p i i 1 ) 1 n i n 1 (1 n n p ) i n 1 n 成立。综上所 述，不等式 1 1 n n 2 H (P) (1 ) 是正确的。又利用极限表达式 lim (1 ) e ，就有 N n n n 2 H (P) e成立。 (2) 若任意离散概率分布 P (0,0, 0,1, 0 , ,0) 则其相应乘积型熵 H N (P) 2 是很显 然的。这里主要是证明任意离散概率分布 P的乘积型熵 H (P) 2 N ，则该概率分布为 n P ( 0,0, 0,1, 0, ,0) 的成立。因 H N (P) 2，就有 (1 p ) 2成立。又因 0 pi 1, i i 1 n n n n n n n (i 1,2, , n) 且 p 1。则由 H N (P) 2 i pi p j pi p p p j k i 2 i 1 i 1 j 1 j i i 1 j 1 k 1 i 1 j i j i n n n n n n 可以得到 pi p p p p p 0 。又因 pi 0, (i 1, 2, ,n) 则必有 j i j k i i 1 j 1 i 1 j 1 k 1 i 1 j i j i j i n pi pj (i, j 1, 2, , n)且j i、pi pj pk (i, j,k 1, 2, ,n) 且 i j k, , p i i 1 pi 中必然有 n 1 个取值为 0。仅 1 个取值为 1 的结论。 (i 1,2, n) (3) 若任意离散概率分布 P 1 n , 1 n , , 1 n ，则其相应乘积型熵 1 n H (P) (1 ) 是 N n 很显然的。这里主要是证明任意离散概率分布 P 的乘积型熵 1 n H (P) (1 ) 则该概率 N n 分布为 P 1 n , 1 n , , 1 n 时成立。 因 1 n H (P) (1 ) ， N n H n N (P) (1 p ) ，可以得到： i i 1 n i 1 log( 1 p i ) n 2 n 1 1 log 1 成立，也即有 log( 1 p ) n log 1 0 。定义目 i n n i 1 标函数 2 n 1 F (P) log( 1 p ) n log 1 在约束条件 0 pi 1,(i 1,2, ,n) 且 i n i 1 i n 1 p i 1 1下取得最小值为零的必要条件是 pi (i 1, 2, ,n) 其原因在于目标函数 F (P) 是变 n 量 p (i 1,2 , ,n) 在定义域 [ 0,1] [ 0,1] [ 0,1] 上的凸函数，以及目标函数 F (P) 对变量 i p (i 1,2, , n) 的 二 阶 偏 导 数 构 成 的 Hessian 矩 阵 是 正 的 。 因 此 ， 由 i i n 1 1 log( 1 p ) n log 1 必然得到 i n P 1 n , 1 n , , 1 n 成立。 3.3.3 信息熵计算复杂性分析 在现有的微型计算机中，其 CPU 的算术运算单元 ( ALU) 有加法器和乘法器，需将 减法运算变成加法运算，以及除法运算变成乘法运算来执行。假设计算机每执行加法或 21 河北工程大学毕业设计（论文） 减法运算一次需要时间 t 秒，执行乘法或除法运算一次需要时间 t 2 秒，且 t1 t2 。下面 1 给出两种的计算复杂性分析。 对离散概率分布 ( , , , ) P p1 p pn 计算乘积型 H1(P) 所需时间 (n 1)t2 nt1 秒，其 2 计算复杂性为 O(n) 。香农熵 H (P) 含对数运算， 然而现有 CPU 的算术运算单元中没有对 数运算部件， 需将对数运算转化成加法和乘法运算来执行。传统计算对数函数 ln( x) 是 采用幂级数运算来逼近其值。函数 ln( x) 的幂级数展开式为 3 2i 1 x 1 1 x 1 1 x 1 l n x() 2 x 0 ， x 1 3 x 1 2i 1 x 1 在满足一定的计算误差 ( 0) 条件下，计算函数 ln( x) 的值常采用幂级数中前 k 1项来逼近，且正整数 k 的选取与幂级数的截断误差有关。即 k arg t 1 x 1 min ln( x) 2 1 l 2i 1 x 1 i 0 2i 1 假设采用幂级数中的前 k 1项来计算函数 ln( x) 的值，其计算函数 ln( x) 所需时间转 化为计算多项式 2i 1 t 1 x 1 2 的值所需时间。 计算表达式 2i 1 x 1 i 0 1 2i 1 x x 1 1 2i 1 所需时间 3t1 (2i 2)t 秒，计算整个