一种新信息熵及其若干性质.pdfVIP

第 18 卷第 6 期 2006 年 12 月 黛庆邮电学院学报{自然科学版) VoI. 18 No.6 JournaI of Chongqing University of Pωts and Telecommunications(Natural Science) Dec.2006 文章编号 :1004-5694(2006)06-0778甲03 一种新信息摘及其若干性质赞 窗芳1 ，黄进2 (1.囊庆邮电大学通信与信息工程学院，鼓庆 400065; 2. 重庆广播电视网络传输有限责任公司，重庆 400050) 摘 要:引入了一种在图像处理中使用的新信息煽 Hp?l ? 并证明了该信息娟的若千性质，这些性质符合对有限集 划分所包含不则发性稳度的直观泼解，该信息煽可用于刻画有限集划分所蕴涵的知识爱，对 Hp?1 的研究将有助于 设计基于 F ，.;启发式搜索准则，以构造新的知识处理算法。 关键资1 .，言息煽;不确定性 4 划分 中阳分提号:丁P182 文献标识明 :A o 51 窗 系统的不确定性度量…直以来是知识处理领域 的基础问题，经典的香农惰 (Shannon entropy) [1] 给出了对系统结构的不确定性度量，并得到广泛使 用。同时，有大蠢的研究人员致力于非香农摘 (norγShannon entropy) 的定义，包括: Rényi 1胸 (Rényi entropy)川、 Gini…系数( Gini-index )[3J 、 Goodman-Kruskal 关联系数( Goodman哗Kruskal Association lndex)川等的研究。文献[5J提出了一 种新的倍息峭 Hpel 并成功应用于闺像分割处理， 该信息摘与香农惰的区别在于: Hpel 以 e 的指数函 数来刻幽不确定性，而香农捕以对数函数来刻闹不 确定性，本文中我们对使用 Hpu来刻丽系统不确定 性的合理性进行了理论分析，为设计基于 H阳l 的启 发式搜索准则提供了理论基础。 1 基本记号和足义 为便于讨论，这里给出文中所用的慕本记号和 定义如下。 实数集、正实数集、整数集、自然数集分别由民， R+ 品.N 表示。文中找们讨论的其他集合都是非空 的有限集。 定义 1 衍={儿，儿，… ，Am} 是集合A 的→个 划分，当且仪当日 Ai=A 且 Ai n Aj = φ(i 手 j) 时，化中的任意一元素称为一个划分块。PART(A) 是集合 A 的所有划分构成的集合。 π ，7f: E PART(A) ，若付中的任意划分块都包含于汀的一 个划分块中，则记为 πEπ ，称 π是π 的一个细分。 定义 2 若 AnB= φ ? 7f: E PART(A) ，σE PART(B) ,7f: = {A1 ， A2 ? … ， Am} 川口 {Bj .B2?…, B.} ? 贝U 衍 +σ 皿 {A1 .A2 … .Am .B! .B2,… ,Bn} Q 定义 3 若 π 仨 PARTCA) ， C ?; A.则 πc {人 费收稿日期 :2006啊。5晴 17 修订日期 :2006-09币27 n CI A; επ ，Ai 门 C共 φ) 。显然而cε PART(C) 。 定义 4 若赏仨 PARTCA) ， 。 ε PARTCA) , R 口 {A1 .Az.….Am} ,(1 {Bl .B2 ? …,B.} ， 则 π 八 σ = 7f:B】+…+川 =σAl 十… +σAm 。 1. 1 划分的情息蛐函数 PART是所有有限集的划分的集合，则划分 的信息摘脑数定义为: H: PART ? R (1) 者 7f: {A1 ? … .A.} .7f: ε PART(A).则 π 所对应的 概事分布向最为 P(π) = {ρ1 ，…，ι} .其中 ρi - I A; 1/ I A 1 ， 1:i:n。因此，可以通过汀所对应 的概率分布向量来计算 π 中蕴涵的信息俐。则我们 定义函数日的皮囊函数为 M: Ll? R (2) (2) 式满足 H(到 = M(P( 7f:门，其中 π 巳 PART. Ll {P(π) 1 7f:仨 PART} 。 1.2 两划分阔的姻的可比较羡慕 若Llm = {(ρ1 ,… ,Pm) 1 0ρi 1;队十…十 ι= 1}. 对于任意的概率分布向盘 p.q E Llm ， 从 直观上精确比较 p 和 q 包含的不确定性的大小是… 件剧难的事情。然闹，在一些特殊情况下，这样的 比较是可以给出的。当 p ， q ε 岛 ， p (α.1 一 α) ， q= 俏.1-?) 时，则 p 中包含的不确定性不会比 q 中包 含的不确定性小，当且仅当 (3) 式成立时 ， q 的分布 情况更接近于均匀分布(1月 .