信息熵与互信息计算程序实现.pdfVIP

#

‑*‑

编码：utf‑8

‑*‑

#演示内容：香农信息熵的计算(例1和例2分别为两种不同类型的输入)以及互信息的计算(例3)。其中log默认为自然对数。

importnumpyasnp

frommathimportlog

#例1:

计算香农信息熵(已知概率分布)

打印(例1:)

_

定义

计算熵(x):

内容=0点零

对于p在x:

熵

-=概率

*np.log(p)

返回实体

x1=np.array([0.4,

0.2,

0.2,

0.2])

x2=

3=

np.array([1])

xnp.array([0.2,

0.2,

0.2,

0.2,

0.2])

print(x1的信息熵:,

_

calcent(x1))

print(x2的信息熵:,

_

calcent(x2))

print(x3的信息熵:,

_

calcent(x3))

print()

#例2:

计算香农信息熵(此时给定了信号发生情况)

打印(例2:)

def

calcShannonEnt(dataSet):

length,dataDict=float(len(dataSet)),{}

for

data