感知信息熵测度：理论剖析与可靠性工程应用新探.docx

感知信息熵测度：理论剖析与可靠性工程应用新探

一、引言

1.1研究背景与动因

信息熵的概念最初由香农（ClaudeShannon）于1948年在其开创性论文《通信的数学理论》中提出，用以度量信息的不确定性和随机性，自此成为信息论的核心概念。从基础理论角度，信息熵通过对随机变量概率分布的量化，为信息的度量提供了一个统一且有效的框架，其公式H(X)=-\sum_{i=1}^{n}p(x_i)\logp(x_i)简洁而深刻地揭示了信息与不确定性之间的内在联系，这里p(x_i)表示事件x_i发生的概率。

在通信领域，信息熵被广泛应用于信道容量的计算以及数据压缩算法的设计。例如，哈夫曼编