概率和信息理论不完备性及有限精度函数理论改进.pdfVIP

概率和信息理论的不完备性及其 基于有限精度函数理论的改进 陈光，韩秀玲 1东华大学信息学院，上海松江（201600） Email: gchen@, xlhan@ 摘 要：发现了概率和信息理论的不完备性。这种不完备性表现为在连续随机变量的不 同的取值点之间存在着非概率的关联以及Shannon 的连续与离散信息熵的定义的不一致性。 问题来自于概率和信息理论是基于一种无限精度的函数理论而把连续随机变量的取值及其 概率密度函数均表示为具有确定形式的连续统，但实际上反映随机事件真实性质的数学体系 则必须是离散的而且具有不确定的形式。后者所对应的是一种有限精度的数学描述，并可以 由一种建立在实数等价类集合上的函数理论来表示。文中给出了这种新的函数理论并将其应 用于概率和信息理论，重新定义了概率和信息熵，消除了随机变量的非概率关联并解决了 Shannon 信息熵的不一致性的问题，从而形成了完备的概率与信息理论的基础。 关键词：概率，信息熵，有限精度函数理论 中图分类号：O17, O211, O236 1. 引言 我们发现在概率和信息理论中存在着不完备性。这种不完备性表现为连续随机变量的不 同取值点的非概率关联以及 Shannon 的连续与离散的信息熵的定义的不一致性。问题来自于 概率和信息理论是用现有的函数理论来表示的，而现有的函数理论是一种建立在实数域上的 无限精度的数学理论，于是概率和信息理论的数学体系具有无限的精度而不包含任何形式上 的不确定性。对于连续随机变量来说，其取值和概率密度函数则均表示为确定的连续统。我 们发现，不确定的表示形式是构成完备的概率与信息理论所必须的，其所对应的将是一种离 散的有限精度的数学描述。为了进行这样的数学描述可以借助一种建立在实数等价类集合上 的函数理论。我们将给出这种函数理论, 同时证明基于该理论及其所表示的随机变量形式的 不确定性重新定义概率与信息熵，可以消除随机变量的非概率关联并解决 Shannon信息熵的 不一致性的问题，从而形成完备的概率与信息理论的基础。 2. 连续随机变量的非概率关联 基于概率公理化体系，如果连续随机变量 ξ 的可能取值在整个实数域上，即 ( ) [1] ∈ −∞x ∞ , ，则可定义其分布函数为 x F x ( ) y (dy) ∫ ρ −∞ （1） 1 ( ) 其中ρ x 为概率密度函数并满足 ( ) ρ0x ≥ （2） ∞ ( )∫ ρx1dx