提要概率论基础回顾.pptVIP

信息论初步Introduction to Information Theory 陈 翀 提要 最优编码 自信息 熵 联合熵、条件熵 互信息 交叉熵 KL-divergence 信息论 Shannon 与20世纪40年代提出 在非理想的通信信道内如何传输最大量的信息，包括 数据压缩(与熵相关) 传输率 (信道容量) 信息量的度量 在TIM领域，信息论被用来 解决海量存储（文本压缩编码） 推测不确定性-熵 解释随机变量及其分布的关系-互信息、KL距离 。。。。。。 信息的度量 信息是个很抽象的概念。我们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。直到 1948 年，香农提出了“信息熵” 的概念，才解决了对信息的量化问题。 一条信息的信息量大小和它的不确定性有直接的关系。 比如说，要搞清楚一件非常不确定的事，或是我们一无所知的事情，就需要了解大量的信息。相反，如果我们对某件事已经有了较多的了解，则不需要太多的信息就能把它搞清楚。从这个角度可认为，信息量的度量就等于不确定性的多少。 例子：冠军队预测 信息论基本概念 编码长度：信源发出的不同信号在传输中需要用多长的编码传输，能够节省对信道的占用，并在接收方获得不歧义的信息 Entropy（熵）：测量随机变量不确定性，反映混乱程度 Mutual Information（互信