信息论 百度百科.docVIP

250619959 助理小编　二级|消息|我的百科|我的知道|百度首页 | 退出 我的百科 我的贡献 草稿箱 我的任务 为我推荐 新闻网页贴吧知道MP3图片视频百科文库 窗体底端 帮助设置 首页 自然 文化 地理 历史 生活 社会 艺术 人物 经济 科学 体育 红楼梦 欧冠 科技名词定义中文名称： 信息论 英文名称： information theory 定义1： 关于信息量度量和信息编码、信号处理和分析的科学理论。 所属学科： 地理学（一级学科）；数量地理学（二级学科） 定义2： 应用数理统计方法研究信息处理和传递的理论。 所属学科： 资源科技（一级学科）；资源信息学（二级学科） 本内容由全国科学技术名词审定委员会审定公布 目录 信息论 应用 信息论被广泛应用在 信息论概述 研究范围 信息的定义 信息与通讯 信息科学 信息论假说 英译 信息详细定义 图书信息一 概述 内容简介 图书信息二 内容简介 图书目录 图书信息三 基本信息 内容简介 图书目录 图书信息四 图书信息五　 基本信息 内容简介 目录 信息论 应用 信息论被广泛应用在 信息论概述 研究范围 信息的定义 信息与通讯 信息科学 信息论假说 英译 信息详细定义 图书信息一 概述 内容简介 图书信息二 内容简介 图书目录 图书信息三 基本信息 内容简介 图书目录 图书信息四 图书信息五　 基本信息 内容简介 目录 展开 编辑本段 信息论 　　信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。 　　信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。 　　香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中，香农给出了信息熵（以下简称为“熵”）的定义： 　　H = - ∑ pilogpi 　　i 　　这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵度量的是消息中所含的信息量，其中去除了由消息的固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。 　　信息论中熵的概念与物理学中的热力学熵有着紧密的联系。玻耳兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。 　　互信息(Mutual Information)是另一有用的信息度量，它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为： 　　I(X,Y) = H(X) + H(Y) - H(X,Y) 　　其中 H(X,Y) 是联合熵(Joint Entropy)，其定义为： 　　H(X,Y) = - ∑ p(x,y)logp(x,y) 　　x,y 　　互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。 编辑本段 应用 信息论被广泛应用在 　　编码学 　　密码学与密码分析学 　　数据传输 　　数据压缩 　　检测理论 　　估计理论 信息论概述 　　信息论是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。 研究范围 　　信息论的研究范围极为广阔。一般把信息论分成三种不同类型： 　　(1)狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。 　　(2)一般信息论主要是研究通讯问题，但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。 　　(3)广义信息论不仅包括狭义信息论和一般信息论的问题，而且还包括所有与信息有关的领域，如心理学、语言学、神经心理学、语义学等。 信息的定义 　　信息是确定性的增加----逆Shannon信息定义; 　　信息是物质、能量、信息的标示----Wiener信息定义的逆; 　　及邓宇们提出的:信息是事物及其属性标识的集合”。 信息与通讯 　　信息就是一种消息，它与通讯问题密切相关。1948年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息