原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
概述
⚫什么是信息论（InformationTheory）
⚫香农（C.E.Shannon）
⚫本门课程的主要内容
什么是信息论
⚫请解释一下什么叫信息？
—“消息”、“信号”、“知识”、“”
—“消息”信息
⚫信息论是怎样的一门学科？
信息的定义
“信息”是当代使用频率很高的一个概念，也是
很难说清楚的一个概念。据不完全统计，信息的
定义有100多种，它们都从不同的侧面、不同的
层次揭示了信息的某些特征和性质，但至今仍没
有统一的、能为各界普遍认同的定义。
通信中信息的含义？
信息的定义
什百余种流行的科学定义；
么1948，控制论创始人N．Ｗiener：
是信息是信息，不是物质，也不是能量
信—《控制论—动物和机器中通情与控制问题》
—首先将“信息”上升到“最基本概念”的位置
息
？⚫香农的信息定义
信息的定义
⚫收到两封信（消息）：
⚫一封谈的是其同学的工作、学习状况；
⚫一封是家信，谈的是家人的健康状况；
有同事问：你从那中获得了的信息？
进一步问：
家信含有的信息比同学来信中多多少？
#很难回答—经验性的把“信息”与“消息”混为
一谈
信息的两种定义
香农的三个观点：
1）形式化假说
通信的基本问题是在消息的接收端精确或近似
地发送端发出的消息。通信中消息的意义
和效果与通信没有关系。
@#￥%%*%@%$%$#^%$*^*
信息的两种定义
2）非决定论
一个实际的消息总是从可能发生的消息集合中
选择出来的；因此，系统必须对每种选择都能
工作。
信息的两种定义
3）不确定性（ambiguity）
人们只有在两种情况下采用通信的需要：一是
自己有某种形式的消息要告知对方，而估计对
方“不知道”这个消息；二是自己有某种“疑
问”要询问对方，而估计对方能做出一定的解
释。
信息的两种定义
⚫香农的信息定义：
信息是用来消除
不确定性的东西。
预备知识
⚫人们也常常错误地把信息等同于消息，认为得到消息，
就是得到了信息。
⚫例如，当人们收到一封电报，接到—个，收听了广
播或看了电视等以后，就说得到了“信息”。
⚫人们通过通信，接收到消息后，得到的是关于描述未知
事物状态的具体内容。例如，听气象广播，气象预报为
“晴间多云”，这就告诉了我们某地的气象状态．而
“晴间多云”这广播语言则是对气象状态的具体表述。
消息中包含信息，是信息的载体。得到消息，从而获
得信息。
预备知识
⚫在各种实际通信系统中，往往为了克服时间或空间的限
制而进行通信，必须对消息进行加工处理。把消息变换
成适合信道传输的量，这种量称为信号
(如电信号，光倍号，声信号，生物信号等等)。
信号携带着消息，它是消息的运载工具。
⚫例、汉文消息不能直接在信道中传输。一般，需先将汉
文(例如“借钱5分”)变换成四位码，然后变换成由点、
划和空隔三种符号组成的莫尔斯码，再转换成脉冲电信
号，然后经过调制变成高频调制电信号，才能在信道中
传输。此时，脉冲电信号或高频调制电信号都载荷着汉
文消息，表述借了5分钱的一种状态。
信息理论
(Information(InformationTheory)
什
么信息论－统计信息理论
是四十年代末期C.E.Shannon，以客观概
文档评论（0）