- 33
- 0
- 约8.38千字
- 约 9页
- 2019-02-17 发布于广东
- 举报
第1章
1.信息:以某种形式来表示的知识或消息
2.信息的分类:文本信息、图信息、动态信息、音频信息等。
3.信息的度量
信息:是消息中包含的有效内容
如何度量离散消息中所含的信息量?
度量信息量的原则:能度量任何消息,并与消息的种类无关;度量方法应该与消息的重要程度无关;消息中所含信息量和消息内容的不确定性有关
4.事件的不确定程度可以用其出现的概率来描述:
消息出现的概率越小,则消息中包含的信息量就越大。
假设:P(x)-消息发生的概率, I-消息中所含的信息 量,
则 P(x) 和 I 之间应该有如下关系:
I 是 P(x) 的函数: I =I [P(x)]
P(x) ?,I ? ; P(x) ? ,I ?;
P(x) = 1时,I = 0; P(x) = 0时,I = ?;
满足上述3条件的关系式如下:
上式中对数的底: 若a = 2,信息量的单位称为比特(bit),可简记为b;若a=e,信息量的单位称为奈特(nat),若a=10,信息量的单位称为哈特莱(Hartley) 。通常取a=2。
5.一个离散信源是由M个符号组成的集合, 其中每个符号xi (i = 1, 2, 3, …, M)按一定的概率P(xi)独立出现;且有,则
每个符号所含信息量的平均值为:
H称为富豪的平均信息量,若传递一个消息的符号
您可能关注的文档
最近下载
- 2026年济南市中考英语试题卷(含答案及解析).docx
- 海洋固定式平台简介案例.ppt VIP
- 2025年互联网营销师评论区运营与用户互动技巧专题试卷及解析.pdf VIP
- 2025年特许金融分析师基金会与捐赠基金投资成本控制与费用结构分析专题试卷及解析.pdf VIP
- 麻醉诱导后低血压预测及预防的研究进展.pptx
- 高年级语文综合素养发展资料型文章:适合长期保存的习惯养成机制.pdf VIP
- 2025年特许金融分析师个人投资者行为偏差专题试卷及解析.pdf VIP
- 中西医结合护理文件书写规范.docx VIP
- 2025年鲁科版高中三年级生物磷流失问题专题试卷及解析.docx VIP
- 静脉用药调配医嘱审核.docx
原创力文档

文档评论(0)