研究生信息论期末考试.docx

PAGE

1-

研究生信息论期末考试

第一章信息论基本概念

1.1信息与信息量

信息是现代社会中不可或缺的元素，它贯穿于人类生活的方方面面。在信息论的研究中，信息被视为一种资源，其价值在于能够帮助人们消除不确定性。信息与信息量的概念是信息论的基础，它们揭示了信息在传递、处理和存储过程中的本质特征。

信息量的度量是信息论的核心内容之一。在信息论中，信息量通常用熵来表示。熵是一个概率的函数，它反映了信息的不确定性程度。熵越大，信息的不确定性就越高，信息量也就越大。例如，在掷一枚公平的硬币时，每次掷出正面或反面的概率都是1/2，因此每次掷硬币的信息量是1比特。而在掷一个六面的骰子时