1-第一讲_信息熵.pptVIP

信息论基础 2011 年 3 月 第一讲 1-1 信息论的主要内容 1-2 信息的度量－信息熵 1-3 信息熵的性质 信息熵 1－1. 信息论的主要内容 香农信息论最初是为了解决通信问题而提出的。 通信的重要意义是勿庸置疑的。 人类传递思想、表达情感，就需要相互交流。 人类的劳动、生产、政治、文化、日常生活等都离不开通信。 人类利用眼、耳、鼻、舌、身等五种感觉器官来感受外界的信息，形成一个信息流通的体系。 通信方式的不断提高，代表了人类文明和科技水平的不断提高。 通信的根本任务：将一地点的消息可靠地、有效地 传送到另一地点。 信源 干扰源 信道 信宿 通信系统的基本模型： 为了使消息可靠地、有效地传送到信宿，就需要 对信源的消息进行处理； 信源编码：实现有效性；信道编码：实现可靠性； 密码：实现保密性及认证性； 有没有可靠的、有效的处理方法？如何进行编码？ 香农信息论奠定了通信的理论基础。 信息是消息的不确定性度量。某消息出现的概率大，它的信息量就小， 相反，某消息出现的概率小，则它的信息量就大。通信的关键是信息的传输问题。 信源 信源编码 信宿 信道 信道编码 信道译码 信源译码 加密钥 加密 解密钥 解密 干扰源 提出的背景： 在香农信息论出现以前，没