信息论北理工复习2013.docxVIP

信息论复习 1.消息、信号、信息的含义、定义及区别。 信息是指各个事物运动的状态及状态变化的方式。 消息是指包含信息的语言，文字和图像等。 信号是消息的物理体现。 消息是信息的数学载体、信号是信息的物理载体 信号；具体的、物理的 消息：具体的、非物理的 信息：非具体的、非物理的 同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。同 样，同一类型信号或消息也可以代表不同内容的信息 信息是可以量度的，信息量有多少的差别。 4.信息论的起源、历史与发展。 ■ 1948年，Shannon提出信息论，“通信中的数学理论”一现代信息论的开创性的权 威论文，为信息论的创立作出了独特的贡献。 .通信的目的？要解决的最基本问题？通信有效性的概念。提高通信有效性的最根本途径？ 通信可靠性的概念。提高通信可靠性的最根本途径？通信安全性的概念，提高通信安全性的 最根本途径？ 通信系统的性能指标主要是有效性，可靠性，安全性和经济性。通信系统优化就是使 这些指标达到最佳。从提高通信系统的有效性意义上说，信源编码器的主要指标是它的编 码效率，即理论上所需的码率与实际达到的码率之比。提高通信有效性的最根本途径是信 源编码。减少冗余。 提高可靠性：信道编码。增加冗余。 .随机事件的不确定度和它的自信息量之间的关系及区别？单符号离散信源的数学模型， 自信息量、条件自信息量、联合自信息量的含义？