电脑应用信息论课程总结.pptVIP

信息论课程总结 信息论的基本概念与术语 信号，消息，数据，知识，情报。 信息的定义。（香农信息） 信息的主要特征。 信息的重要性质。 信息的分类。 信息技术的基本内容。 思考题: 信息是什么？ 信息的基本特征是什么？ 信息与信号、消息、数据、知识、情报有那些差别？ 怎样进行信息分类？ 信息技术的 “四基元”是什么？ 为什么说数学是信息科学的基础？ 信息量、熵和不确定度： 自信息量、条件自信息量、联合自信息量、互信息量。 不确定度。 熵、条件熵、联合熵、平均互信息。 应用： 如何利用它们的性质和相互关系计算各种信源、随机变量和事件的相应信息度量 。 两个基本定理： 最大熵定理。 信息不增原理。 几种研究对象： 离散单符号信源。 离散无记忆序列信源。 离散有记忆序列信源。 （主要是马尔可夫信源） 连续信源。 需掌握的重点： 各种定义、概念的实际含义。 各种信息量和熵的计算方法。 难点： 条件熵、联合熵和平均互信息量的计算。 序列熵的计算。 马尔可夫信源熵的计算。 马尔可夫信源熵的计算方法： 根据题意画出状态图，判断是否是齐次遍历的马尔可夫信源。 写出状态转移概率矩阵，计算状态稳定后的极限概率分布。 根据状态转移概率矩阵和极限概率分布，计算信源的极限熵。 信道的信息传输率: 由于在平均意义上,一个符号流经信道的平均信息量为I(X;Y),