[数学]信息论基础.pptxVIP

ITINFORMATIONTHEORY信息论基础数学与通信工程核心课程

CONTENTS02课程导览从信息度量到现代应用——六章构建信息论完整知识体系01导论与信息度量自信息、熵、联合熵、条件熵、互信息的定义与性质，建立信息论的数学语言体系02信源编码无失真信源编码定理、Huffman与算术编码、LZ系列算法、典型序列与渐近等分性03信道与容量离散无记忆信道模型、信道容量定义、BSC/BEC容量计算、有噪信道编码定理04连续信源与高斯信道微分熵、高斯信源最大熵性质、AWGN信道容量公式、功率约束与水注分配05率失真理论限失真信源编码问题、率失真函数R(D)的定义与计算、高斯信源的率失真函数06现代应用与总结信息瓶颈与深度学习、KL散度在AI中的作用、课程核心要点回顾与展望

?CHAPTER01导论与信息度量从不确定性到数学量化

FOUNDATIONSINFORMATIONTHEORY什么是信息信息的本质是不确定性的消除量：事件发生概率越低，其携带的信息量越大。Shannon将这一哲学直觉转化为严格的数学框架，使信息成为可度量、可运算的物理量，奠定了整个信息论学科的基石。ClaudeE.Shannon1916–2001不确定性的消除：信息用于消除随机事件的不确定性，不确定性的减少量等于所获得的信息量，这是信息论最根本的出发点概率与信息量：小概率事件发生时传递更多信息，大