计算机科学与技术专业研究生笔试题及解答(某大型集团公司)备考重点详解.docxVIP

招聘计算机科学与技术专业研究生笔试题及解答(某大型集团公司)应考要点

一、信息论基础面试题

信息熵的定义

题目：请解释信息熵的定义，并举例说明其应用场景。

回答要点：

信息熵的定义：

信息熵是度量信息不确定性的量化指标，通常用H表示。

对于离散随机变量X，其信息熵定义为：

HX=?i=1n

应用场景：

数据压缩：哈夫曼编码、Lempel-Ziv编码等压缩算法都利用了信息熵的概念，通过对频繁出现的字符赋予较短的编码，达到压缩数据的目的。

信道编码：信道编码理论中使用信息熵来评估信道的容量，设计能够有效抵抗噪声的编码方案。

机器学习：信息熵在信息增益、基尼系数等特征选择算法中有重要作用。