第2讲预备知识探讨.docx

第2讲 预备知识 1. 序列 令X为非空集合，任何函数f :{0,1,?,n-1}→X称为X中有穷序列，其长度记为为len(f)=n。 特别地，从空集到X的映射称为空序列，其长度为0。空序列也属于有穷序列。 任何映射称为X中无穷序列，其长度为len(f)=∞。 令f为序列，对于任何称为该序列的第i项。 2. 字符串 令Σ为字符表，Σ上的序列称为串（string）。 有穷串的集合记为Σ*，无穷串的集合记为。 长度为0的串称为空串（empty string），记为ε或者?。 例如，{0,1}*表示所有二元串的集合，该集合含空串。 记号：十进制字符表记为 [0-9]，拉丁字母表记为[a-z], [A-Z],[a-zA-Z] 提问：[0-9a-zA-Z]表示什么？[0-9]*又表示什么？ 串的长度单位： 若Σ中有n个字符，则每个字符称为n-元字符。 n-元字符组成的串称为n-元串。 n-元串的长度单位为“字符”，更具体地，称为“n-元字符”、“n-进制单位”。 我们规定如下的单位换算关系： 其中对数底默认为2。 注：以后log的底都默认为2。 提问：每个二元字符的单位为1比特（bit），那么bit这个名称有什么来历？ 提问：表示一个十进制符号，至少需要多少二进制符号？ 下面我们考虑符号串的二元表示。将任意的n-元串表示二元串，则所得的二元串的长度至少为 这个量称为n-元串x的比特数，记为bit(x). 字符串的比特数是其二元表示长度的下界。 串的连接运算： 连接（concatenation）是字符串的二元运算。 两个串x,y的连接结果为xy。 空串与任何字符串x的左连接或者右连接都等于x，即εx=xε=x 子串、前缀、后缀： 前缀集（prefix-free set）：若一个字符串集合中任何两个串互相不是对方的前缀，则该集合称为前缀集。 3. 随机变量 随机变量是定义在样本空间上的因变量，我们用它表示样本点的某种数值属性。 例如，一个地区的所有人构成一个样本空间，其中每个人是一个可能被抽样调查到的样本点。假设这次调查所希望获得的是每个人的年龄、身高和体重。这些都是每个人的数值属性，是样本空间上的3个不同的随机变量。 假如我们还需要统计每个人的文化程度。文化程度初略地可划分为文盲、小学毕业、中学毕业、大学毕业、硕士、博士等等级别。这是对文化程度的定性表示。为了便于数据处理和计算，我们可以对文化程度进行定量表示，也就是将这些离散的级别表示为数值。这种样本点属性的数值表示也是随机变量。 因此，对于一次随机试验来说，随机变量有两个作用： （1） 表示样本点的数值属性。 （2） 对样本点的非数值属性进行量化，从而转化为数值属性。 为了便于使用，理论上规定随机变量必须满足如下条件： 实数区间的原像必须是随机事件。 这便于计算等事件的概率。 定义 令Ω为样本空间，X是Ω上的实值函数，若对于任何实数a，总是Ω中的事件，则称X为Ω上的随机变量。 我们知道，离散样本空间的每个子集都是事件，所以对于该样本空间上的任何数值函数X和任何数值a，总是事件。因此，样本空间上的任何数值函数都是随机变量。 若X的值域是有穷的或者可列的，则称X为离散的，否则称为非离散的。 下列概念刻画了随机变量的统计特征： 定义 对于任何随机变量X，若X是离散的，则表示X取值x的概率。我们记 则p是从X的值域到单位区间[0,1]上的函数，称为X的概率分布。 概率分布完全给出了离散随机变量的所有统计特性。 然而，上述定义对非离散的随机变量并不成立。事实上，若X的值域是一个区间，则简单事件{X=x}的概率通常为0. 下列概念对于任何随机变量都是适用的，可以描述任何随机变量的统计特性。 定义 随机变量X的分布函数定义为，对于任何实数x， 定义 令X为随机变量，其分布函数为F。若存在实函使得 则称f为X的概率密度函数，简称概率密度。存在概率密度的随机变量称为连续型随机变量。 注：概率密度函数一般用符号f表示，这也许源于“频率”的英文单词frequency。 注意，离散的随机变量也有概率密度函数。 思考：离散随机变量的概率密度f与概率分布p有联系吗？ 4. 对数不等式 有几个来自数学分析和概率论的不等式，在信息论中经常用到。这一讲我们集中学习它们，为后面继续学习信息论作准备。 定理4.1（对数不等式一）对于任何x0，有 其中等号成立当且仅当x=1. 画图：构造直观印象。画出1-1/x和x-1的图像，再在两者之间画出lnx的图像。 证明：令f(x)=lnx-x+1. 我们有 当0x1时，导数f’(x)0，函数f是严格单调递增的。当x1时，导数f’(x)0，函数f是严格单调递减的。因此，f在x=1处的值最大，从而f(x)≤0，即 根据严格单调性，等号成立当且仅当x=1. 用代替上述