《NLP_2》.pdfVIP

统计自然语言处理基本概念 刘挺 哈工大信息检索研究室 2004年春 模型 真实世界中 Output 的系统 Input Output1 模型1 Output2 模型2 如果Output1总是和Ouput接近，Output2总是 和Output偏离，我们就认为模型1比模型2好 模型2 Output 真实系统 模型1 Input • 模型由体系结构和参数两部分构成 – 举例：住宅楼 • 多层板楼 • 高层板楼 • 高层塔楼 – 参数 • 层数： • 户型：三室一厅，两室一厅，…… • 举架高度： • 供热方式：地热？暖气片？ 目录 • 样本空间(Sample Space) • 估计器(Estimator)和随机过程(Stochastic Process) • 信息论(Information Theory) • 数据集分类(Data Set Classification) • 性能评价(Performance Measure) 样本空间 (Sample Space) 试验(Experiment) • 试验 – 一个可观察结果的人工或自然的过程，其产生的 结果可能不止一个，且不能事先确定会产生什么 结果 – 例如 • 连掷两次硬币 • 样本空间 – 是一个试验的全部可能出现的结果的集合 – 举例 • 连掷两次硬币 – Ω={HH, HT, TH, TT}, H:面朝上; T:面朝下 事件(Event) • 事件 – 一个试验的一些可能结果的集合，是样本 空间的一个子集 – 举例：连掷两次硬币 • A: 至少一次面朝上 • B: 第二次面朝下 • A={HT, TH, HH}, B={HT, TT} 事件的概率 • 事件的概率 – 重复m试验，如果事件A 出现的次数为n ，则事件A 的概率为P(A)=n/m ，这称为概率的频率解释，或 称统计解释 – 频率的稳定性又称为经验大数定理 – 举例：连掷两次硬币 • A: 至少一次面朝上 • B: 第二次面朝下 • P(A)=3/4, P(B)=1/2 – 当试验不能重复时，概率失去其频率解释的含 义，此时概率还有其他解释：贝叶斯学派和信念 学