2_机器学习与自然语言处理.pdfVIP

机器学习和自然语言处理 常宝宝 北京大学计算语言学研究所 chbb@pku.edu.cn 机器学习导引 •问题定义 •输入： •输出： •阶乘的计算 =() •设计算法、编写程序 •给出输入输出的例子集合 {(0,1), (2,2), (5,120)…} •采用机器学习方法解决 任务及思路：判别垃圾邮件 •标记好例子（数据） •让机器去学习 •输出一个函数（模型） •把新邮件输入函数，判别是不是垃圾邮件 •有指导的机器学习(Supervised Machine Learning) 垃圾邮件判别：标记例子 •收集邮件，标记例子 email-1, spam email-2, spam email-3, non-spam email-4, spam … email-n, non-spam •该例子集合称作训练集 判别垃圾邮件特征提取 •提取特征、表示邮件 •垃圾邮件和正常邮件在用词方面不同 •free, loan, mortgage, loan, Abacha, credit, Viagra, sexy •不同的词在判别邮件类别方面有不同作用 •把词作为垃圾邮件的判别特征 •选择||个词作为特征，邮件表示为||维向量 = ( , , …, ) 1 2 代表特征在邮件文本中出现的次数 判别垃圾邮件模型设计 •学习一个函数() • 若 ≥ 0，正常邮件。值越大，越可信 • 若 0，垃圾邮件。值越小，越可信 •假定函数是一个线性函数 T • = + + ⋯+ + = + 1 1 2 2 •给每个特征设定一个权重 • 0，表明该特征在正常邮件中出现的更多 • 0，表明该特征在垃圾邮件中出现的更多 判别垃圾邮件模型学习 •模型参数 = (,) •在无数个线性函数中做选择，如何选择？ •选出的函数在训练集上要有良好的表现 •判别错误会造成损失 •选择在训练集上导致损失最小的函数 判别垃圾邮件模型学习 ෝ •训练集损失(,) ෝ •是模型结果，是人工标注结果 •模型完全判别正确，损失为0 ，否则大于0 •0-1损失 ො, = ො, = ቊ0, ො = 1, ො ≠ 不是的连续函数 注：Spam: = +1 ො =(;) Non-spam: = −1 损失函数 •正确分类 ො ∙ ≥ 0 •错误分类 ො ∙ 0 •定义如下损失 ො, = max{0, −ො ∙} •训练集上的损失，定义为平均损失 1 ෝ , = ෍(ො , )