机器学习及排序学习基础.PDF

机器学习及排序学习基础 武威 微软亚洲研究院自然语言计算组副研究员 wuwei@ 2012年11月 提纲 • 什么是排序学习(Learning to Rank) (L2R) • 如何学习一个排序  排序学习的两条线  排序生成  排序整合 • 参考资料 你能得到什么 • 为什么要“学习”排序 • 什么是排序学习 • 排序学习的基本流程是什么 • 基本的排序学习算法 • 什么是排序学习 • 如何学习一个排序  排序学习的两条线  排序生成  排序整合 • 参考资料 无处不在的排序 其他例子 • 统计机器翻译(Machine Translation) • 图片搜索(Image Search) • 专家搜索(Expert Search) • 推荐系统(Recommender System) • …… 近年排序学习的发展趋势 • 排序学习已经被成功地应用到了实际网络搜索中  Google  Bing  百度  有道  …… • 在SIGIR，ICML，NIPS等信息检索、机器学习的国际会议上有超过100 篇的文章 • 每年信息检索的顶级会议SIGIR上有两个session • Yahoo Learning to Rank Challenge • 排序学习的标准数据集LETOR  /en-us/um/beijing/projects/letor/ 机器学习基础 机器学习的定义 • A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E by Tom Mitchell in Machine Learning • 排序学习  任务：对一组文档进行排序  评估指标：相关文档应该排在前面  经验：人工标注  目标：利用人工标注设计算法以抓住隐藏在数据中的规 律从而实现对任意查询请求给出反映相关性的文档排序 机器学习的基本要素 训练数据 training data 评估 特征 evaluation 机器 feature 学习 算法 模型 algorithm model 机器学习的基本步骤 训练数据生成 特征抽取 模型构建 算法设计 模型选择 效果评估