中国机器学习白皮书.pdf

中国机器学习白皮书 中国人工智能学会 二○一五年十一月 《中国人工智能系列白皮书》编委会 主 任：李德毅 执行主任：王国胤 副 主 任：杨放春 谭铁牛 黄河燕 焦李成 马少平 刘 宏 蒋昌俊 任福继 杨 强 委 员：陈 杰 董振江 杜军平 桂卫华 韩力群 何 清 黄心汉 贾英民 李 斌 刘 民 刘成林 刘增良 鲁华祥 马华东 马世龙 苗夺谦 朴松昊 乔俊飞 任友群 孙富春 孙长银 王 轩 王飞跃 王捍贫 王万森 王卫宁 王小捷 王亚杰 王志良 吴朝晖 吴晓蓓 夏桂华 严新平 杨春燕 余 凯 余有成 张学工 赵春江 周志华 祝烈煌 庄越挺 《中国机器学习白皮书》编写组 组长：陈松灿 高 阳 组员：黄圣君 李武军 薛 晖 俞 扬 余志文 詹德川 詹志辉 张利军 张敏灵 庄福振 1 目 录 第1 章 引言 1 第2 章 主流机器学习技术进展 3 2.1 度量学习3 2.2 多核学习7 2.3 多视图学习10 2.4 集成学习14 2.5 主动学习18 2.6 强化学习22 第3 章 新兴机器学习技术选介 27 3.1 迁移学习27 3.2 深度学习31 3.3 统计关系学习34 3.4 演化学习36 第4 章 大数据时代的机器学习 41 4.1 并行机器学习41 4.2 哈希学习46 4.3 在线学习48 第5 章 结束语 52 2 第1 章 引言 “机器学习”（Machine Learning ）是人工智能的核心研究领域之 一，其最初的研究动机是为了让计算机系统具有人的学习能力以便实 [1] 现人工智能 。机器学习领域奠基人之一、美国工程院院士T. Mitchell 教授在其经典教材《Machine Learning》中所给出的机器学习经典定 [2] 义为“利用经验来改善计算机系统自身的性能” 。一般而言，经验 对应于历史数据（如互联网数据、科学实验数据等），系统对应于数 据模型（如决策树、支持向量机等），而性能则是模型对新数据的处 理能力（如分类和预测性能等）。因此，机器学习的根本任务是数据 的智能分析与建模。 随着信息技术不断向网络化、低成本方向发展，人们在社会生活、 科学研究等各个领域中的数据正以前所未有的速度产生并被广泛收 集、存储。如何实现数据的智能化处理从而充分利用数据中蕴含的知 识与价值，已成为当前学术界与产业界的共识。正是在这样的大趋势 下，机器学习作为一种主流的智能数据处理技术，其作用日渐重要并 受到了广泛关注。 例如，美国科学院、工程院两院院士T. J. Sejnowski 等人2009 年在《Science》上撰文指出，机器学习正成为发展新的学科的基础之 [3] 一 ；美国政府2012 年公布的大数据研究发展计划中，将机器学习 作为核心支撑技术；在我国制定的《国家中长期科学和技术发展规划 纲要》(2006-2020 年) 中，以机器学习为核心的“智能”关键词在目 录中6 次出现。特别值得一提的是，计算机界最高奖图灵奖在 2010 年与2011 年连续两年授予机器学习领域的两位杰出学者（L. Valiant ， 2010 年度；J. Pearl ，2011 年度），这标志着机器学习经过