BDTC2017-机器学习的大数据思辨.pdfVIP

机器学习的大数据思辨刘铁岩

微软亚洲研究院副院长

-2-

AlphaGoZero当真不需要大数据吗？

•如何界定机器学习中的大数据？

•大数据vs.大量有标签数据

•有标签数据vs.带反馈数据

•历史数据vs.仿真数据，……

•AlphaGo具有特殊性

•确定性游戏规则：天然的终止条件和胜负

判决准则（本质上是搜索问题）

•更一般的学习任务可能无法利用确定性

游戏规则生成大量带反馈信号的仿真数据

以驱动强化学习。

12/6/2017Tie-YanLiu@MicrosoftResearchAsia2

-3-

今天的深度学习仍离不开大数据

深度学习技术依赖大规模数据

•深度学习利用复杂的模型实现超强的拟合能力

•大模型的训练离不开大量训练样本

反思

•人类智能是否同样依赖大数据？

•是否存在不那么依赖大数据的机器学习方法？

•如何改造深度学习以减少其对大数据的依赖？

12/6/2017Tie-YanLiu@MicrosoftResearchAsia3

-4-

•众多研究表明：

•人类在很多时候表现出极强的小样本学习能力

•但人类也并非对所有任务都能实现小样本学习，

当面临不熟悉、非自然存在的学习任务时（如

对二进制序列进行分类），也会束手无策。

人类是否同样•“迁移学习”假说：

离不开大数据？•认为人类之所以可以仅利用少量样本就实现对

某个任务的学习，是因为很多其他相关或相似

的任务为其表示和结构的学习提供了帮助。

•“基因先验”假说：

•认为人类通过世代遗传，获得了高效的表示和

结构基础，为其处理小样本学习任务提供了坚

实的物质基础。

12/6/2017Tie-YanLiu@MicrosoftResearchAsia4

-5-

机器学