谭营---机器学习研究及最新进展幻灯片.ppt

谭营机器学习研究及最新进展 机器学习研究及最新进展 机器学习研究及最新进展 谭营 教授 北京大学智能科学系 视觉与听觉信息处理国家重点实验室 目录 机器学习的定义和任务 机器学习的发展历史 机器学习的主要方法 机器学习面临的挑战 最新发展方向 学习系统基本构成 机器学习的定义 通过经验提高系统自身的性能的过程 （系统自我改进）。 机器学习的重要性: 机器学习是人工智能的主要核心研究领域之一, 也是现代智能系统的关键环节和瓶颈。 很难想象: 一个没有学习功能的系统是能被称为是具有智能的系统。 Application 4 Application 4 Application 5 Application 6 Other Applications 机器学习的任务 令W是这个给定世界的有限或无限所有对象的集合，由于观察能力的限制，我们只能获得这个世界的一个有限的子集Q?W，称为样本集。 机器学习就是根据这个有限样本集Q ，推算这个世界的模型，使得其对这个世界为真。 机器学习的三要素 （1）一致性假设：机器学习的条件。 （2）样本空间划分：决定模型对样本集合的有效性。 （3）泛化能力：决定模型对世界的有效性。 要素1：一致性假设 假设世界W与样本集Q具有某种相同的性质。 原则上说，存在各种各样的一致性假设。 在统计意义下，一般假设： W与Q具有同分布。或， 给定世界W的所有对象独立同分布。 要素2：对样本空间的划分 样本集合模型：将样本集放到一个n维空间，寻找一个超平面(等价关系)，使得问题决定的不同对象被划分在不相交的区域。 要素3： 泛化能力 通过机器学习方法，从给定有限样本集合计算一个模型，泛化能力是这个模型对世界为真程度的指标。 关于三要素 不同时期，研究的侧重点不同 划分:早期研究主要集中在该要素上 泛化能力(在多项式划分):80年代以来的近期研究 一致性假设:未来必须考虑 机器学习是多学科交叉 THE QUESTIONS--The Top 25 What Is the Universe Made Of? What is the Biological Basis of Consciousness? Why Do Humans Have So Few Genes? To What Extent Are Genetic Variation and Personal Health Linked? Can the Laws of Physics Be Unified? How Much Can Human Life Span Be Extended? What Controls Organ Regeneration? How Can a Skin Cell Become a Nerve Cell? How Does a Single Somatic Cell Become a Whole Plant? How Does Earths Interior Work? Are We Alone in the Universe? How and Where Did Life on Earth Arise? What Determines Species Diversity? What Genetic Changes Made Us Uniquely Human? How Are Memories Stored and Retrieved? How Did Cooperative Behavior Evolve? ………. 记忆的模型与过程 工作记忆（Working Memory） 工作记忆系统能同时储存和加工信息，这和短时记忆概念仅强调储存功能是不同的。 工作记忆分成：中枢执行系统、视空初步加工系统和语音环路。 工作记忆与语言理解能力、注意力及推理能力等联系紧密，工作记忆蕴藏智能的玄机。 Working Memory Model 机器学习的分支 数据挖掘：利用历史数据来改进决策 例如：医学记录 —— 医学知识 软件应用（不能手工编程的应用） 汽车自动驾驶 语音识别 等 自用户化程序 新闻阅读器学习用户的阅读兴趣。 机器学习早期研究 Rosenblatt的感知机(1956)。 Widrow的Madline (1960)。 Samuel的符号机器学习(1965)。 Minsky的“Perceptron”著作(1969，1988)。 Perceptrons Devised by Frank Rosenblatt in the late 1950s A single-layer network where all inputs and activation values are either 0 or 1, and the we