机器学习的数学基础.docVIP

第一课 课程导言 1.1 导言 大纲 涵盖由浅入深的一系列机器学习技术 将会学到： PCA, MDS, K-mean, 基于频谱的聚类方法，贝叶斯分类，boosting, logistic回归，决策树，EM算法，隐马尔可夫模型，卡尔曼滤波…… 讲述算法、理论、应用背后的故事 将会既有趣又辛苦 时间安排 03.04 介绍 03.11 分类 03.18 聚类 03.25 隐马尔可夫与卡尔曼滤波 原则 简即美 在理论性和应用性上达到平衡 先修课程 概率论 分布、密度、边界…… 统计基础 矩、经典分布、回归…… 算法 动态规划、基本数据结构、复杂度…… 编程 C/C++, Java, Matlab…… 将会提供一些背景知识，但课程步调还是会比较快 处理抽象数学概念的能力 参考书 \o /~tom/mlbook.htmlMachine Learning by Tom Mitchell \o /~stork/DHS.htmlPattern Classsification (2supnd/sup Edition) by Duda, Hart and Stork \o /~mackay/itila/Information Theory, Inference, and Learning Algorithm by David MacKay Statistical Inference by George Casella and Roger L. Berger \o /en-us/um/people/cmbishop/prml/Pattern Recogniation and Machine Learning Christopher M.Bishop And more … 以上均为可选参考书目，每人都会有自己的学习方法 网络资源 \o /home/zhx/csmath//home/zhx/csmath/ 享受之！ 机器学习在科学、工作及其它领域正变得无所不在 本课程将提供应用机器学习、开发新方法的基础 1.2 机器学习单元概况 Call for editing 1.3 什么是机器学习？ 大纲 背景 什么是机器学习 机器学习对于计算机科学和技术有何帮助 当今计算机科学的最大挑战 数据，数据，数据…… 需要大量乏味的重复的工作才能创建数字化的世界 需要寻找新的交互方式，创造新类型的媒体 花费高的代价才能请专家（科学家、工程师、电影制作人员、图形设计师、优秀艺术家和游戏设计人员）来完成工作 需要高效地处理已经存在的数据，并通过它们获得新的数据 计算机是高效运行的机器 各种图像、场景，只要人能够创造，就可以利用计算机来得到它 但是如何来创造这些图像、场景 完全过程化合成VS完全数据化 为电影中的一个角色创造动作 完全过程化合成 动作比较连贯，但是很容易让人觉得是伪造的，很少在实际中这样用 完全手工制作或者完全数据化 效果质量很高，但是连贯性不好 把两者结合起来的混合方法或许是最好的！？ 贝叶斯推理 关于不确定性的一个规则模型 非结构化数据的通用模型 数据拟合和不确定分析的有效算法 但是，当前它通常被当做一个黑盒来使用 确定性 VS 几率性 数据驱动模型 什么是机器学习 机器学习 != 人工智能 Mitchell在1997年定义的：机器学习乃于某类任务兼性能度量的经验中学习之程序；若其作用于任务，可由度量知其于已知经验中获益。 Hertzmann在2003年的评论：对于计算机图形学上的一些应用，机器学习应该被看作处理数据的一系列技术。给定一些数据，可以得到一个方法模型用于生产新的数据。 编制学习系统不只是用来解决一个问题，而是基于一些特征来使系统本身更加优化： 关于系统应该如何做出响应的一些例子 关于系统在解决问题的过程中反复试验学习到的经验 不同于通常的计算机科学，去实现一个未知的功能；仅仅是处理已知的输入输出数据对（学习过程中的训练例子） 学习问题的主要分类 学习情景根据训练例子中提供的有效信息的改变而改变 监督的：需要正确的输出 分类：输入N个目标，输出结果为选择其中一个（语音识别、目标辨认、医学诊断） 回归：输出准确值（预测未来的市场价格、温度） 部分监督的：只输出一部分有效结果 无监督的：没有反馈，需要对输出进行自我评估 聚类：聚类是指将数据分割成连贯的群集的技术 结构异常识别：检测超出正常范围的数据点 加强的:标量反馈,可能暂时推迟 更多信息 时间序列分析 降维 模型选择 泛型方法 图形建模 为什么要学习机器学习？ 开发强化的计算机系统 能够自动适应用户，更加符合用户要求 旧的系统往往很难获得必要的知识 发掘大型数据库中离线的新数据挖掘模式 提高对人的认识，生物学习 提供具体的理论计算分析，预测 分析大脑的学习过程中的爆发式活