大数据时代机器学习新趋势.pdfVIP

综述 综述 大数据时代机器学习的新趋势 1 1 2 陈 康 ，向 勇 ，喻 超 （1. 中国电信股份有限公司广东研究院 广州 510630 ；2.广州优亿信息科技有限公司 广州510630 ） 摘 要 当前，大数据技术和应用吸引了众多的关注，对大量结构繁多的数据进行分析并获得知识，需要 充分利用机器学习的相关技术和成果。 本文主要讨论了大数据时代机器学习的发展新趋势和研 究重点，并对与大数据相关性大的几个关键技术进行了分析介绍。 关键词 大数据；机器学习；半监督学习；集成学习；概率图模型；迁移学习 文献标识码 A doi: 10.3969/j.issn.1000-0801.2012.12.014 机器学习的发展必然密不可分。 1 引言 业界对大数据的特征也进行了归纳，主要包括以下 点 4 机器学习是人工智能的一个核心研究领域。 1997 年 （“ 个 ”）： 数据体量巨大 （ ）、 数据类型繁多 4 V volume Mitchell T M 在“Machine Learning ”一书中给出了机器学习 （variety ）、数据价值密度低（value ）、有很多实时数据要求快 的经典定义“计算机利用经验改善系统自身性能的行为”[1] 。 速处理（velocity ）。 由于这几大特征，大数据的发展从研究 人类具有学习能力，其学习行为背后具有非常复杂的处理 方向、评测指标以及关键技术等方面对机器学习都提出了 机制，这种处理机制就是机器学习理论。 机器学习主要研 新的需求和挑战。 究如何使用计算机模拟和实现人类获取知识（学习）过程， 2 研究方向 创新、重构已有的知识，从而提升自身处理问题的能力。 机 器学习的最终目的是从数据中获取知识。 在整个机器学习的发展历程中， 一直有两大研究方 近年来，大数据吸引了越来越多的关注。 从各种各样 向。 一是研究学习机制，注重探索、模拟人的学习机制；二 的数据（包括结构化、半结构化和非结构化数据） 中快速获 是研究如何有效利用信息， 注重从巨量数据中获取隐藏 得有价值信息的能力，就是大数据技术。 传统数据分析技 的、有效的、可理解的知识。 学习机制的研究是机器学习产 术着重于用预先设定的适当统计方法对数据进行分析，以 生的源泉，但随着大数据时代各行业对数据分析需求的持 求发现数据的功能和价值；与传统数据分析相比，大数据 续增加，通过机器学习高效地获取知识，已逐渐成为当今 技术的其中一个核心目标是要从体量巨大、结构繁多的数 机器学习技术发展的主要推动力。 据中挖掘出隐藏在背后的规律，从而使数据发挥最大化的 大数据时代的机器学习更强调“学习本身是手段”，机 价值。 从大量结构繁多的数据中挖掘隐藏规律，对人工操 器学习成为一种支持技术和服务技术，如何基于机器学习 作而言，几乎无能为力，必须与机器学习相结合，由计算机 对复杂多样的数据进行深层次的分析，更高效地利用信息 代替人去挖掘信息，获取知识。 大数据技术的目标实现与