大数据时代机器学习新趋势(2003版).doc

大数据时代机器学习的新趋势 陈康1、向勇1、喻超2 （1.中国电信股份有限公司广东研究院 广州 510630；2.广州优亿信息科技有限公司 广州 510630） 摘 要 当前，大数据技术和应用吸引了众多的关注，对大量结构繁多的数据进行分析并获得知识，需要充分利用机器学习的相关技术和成果。本文主要讨论了大数据时代机器学习的发展新趋势和研究重点，并对与大数据相关性大的几个关键技术进行了分析介绍。 关键词 大数据；机器学习；半监督学习；集成学习；概率图模型；迁移学习 The New Trend of Machine Learning in The Age of Big Data Chen Kang1，Xiang Yong1，Yu Chao2 （1.Guangdong Research Institute of China Telecom Co.,Ltd.,Guangzhou 510630,China 2. Guangzhou Useease Information Technology Co.,Ltd.,Guangzhou 510630,China） Abstract：Recently, Big Data techniques and applications have attracted more and more concentrates. It can be concluded that Machine Learning plays an important role in analyzing the huge volume and various data to get the underlying knowledge which is one of the core task of Big Data analysis. This paper will focus on the Machine Learning development trends and research focus in the era of Big Data, and discuss the core techniques of machine learning as well. 作者简介： 陈康，中国电信股份有限公司广州研究院IT运营支撑部数据应用室主任，具有多年电信支撑系统研发和支撑工作经验，曾获广东省科技进步二等奖。目前主要研究领域包括大数据、移动互联网等相关技术； 向勇，硕士研究生，中国电信股份有限公司广州研究院工程师，主要研究方向：长期从事电信数据应用及IT支撑系统研发，近几年专攻大数据、移动互联网等相关技术； 喻超，广州优亿信息科技有限公司工程师，主要研究方向：长期从事电信行业数据分析技术解决方案的制定和研究，专攻机器学习等相关技术。 引言 机器学习是人工智能的一个核心研究领域。1997年Tom M. Mitchell在“Machine Learning”一书中给出了机器学习的经典定义“计算机利用经验改善系统自身性能的行为”[1]。人类具有学习能力，其学习行为背后具有非常复杂的处理机制，这种处理机制就是机器学习理论。机器学习主要研究如何使用计算机去模拟和实现人类获取知识（学习）过程，创新、重构已有的知识从而提升自身处理问题的能力。机器学习的最终目的是从数据中获取知识[1]。 近年来，大数据也吸引了越来越多的关注。如何从各种各样类型的数据（包括结构化、半结构化和非结构化数据）中快速获得有价值信息的能力，就是大数据技术。传统数据分析技术着重于用预先设定的适当统计方法对数据进行分析，以求发现数据的功能和价值；与传统数据分析相比，大数据技术的其中一个核心目标是要从体量具大，结构繁多的数据中挖掘出隐藏背后的规律，从而使数据发挥最大化的价值。从大量结构繁多的数据中挖掘隐藏规律，对人工操作而言，几乎无能为力，必须与机器学习相结合，由计算机代替人去挖掘信息，获取知识。从这一点而已，大数据技术的目标实现与机器学习的发展必然密不可分。 业界对大数据的特征也进行了归纳，主要包括以下四点（4个V）：第一、数据体量巨大（Volume）；第二、数据类型繁多(Variety)；第三、数据价值密度低(Value)；第四、有很多实时数据要求快速处理(Velocity)。由于这几大特征，大数据的发展从研究方向、评测指标、以及关键技术等多方面对机器学习都提出了新的需求和挑战。 研究方向 在整个机器学习的发展历程中，一直有两大研究方向。一是研究学习机制，注重探索、模拟人的学习机制；二是研究如何有效利用信息，注重从巨量数据中获取隐藏的、有效的、可理解的知识。学习机制的研究是机器学习产生的源泉，但随着大数据时代各行业对数据分析需求的持续增加，通过机器学习高效地获取知识，已逐渐成为当