大数据支撑下的机器学习算法.docx

??

?

??

大数据支撑下的机器学习算法

?

??

?

?

?

?

?

?

?

???

?

?

?

?

?

姜绍俊

摘要：大数据和机器学习都是现代计算机领域中重大的技术变革，这些技术对各行各业都产生了巨大的影响。目前，随着互联网、移动通信、社交网络、物联网的快速发展，这些网络每天都会产生大量的数据，数据成为当今最重要的信息资源。一些研究表明，在很多情况下数据规模越大，利用这些数据进行机器学习的效果会越好。因此在大数据支撑下的机器学习成为全球学术界和工业界高度关注的热点研究领域。本文介绍了在大数据支撑下的一些经典机器学习算法。

关键词：大数据；机器学习；信息；算法；系统

中图分类号：TP3文献标识码：A文章编号：1009-3044（2018）07-0164-02

Abstract：BigDataandMachineLearningarethemajortechnologicalchangesinthemoderncomputerfield，whichhaveagreatimpactonallwalksoflife.Atpresent，withtherapiddevelopmentofInternet，MobileCommunication，So[本文来自于wwW.zz-news.CoM]cialNetworkingServicesandInternetofThings，thesenetworksgeneratealargeofdataeveryday.Thesedatabecomethemostimportantinformationresourcesnowadays.Someresearchesshowthat，inmanycases，thegreatersizeofthedata，thebettertheeffectofusingthesedataforMachineLearning.Therefore，MachineLearningunderthesupportofBigDatahasbecomeahotresearchfieldintheglobalacademiaandindustry.Inthispaper，someclassicalMachineLearningalgorithmsunderthesupportofBigDataareintroduced.

Keywords：DigData；MachineLearning；Information；Algorithms；Systems

1大數据概述

近年来随着互联网、移动通信、社交媒体、物联网的快速发展，各种网络应用每天都会产生大量的数据，导致全球数据总量呈现爆炸式的增长，数据成为当今最重要的基础信息资源，人类社会加快了进入信息化的步伐。随着产业界数据量的爆炸式增长，数据以前所未有的速度积累，大数据（BigData）概念受到越来越多的关注。大数据正在给数据密集型企业带来丰厚的利润，据估计仅Google公司在2009年就为美国经济贡献540亿美元[1]。国际数据公司IDC的数字宇宙研究报告称：2011年全球被创建和被复制的数据总量超过1.8ZB，且增长趋势遵循新摩尔定律（全球数据量大约每两年翻一番），预计2020年将达到35ZB。大数据包含了互联网、医疗设备、视频监控、移动设备、智能设备、非传统IT设备等渠道产生的海量结构化、半结构化或非结构化数据。[2]

人类在这么多的数据面前到底可以获得什么有价值的信息，成为人类社会关注的焦点。2012年，美国政府就在继高速公路、国际互联网之后宣布，大数据将成为美国未来重要的技术发展领域。现在许多国家和国际跨国公司也都加入到大数据的发展中来，比如Google、IBM、微软、阿里巴巴和百度等。对于大数据的基本定义可以从大数据具有多方面的特征来进行概述。大数据的基本模型就是以大数据的特点来概括的。在基本的大数据定义中包括数据的规模性（Volume）、多样性（Variety）、高速性（Velocity）、变化性（Variability）、虚拟性（Virtual）、价值性（Value）。针对这些特点，王飞跃[3]认为在大数据时代知识解析、机器智能与人类智能[本文来自于wWw.zz-news.COm]协调工作及智能分析系统将会扮演重要角色，人们需要一种智能分析接口将人类与计算机世界连接，否则将被淹没在大数据的洪流中。

随着时间的推移大数据技术将应用到人类社会的各个领域，并