《大数据分析与应用》全套教学课件.pptx

;第1章大数据与数据分析;全套可编辑PPT课件;生活在社会、经济与技术革命之中，我们已经将通信、交际、度过闲暇时光、开展业务转移到了互联网上。互联网又渗透进入我们的手机、我们家园和城市中的设备，以及工业经济的工厂中。其导致的数据爆炸和挖掘正改变着我们的世界。;;数据的疯狂增长，使得适应和应对数据增长成为整个社会关注的焦点。“大数据”的概念正是在这一背景下应运而生的。如图所示为大数据概览。;自从古代有过第一次计数和农作物产量记录以来，数据收集和分析便成为社会功能改进的根本手段。17、18世纪的微积分、概率论和统计学所提供的基础性工作，为科学家提供了一系列新工具，用来准确预测星辰运动，确定公众犯罪率、结婚率和自杀率。这些工具常常带来惊人的进步。

;;这些趋势还将持续下去。我们只是处在所谓的“物联网”（TheInternetofThings）的相当初级的阶段。在物联网中，我们的各种应用设备、运输工具以及持续增长的“可穿戴”技术产品将可以彼此交换信息。;;

随着传统互联网向移动互联发展，全球范围内，除了个人电脑、平板电脑、智能手机、游戏主机等常见的计算终端之外，更广阔的、泛在互连的智能设备，比如智能汽车、智能电视、工业设备和手持设备等都连接到网络之中。基于社会化网络的平台和应用，让数以百亿计的机器、企业、个人随时随地都会获取和产生新的数据。

互联网搜索引擎是大数据最为典型的应用之一。百度日处理数据量达到数十PB，并呈现高速增长的态势。如果一张光盘容量为1GB，这相当于垒在一起的几千万张光盘。微软Bing（中文名：必应）搜索引擎，一周需要响应100亿次量级的搜索请求。通过和Facebook的合作，每天有超过10亿次的社交网络搜索请求通过Bing来处理。

;;;1.1.2大数据的定义

;01;关于“大数据”有许多种定义，这种差别取决于你是一位计算机科学家，还是一位金融分析师，抑或是一位为风险投资人推销一个概念的企业家。多数定义都反映了那种不断增长的捕捉、聚合与处理数据的技术能力，而这个数据集在数量、速率与种类上持续扩大。换言之，数据可以更快获取，有着更大???广度和深度，并且包含了以前做不到的新的观测和度量类型。;1.1.3大数据的特征

;

;Variety（种类）;

不仅是数据的数量正在快速增长，它的格式也越发多样，来源也越发广泛。有些数据是“天生数字化的”（borndigital），意思是说它就是特别创造出来用于计算机和数据处理系统的。这些例子存在于电子邮件、网页浏览，或GPS定位之中。其他数据是“天生模拟的”（bornanalog），这是说它从物理世界中发散出来，但可以不断被转化成数字格式。模拟数据的例子包括手机、相机或摄像设备录制的语音或可视信息，或者还有通过可穿戴设备监测到的身体活动数据，如心率或排汗量。“数据融合”（datafusion）能够将分散的数据源整合在一起，随着这种能力的提升，大数据可以带来一些远见卓识。

;Velocity（速度）;

数据采集与分析的执行速度越来越接近即时时间，这意味着对于一个人就其周边环境或生活所做的决定产生即时的影响而言，大数据分析有着越来越大的潜力。高速数据的例子包括记录使用者在线与网页互动活动的点击流数据，即时追踪定位的移动设备获得的GPS数据，以及得到广泛分享的社交媒体数据。客户与公司希望通过分析这种数据使其即刻获益的要求越来越高。事实上，如果手机定位应用不能即时准确地确认手机位置，它根本就不会有什么用处，并且，在确保我们的汽车安全运行的计算机系统中，实时操作就至为关键了。

;Value（价值）;数据挖掘和应用可以多方位创造价值：数据可用性可以提高10%，各行业员工销售额提高百分比统计如图1-2所示。图1-3展示了海量数据对商业模式的影响。;;;;1.1.4大数据与云计算

;;数据周期;图1-4大数据为相应行业带来发展契机;1.1.5大数据与商业模式变革

;;;;第一类公司将改变营销学的根基，精准营销和个性化营销将有针对性地找到用户，多重渠道的营销手段将逐渐消失。;;我认为还会有新的商业模式出现，就像互联网创造了搜索、电子商务、竞价排名一系列商业模式一样，大数据会孕育更多新的公司类型，这也是大数据最有投资潜力的原因。“数据矿”就在那里，分析平台也已经成熟，现阶段是要用解决问题的视角，寻找数据分析师和懂得商业操作的人才，把数据分析产品化。;1.1.6大数据带来的改变;目前以云存储为代表的公共存储服务模式已初现端倪，将可能在未来5～10年成为主流存储模式之一。类似于水电气公共服务，存储平台服务化意味着现有的存储系统面临新的挑战。存储按需服务的公共模式将引入用户应用的多样性、异构性和个性化、用户访问的高并发性和动态性，以及数据自身的复杂性等特点，导致大数