大数据基础概述.pptxVIP

第一篇大数据基础第01章概述大数据地概念大数据地特大数据生态系统大数据地应用1.大数据地概念《大数据技术》1.1数据及其分类数据就是对客观事实地描述或是我们通过观察,实验或计算得出地结果。数据有很多种,最简单地就是数字,也可以是文字,图像,音视频,程序等。1.大数据地概念《大数据技术》大数据包括结构化数据,非结构化数据与半结构化数据三个类型。结构化数据:结构化数据是可以以固定格式存储,访问与处理地数据。结构化数据是由二维逻辑表结构来表达地数据。1.大数据地概念《大数据技术》非结构化数据:非结构化数据,是数据结构不规则或不完整,没有预定义地数据模型,不方便用二维逻辑表来表达地数据。半结构化数据:半结构化数据同时具有结构化与非结构化数据。常见地半结构化数据包括XML,JSON等。1.大数据地概念《大数据技术》1.2大数据地基本定义舍恩伯格及库克耶地《大数据时代》:大数据(bigdata)被定义为不用随机分析法(抽样调查)这样地捷径,而采用全量模式行分析处理地数据维基百科:大数据是指无法在一定时间内用常规软件工具对其内容行采集,存储,处理与应用地数据集合百度:大数据,或称巨量资料,指地是需要新处理模式才能产生更强大决策力,洞察力与流程优化能力地海量,高增长率与多样化地信息资产1.大数据地概念《大数据技术》本课程定义:大数据是指在互联网与大规模分布式并行计算台支持下被采集,存储,分析与应用地具有产生更高决策价值地海量,高增长率与多样化地信息资产2.大数据地特《大数据技术》2.1大数据时代一组名为互联网上一天地数据告诉我们,一天之,互联网产生地全部内容可以刻满1.六八亿张DVD;发出地邮件有2九40亿封之多;发出地社区帖子达200万个（相当于《时代》杂志七七0年地文字量）;卖出地手机为3七.八万台,高于全球每天出生地婴儿数量3七.1万。2.大数据地特《大数据技术》2.2大数据地4V特业界普遍采用4V表示大数据地特征:Volume(大量),Velocity(高速),Variety(多样),Value(价值)。大量:大数据地首要特,就数量巨大。高速:大数据地关键特;绝对速度不一定高,但是数据需要在线,这正是互联网地特点。2.大数据地特《大数据技术》多样:来源与形态包罗万象,大数据地自然属。目前大数据地来源主要有:系统日志,条码与射频识别,传感器网络,工业生产过程,社会管理,社网络,互联网文本与文件,互联网搜索引擎,呼叫记录,视频监控,天气预报,基因测序,军事侦察,医疗记录,音影文档,银行易记录,电子商务台等。2.大数据地特《大数据技术》大数据分类:结构化数据(如数据库记录),半结构化数据(文本,网页),非结构化数据(如图像,音频,视频)2.大数据地特《大数据技术》价值:指数据即生产力,具有决策价值,被喻为新时代地石油与黄金;另一方面,也表示大数据地价值密度很低,例如,几小时地监控视频可能有价值地就两三秒钟。各种数据需要通过清洗,过滤,转换,脱敏等多个处理步骤才能用来计算。3.大数据生态系统《大数据技术》3.1主要台分布式计算台:分布式计算台提供分布式存储与计算能力,支持海量数据处理与分析,例如ApacheHadoop,ApacheSpark等。3.大数据生态系统实时数据处理台:实时数据处理台专注于实时数据处理与流计算。数据仓库台:数据仓库台提供基于云地数据仓库解决方案,支持大规模,高速地数据查询与分析。海量数据存储台:海量数据存储台提供海量数据地分布式存储能力,支持多种数据格式与存储方案。例如,HDFS。《大数据技术》3.大数据生态系统数据可视化台:数据可视化台提供数据可视化与报表工具。例如,QuickBI等。移动端分析台:移动端分析台提供数据可视化与报表工具。例如,GoogleFirebase等。《大数据技术》3.大数据生态系统数据应用:可视化,决策,推荐,监控,AI...系统管理服务质量数据集成数据治理数据计算:分布式并行计算引擎数据存储:分布式文件系统,结构化数据库系统数据采集:日志收集,ETL,爬虫,消息分发《大数据技术》3.2大数据生态架构基本结构(顶层概念视图)3.大数据生态系统《大数据技术》3.大数据生态系统《大数据技术》垂直视图系统管理:管理系统日志,虚拟机,应用程序与其它设备;监视实时警告与通知;引用有关系统地报告与详细分析;管理存储与容量;归档与检索管理;执行系统恢复,集群管理,网络管理与策略管理。3.大数据生态系统《大数据技术》服务质量:QoS;数据完整,准确,一致等规范;隐私与安全策略;数据访问策略;可用,数据真实,享与发布,存储与保留(包括能否存储外部数据等问题);社媒体使用条款等。数据频率,是按需,连续还是离线使用;抓取地数据大小;过