《大数据系统运维基础》全套PPT课件.pptx

第1章 大数据概述能力要求CAPACITY掌握大数据技术的基本情况，了解大数据和云计算行业的新技术。具有良好的自学能力，对新技术有学习、研究精神，具有较强的动手操作能力。培养良好的职业道德。一、大数据的发展二、大数据的概念及特征三、大数据的产生及数据类型四、大数据计算模式和系统五、大数据的主要技术层面和技术内容六、大数据的典型应用一、大数据的发展Google上每天需要处理24PB的数据；大规模的行业/企业大数据已远远超出了现有传统的计算技术和信息系统的处理能力。因此，寻求有效的大数据处理技术、方法和手段已经成为现实世界的迫切需求。淘宝累计的交易数据量高达100PB；每天会有2.88万个小时的视频上传到Youtobe； 根据国际数据公司IDC的测算，到2020年数字世界将产生35000EB的数据。大数据综述一、大数据的发展大数据有多重要一、大数据的发展国家政策一、大数据的发展二、大数据的概念及特性三、大数据的产生及数据类型四、大数据计算模式和系统五、大数据的主要技术层面和技术内容六、大数据的典型应用二、大数据的概念及特性大数据的概念： 关于大数据难以有一个非常定量的定义。 在信息技术中，“大数据”是指一些使用目前现有数据库管理工具或者传统数据处理应用很难处理的大型而复杂的数据集。 其挑战包括采集、管理、存储、搜索、共享、分析和可视化。 ——维基百科大数据指的是那些大小超过标准数据库工具软件能够收集、存储、管理和分析的数据集。 ——麦肯锡大数据“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 ——Gartner…………二、大数据的概念及特性1．大体量（Volume）2．多样化（Variety）5．数据质量（Veracity）4．大价值（Value）3．时效性（Velocity）大数据的特性二、大数据的概念及特性体量Volume非结构化数据的超大规模和增长总数据量的80~90%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍多样性Variety大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义价值密度低Value大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析（机器学习、人工智能Vs传统商务智能)速度Velocity实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效数据质量Veracity数据的准确性和可信赖度低需要进一步挖掘处理一、大数据的发展二、大数据的概念及特性三、大数据的产生及数据类型四、大数据计算模式和系统五、大数据的主要技术层面和技术内容六、大数据的典型应用三、大数据的产生及数据类型三、大数据的产生及数据类型近年来互联网、云计算、移动互联网、物联网及社交网络等新型信息技术的发展，使得数据产生来源非常丰富：（1）企业内部及企业外延。 企业原有内部系统如ERP、OA等应用系统所产生的存储在数据库中数据，这部分数据属于结构化数据，可直接进行处理使用，为公司决策提供依据。（2）互联网及移动互联网。 移动互联网促进更多用户从传统的数据使用者转变为数据生产者。（3）物联网。 物联网技术的发展，使得视频、音频、RFID、M2M、物联网和传感器等产生大量数据，其数据规模更巨大。三、大数据的产生及数据类型数据类型结构化数据按数据类型：半结构化数据非结构化数据按生产主体：企业应用产生的少量数据按数据作用方式：按生产主体：用户产生的大量数据按数据类型：机器产生的巨量数据按数据作用方式：交易数据交互数据数据类型很多，此处从不同方面分析。三、大数据的产生及数据类型StreamsReal timeNear timeBatchVelocity快速的数据流转StructuredUnstructuredSemi-structuredAll the aboveTBPBEBValueVariety多样的数据类型Volume海量的数据规模巨大的数据价值一、大数据的发展二、大数据的概念及特性三、大数据的产生及数据类型四、大数据计算模式和系统五、大数据的主要技术层面和技术内容六、大数据的典型应用四、大数据计算模式和系统大数据计算模式典型系统和工具大数据查询分析计算HBase，Hive，Cassandra，Premel，Impala，Shark，Hana，Redis等批处理计算MapReduce，Spark等流式计算Scribe，Flume，Storm，S4，Spark Steaming、Apex、Flink等迭代计算HaLoop，iMapReduce，Twister，Spark等图计算Pregel，Giraph，Trinity，PowerGraph，GraphX等内存计算Dremel，Hana，Redis等大数据计算模式