智慧工业大数据平台建设方案.pptx

智慧工业大数据平台建设方案

什么是大数据及发展趋势2平台简介

什么是大数据及发展趋势

31

什么是大数据4大数据指的是所涉及的数据量及数据范围规模巨大到无法通过目前主流软件工具，在合理时间内达到截取、管理、处理、并整理成为帮助企业经营决策更积极目的的信息。

什么是大数据5大数据处理技术代表了新一代的技架构，这种架构通过高速获取数据并进行分析和挖掘，从海量形式各异的数据源中更有效地抽取出富含价值的信息。分析：形成决策深度挖掘处理：数据抽取与集成数据加工大数据云计算结构化数据半结构化数据非结构化数据加载：导入海量数据信息交易数据融合数据行为记录数据物联网互联网通信网移动互联网智能终端

什么是大数据6数据可以广泛获取，所稀缺的是如何从中挖掘出有价值的信息，为社会提供智慧和观点有价值的数据主要被用于分析和决策，企业用以分析的数据越全面，分析的结果也就越接近于真实，意思着企业能够从这些新的数据中获取新的洞察力，并将其与已知业务的各个细节相融合，对企业产生新的价值。

大数据发展历史7原型创建完成初形建立2008IBM推出大数据系列产品InfoSphereBigInsights、StreamsHP收购VerticaEMC收购Greenplnum、与MapR合作、推出GreenplnumHD2012华为集成Hadoop、流处理、MPPDB、并推出大数据平台解决方案20102011200620032005

平台简介

82

平台的目标构架及定位9精细化管理市场营销供应链物联网应用指标应用报表应用主题分析专题分析应用层基础分析报表多维度立方体数据挖掘实时分析自助分析数据共享能力层数据层数据统一的服务和开发SQL、FTP、WS、MDX、API..Hadoop平台明细数据汇总数据M/RHBaseHive分布式文件系统HDFS数据源结构化数据CPCE企业A系统企业B系统企业C系统……主数据仓库分布式数据库数据采集1、负责源数据采集、清洗、转换、把原始数据加载到Hadoop平台2、把加工后的数据加载分布式数据库和主数据库Hadoop平台提供并行的计算和结构化数据的处理能力，实现低成本的存储和低时延、高并发的查询能力分布式数据库存储加工、关联、汇总后的业务数据，并提供分布式计算，支撑数据深度分析和数据挖掘能力，向主数据仓库输出KPI和高度汇总数据主数据仓库存储指标数据、KPI数据和度度汇总数据数据开放接口向大数据应用方提供数据接口，给社会进行使用（实现众创）

智慧城市是利用先进的信息技术和数据分析手段，对城市进行全方位、多角度地信息化、智能化改造，以提高城市管理、服务和生活质量的现代化城市。其中，智慧城市的基础是由各种传感器和设备组成的物联网，以及其所产生的大数据。具体来说，智慧城市的基础建设包括以下几个方面：1.物联网基础设施：构建智慧城市需要广泛应用传感器、控制设备、计算设备等智能设备，它们通过互联网相互连接，形成一个庞大的物联网基础设施，为后续数据采集、处理、分析提供基础。2.数据采集和处理技术：为了发挥物联网技术的作用，必须采集大量的数据并进行实时处理。这需要基于云计算、大数据存储和分析等技术，构建可靠、高效、安全的数据采集和处理系统。3.城市信息化基础设施：包括城市信息资源的数字化、标准化和共享，同时还需要建立城市信息化平台和服务系统，实现政务信息公开、数字城管、电子商务等城市信息化应用。4.智能交通系统：通过采用先进的交通控制和管理技术，实现城市交通拥堵和安全问题的有效解决，提高城市交通运输效率和质量。5.城市公共服务系统：包括城市公共安全服务、教育、医疗、环保等公共服务系统的信息化建设，以便更好地服务城市居民和提高公共服务质量。智慧城市的基础是什么？

HDFSHadoopEcosystem11PigHiveSqoop......HbaseAvroZookeeperMapReduce

Hadoop并行计算模式12HDFS-HadoopDistributedFileSystemHDFS-为了做到可靠性(reliability)创建了多份数据块(datablocks)的复制(replicas)，并将它们放置在服务器群的计算节点中(computenodes)，MapReduce.MapReduceInputHDFSSplit0Split1Split2Split3Split4mapmapmapreducereduceOutputHDFSSort/mergecopyPart0Part1

工业大数据平台13大数据管理平台建模、算法(Noah：LifelongMachineLearning/Hum