《大数据分析及应用实践》PPT 第1章 认识大数据.pptVIP

第1章 认识大数据;本章内容; 1.1 大数据综述 ; 1.1.2 大数据的特征 与传统数据的产生方式相比，大数据具有三个明显的特征： 数据量大：数据量大是大数据的明显特征，一般计量单位都是PB、EB甚至ZB。 非结构性：大数据既包含结构化数据也包含非结构化数据，而且通过特定的大数据技术从大量非结构化数据中提取有用的信息。 实时性：在互联网高速发展的背景下，我们所谈到的大数据不仅仅数量巨大，实时性、动态性成了大数据的另一重要特征。;1.2 大数据概念; 1.2.2 大数据的基本特点 大数据的特点可归纳为“4V”，即Volume（容量），即海量的数据规模； Variety（种类），即多样的数据类型； Velocity（速度），即快速的数据流转和动态的数据体系；最重要的Value（价值），即巨大的数据价值。;1.3 大数据思维 ; 1.3.2 大数据思维的关注点 大数据思维是客观存在,大数据思维是新的思维观。大数据思维开启了一次重大的时代转型，人们对数据的关注点也发生了很大变化。 1.数据思维的最核心是利用数据解决问题。 2.大数据关注“有用”。 3.由关注精确度转变为关注效率。 4.关注定制产品。 ;大数据的处理过程; 1.4.2 大数据导入/预处理 虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。; 1.4.3 大数据统计与分析 大数据时代的来临将对我们的现实生活、企业的运营管理模式提出了新的挑战，也带来新的市场机会。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些数据进行专业化处理。可以说大数据分析是决策过程中的决定性因素，也是大数据时代发挥数据价值的关键环节。大数据分析技术帮助企业了解客户、锁定资源、规划生产、开拓新的业务。; 1.4.4 大数据挖掘 从海量数据中发现有价值的信息，把这些数据转化成有组织的知识，这种需求导致了大数据挖掘??诞生。 数据挖掘主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。;1.5 大数据分析工具简介; BigQuery是Google推出的一项Web服务，该服务让开发者可以使用Google的架构来运行SQL语句对超级大的数据库进行操作。BigQuery旨在分析数十亿行近似的数据，使用类SQL语法。BigQuery支持分析交互风格,使用SELECT命令构建查询。查询语言包括支持标准操作，比如joining、sorting和grouping，以及内嵌数据结构。可以支持统计函数，比如count、sum、average、variance和standard deviation（标准偏差）等。 ; 3.魔镜（moojnn) 大数据可视化处理软件魔镜为国云数据科技有限公司研发，为我国大数据领域领先的分析平台。 魔镜支持各种各样的数据源。无论是Excel文件、传统数据库、大数据、集成数据，甚至微博微信淘宝，魔镜都可以支持。; 魔镜颠覆传统Excel分析和报表工具，自动拖拽建模。操作简单、应用方便。魔镜中现为我国最大的可视化分析挖掘平台、开放的数据市场和拥有超大的视觉效果库。 目前，已超过一万多家企业在使用,魔镜为提供全行业大数据解决方案。 ;1.6 大数据应用案例;员工KPI考核指标; 大数据在乳业公司预测产量值 国内某乳业公司为了保证提供优质的鲜乳原料，实现真正意义上的“横跨东西、纵跨南北”的战略布局，其原奶事业部想对取决于五大区的奶牛产奶量和奶牛数量的供奶量进行预测。 同时，供奶地区较多，地域跨度大，奶牛存栏情况和不同泌乳周期的产奶量等都各不相同，而原奶事业部自身的可视化展示效果较为单一。如何将不同的地域、不同的产奶量等用多元的可视化效果展示都是原奶事业部想要解决的问题。 ;新投产泌乳牛的数量情况; 大数据分析工具魔镜为改乳业公司建立的奶量预测系统是通过业务逻辑，以历史供奶量为基准进行估算和预测的。大数据分析工具魔镜的大数据挖掘功能可以通过历史数据，并利用逻辑回归算法进行数据预测。预测置信度