大数据及在税务中的应用V5(99Pages).pptVIP

大数据及其在税务中的应用 2016.10 安徽工程大学计算机与信息学院 主要内容 大数据的概念与技术 第一章 3 让我们先看看“大数据时代” 一段小视频 4 大数据的概念与技术 第一章 5 数据爆炸式增长（每分钟……） 6 数据的爆炸式增长 想驾驭这庞大的数据，我们必须了解”大数据” 地球上至今总共的数据量： 在2006 年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据； 在2011 年，这个数字达到了1.8ZB。 而有市场研究机构预测： 到2020 年，整个世界的数据总量将会增长44 倍，达到35.2ZB（1ZB=10 亿TB）！ 1PB （拍字节） = 2^50字节 1EB （艾字节） = 2^60字节 1ZB （泽字节） = 2^70字节 7 让我们来认识什么是“大数据” 一段小视频 8 20世纪90年代，数据仓库之父的Bill Inmon就经常提及Big Data 2011年5 月，在“云计算相遇大数据” 为主题的EMC World 2011 会议中，EMC 抛出了Big Data概念 Big Data名词由来 2011年6月，美国咨询界的翘楚麦肯锡咨询公司发布了《大数据：下一个竞争、创新和生产力的前沿领域》的研究报告,首次向学界以外的领域推出大数据的概念。 9 可采集 可衡量 价值 人的行为活动 生理行为 自然属性 社会属性 交易行为 文化行为 信仰行为 个体行为 家庭行为 群体行为 …… 企业经营活动 研发 服务 营销推广 物流 采购 生产 销售 …… 交易活动 交互活动 多样性 相关性 PC互联网 移动 互联网 物联网 数据获取通道 大数据的来源 “看”数据的不同方式 可视：结构化资料 15% 未视：半/非结构化数据 85% DB/DW 主管们看的 战情数位仪表板，其实是残缺的… 11 大数据 = 海量数据 + 复杂类型的数据 海量交易数据： 企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。 大数据包括： 交易数据和交互数据集在内的所有数据集 海量交互数据： 源于Facebook、Twitter、LinkedIn及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输Manage File Transfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。 海量数据处理： 大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群中运行的Apache Hadoop。 大数据的构成 10万 GB 10万 TB 需要更高性价比的数据计算与储存方式 数据库 数据仓库 计算更快 存储更省 14 大数据=海量数据+复杂类型数据 增长如此之块，以至于难以使用现有的数据库管理工具来驾驭，困难在于数据的获取、存贮、搜索、共享、分析和可视化等方面 大数据的定义 数据量 复杂性：种类和速度 销量 库存 薪酬表 客户信息 合约 ERP/CRM WEB2.0 广告 博客 搜索营销 文本/图像 网络日志 大数据 社会情绪 音频/视频 传感器 RFID 维基/博客 微博 金融信息 个人数据 位置信息 政府信息 气象数据 保险信息 EB PB TB GB 维基的大数据定义 任何超过一台计算机处理能力的庞大数据量 亚马逊的大数据定义 需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产 Informatica的大数据定义 大数据=交易数据+互动数据+观测数据 中国电信的大数据定义 百度的大数据定义 如果自然界中的事件完全不可预测地随机发生，人们的生活将无法忍受；与此相反，如果每一件事情都是确定的、完全可以预测的，则生活将是无趣的。利用因果关系解释观测的现象或预测未来存在逻辑和实际上的困难。 对大数据的理性认知 [美]C.R 劳 与传统比较，大数据的分析处理的核心是预测和推断，根本的变革在于不刻意追求因果关系，而更多关注相关关系。也就是说，只要知道和什么有关，而不必强求为什么有关。 [英]舍恩伯格 大数据时代来临，使人类第一次有机会和条件在非常多和非常深入的层次获得和使用全面数据、完整数据和系统数据，简而言之就是样本=总体。 [英]舍恩伯格 大数据为政府统计提供了总体性、非结构化、丰富真实的原始资料，可以极大地缩短数据采集时间，减少报表填报任务，减轻调查对象负担，提高统计数据质