大数据时代下的数据挖掘.pptVIP

内容：什么是大数据相关技术大数据警情预测分析初步设想我们的工作基础

什么是大数据

什么是大数据？大数据4V大量（Volume）存储大；计算量大。多样（Variety）来源多；格式多。快速（Velocity）增长速度快；处理速度要求快。价值（Value）浪里淘沙；无可估量。

何为大？—数据度量1Byte=8Bit1KB=1,024Bytes1MB=1,024KB=1,048,576Bytes1GB=1,024MB=1,048,576KB=1,073,741,824Bytes1TB=1,024GB=1,048,576MB=1,099,511,627,776Bytes1PB=1,024TB=1,048,576GB=1,125,899,906,842,624Bytes1EB=1,024PB=1,048,576TB=1,152,921,504,606,846,976Bytes1ZB=1,024EB=1,180,591,620,717,411,303,424Bytes1YB=1,024ZB=1,208,925,819,614,629,174,706,176Bytes

《红楼梦》含标点87万字（不含标点853509字）每个汉字占两个字节:1汉字=16bit=2*8位=2bytes1GB约等于671部红楼梦1TB约等于631,903部红楼梦1PB约等于647,068,911部红楼梦美国国会图书馆藏书:约15179万册（2011年4月:收录数据235TB）中国国家图书馆藏书:约2631万册

1EB=4000倍美国国会图书馆存储的信息量600美元的硬盘就可以存储全世界所有的歌曲MGI估计,全球企业2010年在硬盘上存储了超过7EB(1EB等于10亿GB)的新数据,同时消费者在PC和笔记本等设备上存储了超过6EB新数据数据没有办法在可容忍的时间下使用常规软件方法完成存储、管理和处理任务

大数据与云计算云计算的模式是业务模式,本质是数据处理技术。（肉体+灵魂）数据是资产,云为数据资产提供存储、访问和计算。盘活资产,使其为国家治理、企业决策、个人生活服务,是大数据核心议题,也是云计算的最终方向海量数据:两个V（volume和value）

数据来源互联网企业:SNS、微博、电子商务网站、企业业务数据物联网、移动设备、终端中的商品、个人位置、传感器采集的数据联通、移动、电信等通信和互联网运营商天文望远镜拍摄的图像、视频数据、气象学里面的卫星云图数据等

大数据相关技术分析技术数据处理:自然语言处理技术统计和分析:决策支持;排行榜；舆情分析；情感分析数据挖掘:关联规则分析；分类；聚类；决策树模型预测:预测模型；机器学习；建模仿真2.大数据技术数据采集:ETL工具数据存取:关系数据库；NoSQL；SQL等基础架构支持:云存储；分布式文件系统等计算结果展现:云计算；标签云；关系图等

大数据相关技术存储结构化数据海量数据的查询、统计、更新等操作非结构化数据图片、视频、网页等不利于检索、查询和存储半结构化数据转换为结构化存储按照非结构化存储

大数据相关技术4.计算模式因结构变化导致计算模式变更需求模式变化带来的计算瓶颈解决方案Hadoop:海量数据分布式计算模式（基于MapReduce技术）流计算:云环境下的流式传递（高实时、高流量）

大数据的方向云计算是基础设施架构大数据是灵魂资产分析/挖掘是手段发现和预测是最终目的

电信政府（公共事业）交通金融医疗教育能源（电力/石油）纵轴契合度:表示该用户的IT应用特点与大数据特性的契合程度；横轴应用可能性:表示该用户出于主客观因素在短期内投资大数据的可能性；注:应用可该能位性置为分析师访谈的综合印象，为定性分析，图中位置不代表具体数值HighMidLowLowMidHigh优先关注行业用户应用特点与大数据技术有较高的契合度,在主客观条件上也有较高的应用可能性。值得关注行业用户 应有特点与大数据的契合度及应用可能性综合较高适当关注行业用户两个维度暂时都不具备优势,可适当给予关注互联网（电子商务）契合度流通零售制造大数据行业应用

建设宝安区公安大数据警情服务中心依靠武汉大学、深圳大学、深圳新一代信息技术研究院等在学科研究上的优势,结合公安信息化系统,研究和开发大数据时代下的公安警情分析和预测平台建立服务于警情预测的大数据平台以整合公安及相关领域业务数据为基础,建立服务于警情预测的大数据分析平台,提供系统化的解决方案和全方位的知识服务。大数据警情预测初步设想

公安警情业务基础