（27页PPT）大数据基本介绍相关技术和应用x.pptxVIP

大数据;;;;21世纪是数据信息大发展的时代，某著名企业互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。

互联网（社交、搜索、电商）、某著名企业互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银某省市、保险）、某著名企业（通话、短信）都在疯狂产生着数据。;20世纪90年代，数据仓库之父的BillInmon就经常提及BigData

;全球每秒钟发送2.9百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5年…

每天会有2.88万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3年…

推特上每天发布5千万条消息，假设10秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览16年…

每天亚马逊上将产生6.3百万笔订单…

每个月网民在Facebook上要花费7千亿分钟，被某著名企业互联网使用者发送和接收的数据高达1.3EB…

Google上每天需要处理24PB的数据…;;“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。;大数据=海量数据+复杂类型的数据;;;;

大数据技术将被设计用于在成本可承受（economically）的条件下，通过非常快速（velocity）的采集、发现和分析，从大量化（volumes）、多类别（variety）的数据中提取价值（value），将是IT领域新一代的技术与架构

;分析技术：

数据处理：自然语言处理技术

统计和分析：A/Btest;topN排行榜；地域占比；文本情感分析

数据挖掘：关联规则分析；分类；聚类

模型预测：预测模型；机器学习；建模仿真

大数据技术：

数据采集：ETL工具

数据存取：关系数据库；NoSQL；SQL等

基础架构支持：云存储；分布式文件系统等

计算结果展现：云计算；标签云；关系图等;1、对现有数据库管理技术的挑战

传统的数据库部署不能处理数TB级别的数据，也不能很好的支持高级别的数据分析。急速膨胀的数据体量即将超越传统数据库的管理能力。

如何构建全球级的分布式数据库(Globally-DistributedDatabase)，可以扩展到数百万的机器，数已百计的数据中心，上万亿的行数据。

2、经典数据库技术并没有考虑数据的多类别（variety）

SQL（结构化数据查询语言），在设计的一开始是没有考虑非结构化数据的。

3、实时性的技术挑战：

一般而言，像数据仓库系统、BI应用，对处理时间的要求并不高。因此这类应用往往运行1、2天获得结果依然可行的。但实时处理的要求，是区别大数据应用和传统数据仓库技术、BI技术的关键差别之一。;云计算的模式是业务模式，本质是数据处理技术。

数据是资产，云为数据资产提供存储、访问和计算。

当前云计算更偏重海量存储和计算，以及提供的云服务，运行云应用，但是缺乏盘活数据资产的能力，挖掘价值性信息和预测性分析，为国家、企业、个人提供决策和服务，是大数据核心议题，也是云计算的最终方向。;;2012云计算，2013大数据？;行业拓展者，打造大数据行业基石：;政府职能变革

重视应用大数据技术，盘活各地云计算中心资产：把原来大规模投资产业园、物联网产业园从政绩工程，改造成智慧工程；

在安防领域，应用大数据技术，提高应急处置能力和安全防范能力；

在民生领域，应用大数据技术，提升服务能力和运作效率，以及个性化的服务，比如医疗、卫生、教育等部门；

解决在金融，某著名企业领域等中数据分析的问题：一直得到得极大的重视，但受困于存储能力和计算能力的限制，只局限在交数据的统计分析；

政府投入将形成示范效应，大大推动大数据的发展。;大数据的应用

——热点：某省市;大数据的应用

——未来，改变一切;;大数据赋予我们洞察未来的能力;诸多领域的问题亟待解决，最重要的是每个人的信息都被互联网所记录和保留了下来，并且进行加工和利用，为人所用，而这正是我们所担忧的信息安全隐患！;Thanks.