大数据bigdata祥解.ppt

未来的世界将不再由石油驱动，而是由数据驱动 大数据案例（1）腾讯——大数据技术促使腾讯视频成为国内第一?? ?（2）T-Mobile——大数据帮助移动运营商降低客户流失率?? ?（3）TXU Energy——智能电表?? ?（4）麦克拉伦一级方程式车队——借助大数据技术，降低事故，保驾护航?? ?（5）UPS快递——大数据技术下的最佳行车路径?? ?（6）DPR——用大数据设计建筑?? ? 要数据有何用？可穿戴设备必须告诉用户该做什么 数码设备变得越来越善于收集数据。有些人还就健身追踪器和手机的精度进行讨论，但这其实并不重要。我可以打开 iOS 中的 Health 应用，然后查看计步读数，系统甚至还知道我上了登机梯！你甚至可以只通过智能手机来收集这些数据，不久后，这些传感器将无处不在，出现在你的手表、鞋子、衬衫和隐形眼镜中。“健身追踪”将不再以设备形式出现，而会成为一项功能，就像 Wi-Fi 功能一样。 对于许多人来说，收集数据就足以促使他们更多地运动或睡更多觉。比如，牛津大学生理神经科学教授 Russell Foster 称，大多数人认为自己的睡眠质量要比实际睡眠质量差。对于这些人而言，有客观的指标来参考会减轻不少痛苦。 但许多用户需要的不仅仅是这些。《美国医学会期刊》发表的一项引发诸多争议的研究表明，拥有一台健身追踪设备并追踪数据只是迈向更健康生活的一小步，几乎没有用处。这是近一半用户几乎立即停止使用健身追踪设备的原因。这也是 Jawbone、Fitbit、微软以及其他厂商推出功能超强设备的原因，为了让用户持续使用。所有这些设备都能收集更多数据，但只有很少设备找到好好利用这些数据的方式。 物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。 有些例子包括网络日志，RFID，传感器网络，社会网络，社会数据（由于数据革命的社会），互联网文本和文件;互联网搜索索引;呼叫详细记录，天文学，大气科学，基因组学，生物地球化学，生物，和其他复杂和/或跨学科的科研，军事侦察，医疗记录;摄影档案馆视频档案;和大规模的电子商务。 特点 数据量大（Volume）。第一个特征是数据量大，包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。 类型繁多（Variety）。第二个特征是种类和来源多样化。包括结构化、半结构化和非结构化数据，具体表现为网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。 价值密度低（Value）。第三个特征是数据价值密度相对较低，或者说是浪里淘沙却又弥足珍贵。随着互联网以及物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何结合业务逻辑并通过强大的机器算法来挖掘数据价值，是大数据时代最需要解决的问题。 速度快时效高（Velocity）。第四个特征数据增长速度快，处理速度也快，时效性要求高。比如搜索引擎要求几分钟前的新闻能够被用户查询到，个性化推荐算法尽可能要求实时完成推荐。这是大数据区别于传统数据挖掘的显著特征。 从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。[2]? 随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。 大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。 大数据真的很牛B吗？不不不，分分钟让你读懂它 大数据的概念被吵的越来越厉害，这对于一个新技术领域的诞生是一个必经过程。对于“大数据”(Big Data)，研究机构Gartner给出的定义是：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 两年前，《纽约时报》撰文“欢迎大数据的到来”，两年后，大数据的商业价值已经显现。在各个行业，我们都已能看到大数据的身影。 大数据，首先你要能存的下大数据。 传统的文件系统是单机的，不能横跨不同的机器。HD