天谐科技大数据要点解析.pptVIP

技术领域的挑战 1、对现有数据库管理技术的挑战 传统的数据库部署不能处理数TB 级别的数据，也不能很好的支持高级别的数据分析。急速膨胀的数据体量即将超越传统数据库的管理能力。 如何构建全球级的分布式数据库(Globally-Distributed Database) ，可以扩展到数百万的机器，数已百计的数据中心，上万亿的行数据。 2、经典数据库技术并没有考虑数据的多类别（variety） SQL（结构化数据查询语言），在设计的一开始是没有考虑非结构化数据的。 3、实时性的技术挑战： 一般而言，像数据仓库系统、BI应用，对处理时间的要求并不高。因此这类应用往往运行1、2天获得结果依然可行的。但实时处理的要求，是区别大数据应用和传统数据仓库技术、BI技术的关键差别之一。 网络架构、数据中心、运维的挑战： 技术架构的挑战： 人们每天创建的数据量正呈爆炸式增长，但就数据保存来说，我们的技术改进不大，而数据丢失的可能性却不断增加。 如此庞大的数据量首先在存储上就会是一个非常严重的问题，硬件的更新速度将是大数据发展的基石。 分析技术： 数据处理：自然语言处理技术 统计和分析：A/B test; top N排行榜；地域占比；文本情感分析 数据挖掘：关联规则分析；分类；聚类 模型预测：预测模型；机器学习；建模仿真 大数据技术： 数据采集：ETL工具 数据存取：关系数据库；NoSQL；SQL等 基础架构支持：云存储；分布式文件系统等 计算结果展现：云计算；标签云；关系图等 一些相关技术 存储 结构化数据： 海量数据的查询、统计、更新等操作效率低 非结构化数据 图片、视频、word、pdf、ppt等文件存储 不利于检索、查询和存储 半结构化数据 转换为结构化存储 按照非结构化存储 解决方案： Hadoop（MapReduce技术） 流计算（twitter的storm和yahoo！的S4） 大数据的相关技术 ETL 数据众包 （CrowdSouring） 数据众包 数据众包是一种新的数据采集方式，由企业方通过平台把数据采集任务外包给非特定的大众网络。 大数据的相关技术 ETL 数据众包 （CrowdSouring） 结构化、非结构化和半结构化数据 分布式文件系统 关系数据库 非关系数据库 （NoSQL） 数据仓库 云计算和云存储 实时流处理 分布式文件系统 分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。 分布式文件系统 Google文件系统（Google File System，GFS）是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，将服务器故障视为正常现象，通过软件的方式自动容错，在保证系统可靠性和可用性的同时，大大减少了系统的成本。 分布式文件系统 GFS将整个系统分为三类角色：Client（客户端）、Master（主服务器）、Chunk Server（数据块服务器）。 分布式文件系统 Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的硬件上。 分布式文件系统 一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。 非关系型数据库NoSQL 关系型数据库的局限性 难以满足高并发读写的需求 难以满足对海量数据高效率存储和访问的需求 难以满足对数据库高可扩展性和高可用性的需求 非关系型数据库NoSQL NoSQL 数据存储不需要固定的表结构，通常也不存在连接操作。在大数据存取上具备关系型数据库无法比拟的性能优势。 关系型数据库中的表都是存储一些格式化的数据结构，每个元组字段的组成都一样，即使不是每个元组都需要所有的字段，但数据库会为每个元组分配所有的字段。 非关系型数据库以键值对存储，它的结构不固定，每一个元组可以有不一样的字段，每个元组可以根据需要增加一些自己的键值对，这样就不会局限于固定的结构，可以减少一些时间和空间的开销。 非关系型数据库NoSQL 非关系型数据库NoSQL Bigtable的设计目的是可靠地处理PB级别的数据，并且能够部署到上千台机器上。Bigtable已经在超过60个Google的产品和项目上得到了应用，包括 Google Analytics、GoogleEarth等。 非关系型数据库NoSQL Bigtable是一个键值（key-value）映射。键有三