大数据科学的核心技术及企业的大数据刨亲.pdfVIP

豳鲻 霪萋≯__ ～～ 一 ■■曩圉豳雕强霹臻鞭捌黼瓣瓣黪 鐾曩ll黼瓣 疆 l罩1■__ ●= 大数据科学的核心技术及企业的大数据创新 据麦肯锡全球研究院预测，未来6年，美国本 回报，首先必须拥有大数据核D、技术作为支撑，这 土可能面临缺乏 14万～l9万具备深入分析数据能 些大数据技术主要包括大规模并行处理 (MPP)数 力的人才，同时具备通过分析大数据为企业作出有 据库、分布式文件系统、分布式数据库、云计算平 效决策的管理人员和分析师的缺 口将达到 150万人。 台等。 一 在这些缺 口当中，掌握大数据核心技术的人才将是 、 大规模并行处理 (MPP)数据库 企业竞相追逐的对象。面对如此之大的人才和技术 并行处理 (ParallelProcessing)是计算机系统 缺 口，美国一些企业由于无法计算大数据的投资回 中能同时执行两个或更多个处理机的一种计算方 报而不敢轻易投资大数据技术，往往采取购买技术 法。处理机可同时工作于同一程序的不同方面。并 等搭顺风车的传统手段进行大数据应用。 行处理的主要 目的是节省大型和复杂问题的解决 2012年，大数据服务创业公司Connotate对 800 时间。 多名商业和 IT主管进行调查，结果显示，60％的受 截至 目前，并行计算机具有代表性的应用领域 访者称，目前尚未发现企业应用大数据能够带来较 包括：天气预报建模、VLSI电路的计算机辅助设 高的投资回报。 计、大型数据库管理等。并行处理技术主要是以算 不确定， 法为核心，并行语言为描述，软硬件作为实现工具 的相互联系而又相互制约的一种结构技术。 二、分布式文件系统 分布式文件系统 (DistributedFileSystem)是 指文件系统管理的物理存储资源不一定直接连接 尚未发现 在本地节点上，而是通过计算机网络与节点相联。 投资回报， 60．0％ 分布式文件系统的设计基于客户机／服务器模式。分 布式文件系统中最重要的是分布式数据库，分布式 数据库系统通常使用较小的计算机系统，每台计算 图 大数据投资回报分布的情况调查 机可单独放在一个地方，每台计算机中都有数据库 来源：大数据服务创业公司Connotate 管理系统 (DatabaseManagementSystem)的一份完 企业要用好大数据，并且能够从大数据中得到 整拷贝副本，并具有 自己局部的数据库，位于不同 中国贸易救济 l21 地点的许多计算机通过 商在提到云计算的时候，往往会同时运用分布式计 个完整的、全局的大型