大数据平台技术框架选型资料.docxVIP

大数据平台技术框架选型资料 大数据平台框架选型分析 一、需求 城市大数据平台，首先是作为一个数据管理平台，核心需求是数据的存和取， 然后因为海量数据、多数据类型的信息需要有丰富的数据接入能力和数据标准 化处理能力，有了技术能力就需要纵深挖掘附加价值更好的服务，如信息统计、 分析挖掘、全文检索等，考虑到面向的客户对象有的是上层的应用集成商，所以要考虑灵活的数据接口服务来支撑。 二、平台产品业务流程 三、选型思路 必要技术组件服务： ETL 非/关系数据仓储 大数据处理引擎 服务协调 分析 BI 平台监管 四、选型要求 需要满足我们平台的几大核心功能需求，子功能不设局限性。如不满足全部， 需要对未满足的其它核心功能的开放使用服务支持 国内外资料及社区尽量丰富，包括组件服务的成熟度流行度较高 需要对选型平台自身所包含的核心功能有较为深入的理解，易用其API 或基于源码开发 商业服务性价比高，并有空间脱离第三方商业技术服务 广泛性：是否该大数据套件支持广泛使用的开源标准——不只是 Hadoop 广泛性：是否该大数据套件支持广泛使用的开 源标准——不只是 Hadoop 和它的生态系统， 客和交流会的大社区？ 发行版本（如果你已经使用了某一个）？你想要 简单性：亲自试用大数据套件。这也就意味着：安装它，将它连接到你的 Hadoop 简单性：亲自试用大数据套件。这也就意味着： 安装它，将它连接到你的 Hadoop 安装，集成 你的不同接口（ 你的不同接口（文件、数据库、B2B 等等），并 最终建模、部署、执行一些大数据作业。自己来 最终建模、部署、执行一些大数据作业。自己来 了解使用大数据套件的容易程度 了解使用大数据套件的容易程度——仅让某个 提供商的顾问来为你展示它是如何工作是远远 提供商的顾问来为你展示它是如何工作是远远 不够的。亲自做一个概念验证。 不够的。亲自做一个概念验证。 还有通过 还有通过 SOAP 和 REST web 服务的数据集成 等等。它是否开源，并能根据你的特定问题易于 等等。它是否开源，并能根据你的特定问题易于 改变或扩展？是否存在一个含有文档、论坛、博 改变或扩展？是否存在一个含有文档、论坛、博 特性：是否支持所有需要的特性？ 特性：是否支持所有需要的特性？Hadoop 的 使用的 使用的 Hadoop 生态系统的所有部分？你想要 集成的所有接口、技术、产品？请注意过多的特 集成的所有接口、技术、产品？请注意过多的特 性可能会大大增加复杂性和费用。所以请查证你 性可能会大大增加复杂性和费用。所以请查证你 所有的大数据套件都会生成本地 Apache套件真正想做的事情。某些解决方案仅支持将Hadoop 所有的大数据套件都会生成本地 Apache 套件真正想做的事情。某些解决方案仅支持将 Hadoop 集群上的大数据分析。ETL 仅是 是否真正需要一个非常重量级的解决方案。是否 你真的需要它的所有特性？ 你真的需要它的所有特性？ 陷阱：请注意某些陷阱。某些大数据套件采用 陷阱：请注意某些陷阱。某些大数据套件采用 数据驱动的付费方式 数据驱动的付费方式（“数据税”），也就是说， 你得为自己处理的每个数据行付费。因为我们是 你得为自己处理的每个数据行付费。因为我们是 在谈论大数据，所以这会变得非常昂贵。并不是 在谈论大数据，所以这会变得非常昂贵。并不是 Hadoop Hadoop 代码，通常要在每个 Hadoop 集群的 服务器上安装一个私有引擎，而这样就会解除对 服务器上安装一个私有引擎，而这样就会解除对 于软件提供商的独立性。还要考虑你使用大数据 于软件提供商的独立性。还要考虑你使用大数据 Hadoop Hadoop 用于 ETL 来填充数据至数据仓库，而 其他一些解决方案还提供了诸如后处理、转换或 其他一些解决方案还提供了诸如后处理、转换或 Apache Apache Hadoop 和其生态系统的一种使用情 形。 形。 六、方案分析 自建套件 hortonworks 国内类 TDW+f exadoop ineBI 成 100%开源 本 培训服务 3k/ 人 授权支持100K 性能  单集群最大规模达到5600 台，处理数据量可达百 P 级 功 按需整合 HDFS 和 能 YARN 数据管理 从各种引擎访问数据 根据策略加载和管理数据 身份验证、授 权和数据保护 大规模配置、 管理、监控和运营 Hadoop 群集 与您的数据分 析工具集成 跨平台配置部 署 易 安装复 图形设计界 操 杂，操作 面，参数配置， 作 需要专业 易上手。 性 培训。 应 国外大客户较 用 多 成 熟 度 文 文档较 官方社区比较 文档较 档 多，社区 活跃（英文） 少，无 / 一般，相 中文社区有 1 商用服 社