大数据平台技术框架选型的分析.docVIP

大数据平台框架选型分析 需求 城市大数据平台，首先是作为一个数据管理平台，核心需求是数据的存和取，然后因为海量数据、多数据类型的信息需要有丰富的数据接入能力和数据标准化处理能力，有了技术能力就需要纵深挖掘附加价值更好的服务，如信息统计、分析挖掘、全文检索等，考虑到面向的客户对象有的是上层的应用集成商，所以要考虑灵活的数据接口服务来支撑。 平台产品业务流程 选型思路 必要技术组件服务： ETL 非/关系数据仓储 大数据处理引擎 服务协调 分析BI 平台监管 选型要求 需要满足我们平台的几大核心功能需求，子功能不设局限性。如不满足全部，需要对未满足的其它核心功能的开放使用服务支持 国内外资料及社区尽量丰富，包括组件服务的成熟度流行度较高 需要对选型平台自身所包含的核心功能有较为深入的理解，易用其API或基于源码开发 商业服务性价比高，并有空间脱离第三方商业技术服务 一些非功能性需求的条件标准清晰，如承载的集群节点、处理数据量及安全机制等 选型需要考虑 简单性：亲自试用大数据套件。这也就意味着：安装它，将它连接到你的Hadoop安装，集成你的不同接口（文件、数据库、B2B等等），并最终建模、部署、执行一些大数据作业。自己来了解使用大数据套件的容易程度——仅让某个提供商的顾问来为你展示它是如何工作是远远不够的。亲自做一个概念验证。 广泛性：是否该大数据套件支持广泛使用的开源标准—