大数据平台技术框架选型分析.pdfVIP

大数据平台框架选型分析 一、需求 城市大数据平台，首先是作为一个数据管理平台，核心需求是数据的存和 取，然后因为海量数据、多数据类型的信息需要有丰富的数据接入能力和数据 标准化处理能力，有了技术能力就需要纵深挖掘附加价值更好的服务，如信息 统计、分析挖掘、全文检索等，考虑到面向的客户对象有的是上层的应用集成 商，所以要考虑灵活的数据接口服务来支撑。 二、平台产品业务流程 三、选型思路 必要技术组件服务： ETL 非/关系数据仓储 大数据处理引擎 服务协调 分析 BI 平台监管 四、选型要求 1．需要满足我们平台的几大核心功能需求，子功能不设局限性。如不满足全部， 需要对未满足的其它核心功能的开放使用服务支持 2 ．国内外资料及社区尽量丰富，包括组件服务的成熟度流行度较高 3 ．需要对选型平台自身所包含的核心功能有较为深入的理解，易用其 API 或基于 源码开发 4 ．商业服务性价比高，并有空间脱离第三方商业技术服务 5 ．一些非功能性需求的条件标准清晰，如承载的集群节点、处理数据量及安全机 制等 五、选型需要考虑