大数据平台架构巨衫.pdfVIP

.. 1. 技术实现框架 1.1 大数据平台架构 1.1.1 大数据库是未来提升业务能力的关键要素 以 “大数据”为主导的新一波信息化浪潮正席卷全球， 成为全球范围内加速 企业技术创新、推动政府职能转变、引领社会管理变革的利器。目前，大数据技 术已经从技术研究步入落地实施阶段， 数据资源成为未来业务的关键因素。 通过 采集和分析数据，我们可以获知事物背后的原因，优化生产 / 生活方式，预知未 来的发展动态。 经过多年的信息化建设， 省地税已经积累了丰富的数据资源， 为下一步的优 化业务、提升管理水平，奠定了坚实的基础。 未来的数据和业务应用趋势，大数据才能解决这些问题。 《1. 巨杉软件 SequoiaDB 产品和案例介绍 v2 》P12 “银行的大数据资产和应 用 “，说明税务数据和业务分析，需要用大数据解决。 《1. 巨杉软件 SequoiaDB 产品和案例介绍 v2 》P14 “大数据与传统数据处理 ”， 说明处理模式的差异。 1.1.2 大数据平台总体框架 大数据平台总体技术框架分为数据源层、 数据接口层、 平台架构层、 分析工 具层和业务应用层。如下图所示： word 教育资料 .. （此图要修改，北明 ） 数据源层：包括各业务系统、 服务系统以及社会其它单位的结构化数据和非 结构化数据； 数据接口层： 是原始数据进入大数据库的入口， 针对不同类型的数据， 需要 有针对性地开发接口，进行数据的缓冲、预处理等操作； 平台架构层：基于大数据系统存储各类数据， 进行 处理？ ； 分析工具层：提供各种数据分析工具，例如：建模工具、报表开发、数据分 析、数据挖掘、可视化展现等工具； 业务应用层：根据应用领域和业务需求，建立分析模型，使用分析工具，发 现获知事物背后的原因，预知未来的发展趋势，提出优化业务的方法。例如，寻 找服务资源的最佳配置方案、发现业务流程中的短板进行优化等。 1.1.3 大数据平台产品选型 针对业务需求，我们选择巨杉数据库作为大数据基础平台。 word 教育资料 .. 1.1.3.1 传统数据库与大数据库的差异（丰富一下内容，说明应该选 择大数据平台） 传统的关系型数据库， 只能存储结构化数据， 在当前互联网快速发展的时代， 僵硬的数据模型已经无法适应快速开发、 快速迭代的互联网思维。 同时，越来越 广阔的移动无线网络覆盖， 不断提升的上网体验， 人们的生活已经与网络连接起 来，现在人们在互联网产生的数据，比较过去正在以几何倍数增长。 1.1.3.2 巨杉的产品框架（） 巨杉的简要介绍。 产品框架下的组件的简要介绍，说明由哪些东西组成，实现哪些功能。 1.1.3.3 产 品比较？（ 与类似产品的竞争优势？ ） SequoiaDB作为一款拥有完全自主知识产权的文档型分布式数据库， 天生具 备高性能、高可用的特性。 SequoiaDB采用分片技术为数据库提供横向扩展机制， 这个分片过程对应用程序来说是透明的。 分片分配数据跨越多个物理分区， 每个 word 教育资料 .. 分区也即分片。分片