数据分析平台原型设计.docxVIP

数据分析平台原型设计 1.初步设计图 数据库层（使用ORACLE RAC） 中间表规那么层 分布式计算层 2.详细说明: 此框架主要增加中间分布式缓存层，中间表规那么层，分布式 计算层以及数据库中的中间表层。主要通过重构软件架构的手段 来达成目标。但是由于增加了分布式的存储层和计算层，所以也 需要有一定硬件的配合。 ＞分布式缓存层： 使用redis作为缓存保存的根底。这层的作用是： 在每日数据不变动的情况下，以查询过的结果会记录到缓存 中，下次同样的查询会在秒之内完成。一天后自动失效，以 防止数据不更新。 ＞中间表规那么层，类似ETL 这层需要定制开发。初步预想的结果是: 1 .使用J2EE算法完成，或者结合已成熟的ETL工具配合二 次开发完成。 别离最终业务人员和数据管理人员的权限，有数据管理 人员来制作中间表，而业务人员使用中间表开发最后的 结果表。 中间表制作为规那么引擎，具备比拟容易上手的UI可视化 操作，也具备直接通过SQL生成中间表的工具。所以不 需要等待第三方的开发，可以自己配置。 如果中间表数量越多，加上一些管理手段的话，大概率 事件上是业务人员不再需要直接从原始表里面取数据。 中间表规那么一旦建立生成后。将保存住此规那么，每日的 凌晨0点开始自动更新（可以是全量或者增量更新）中 间表数据。由于需要更新的数据越来越多，所以需要由 分布式的计算完成。这点上支持以后越来