活动方案之数据库存储系统相关设计及解决方案.docVIP

活动方案之数据库存储系统相关设计及解决方案 活动方案之数据库存储系统相关设计及解决方案 活动方案之数据库存储系统相关设计及解决方案 数据库储存系统的有关设计及解决方案 【纲要】设计数据库的目的是为了管理大量的数据，对数据的 管理既波及到数据操作体制的供给，又波及到数据储存。假如把数 据库管理系统当作是一个库房，在库房里寄存着各种各种的的物件， 此外还有一个库房保存员，这个保存员负责不一样物件的搬进、储存、 搬出，这里的库房就近似于储存数据的 “文件 ”。 【重点词】数据库系统；储存系统设计；数据库库房 一、系统设计及解决方案实现的背景 纵观券商 it 发显现状，第一公司级业务应用愈来愈多，分工也 愈来愈细，而公司级的业务应用需乞降要求都愈来愈高，单个业务 产品知足不了公司级应用需求，以下是当前券商主要面对的公司级 应用需求： 1.面向上司看管部门的数据报送 2.公司级合规管理微风险控制要求愈来愈高 3.及时动向业务风险监控 4.公司决议支持平台 5.客户营销管理 二、数据中心目标定位 归纳而言，数据中心一方面是现有营业部柜台交易系统、总部 清理系统、稽核系统等业务系统的数据收集者和管理者，同时也是 营销管理、稽核监控、风险管理、数据发掘和多维剖析系统的数据 供给者。 （一）产品定位。公司数据标准中心，据互换中心，据服务中 心。 （二）功能定位。致力于公司业务数据的管理方法和管理工具 研发，包含业务数据组织架构规划、数据规范管理、数据质量管理、 数据公布管理以及数据的复用性管理等方面的系统性工程。 （三）存贮设计定位 既要考虑高并发高效率的 oltp 服务办理，也要考虑大数据量访 问的 olap 统计剖析要求， 鉴于将来 5 年到 10 年的数据存贮容量测 算，以此来考虑系统的主机、储存架构设计以及数据办理技术应用 等技术研究工作的方向。 三、系统设计原则 数据中心项目技术解决方案的设计原则表此刻以下六个方面， 使得有限的资源以较有效的协作方式共同发挥功效： （一）可扩展性 数据模型：设计模型时，尽可能知足将来可能要上线的业务系 统数据模型，同时还需拟订一套合理的模型设计规范。 数据散发平台：在设计时应试虑，跟着散发数据规模的扩大和 散发节点的增加，对散发办理和传输办理的性能要求会愈来愈高。 （二）高性能 散发平台：需考虑大数据量条件下的文件传输效率，主要表现 在特别日期及特别状况下的全量文件传输。数据库设计：同时要考 虑剖析种类的大量量数据或屡次接见需求，还要知足及时监控类的 高并发接见要求。。 （三）可管理性 数据质量管理：报告的可读性，标准的可保护性，问题办理流 程的可操作性。数据散发平台：需要充足考虑数据散发任务易于配 置，传输结果易于监控。 （四）高可用性 数据模型的可用性：能障蔽源系统构造的变化对数据中心系统 带来影响。局部数据模型的扩展不会对其余数据模型产生大的影响。 系统备份：生产系统出现异样时，备份恢复体制及时恢复办理。 （五）安全性。一是防备数据中心系统的数据资源被歹意改正 和偷取；二是防备数据在传输过程中被截留和窜改。 （六）可重用性。可重用性是指尽可能防止数据中心项目的重 复投入，应尽可能考虑包含物理设施、系统软件、框架组件、规范 方法以及业务应用等多个层面上的复用。 四、数据库存贮方案设计 1.1 数据各逻辑层级区分。为保证数据中心能供给多层次、多粒 度、多特色的数据服务，并保证 etl 过程的清楚、可控、完好、正确， 数据中心依据数据性质、办理阶段以及数据质量的不一样分为原始层、 标准层、模型层、数据市集层 4 个数据层，详细以下： 1.2 数据库系统的硬件架构设计。依据系统剖析得出的各项数据， 即可获得相应的硬件配置要求。 1.2.1 储存设施容量评估。本节提出的 “储存容量规划 ”将支持过 去 5 年以上的历史数据和将来 10 年的新增业务数据的储存空间要求。 1.2.1.1 基础数据规模评估。依据检查，某券商 2002 年以来 （至 2012 年）的历史数据规模可按 1.5t 计算。 我们以此次配置的储存 “知足将来 3-4 年（从 2012 年算起）的 业务正常运转 ”、 “将考虑将来 10 年的业务运转的扩展能力 ”这两个 条件来评估，得出的基础数据规模为： 约 约 注：公式中的 25% 是增量数据因子。每次进行冲洗时，经过一 定的方法，将部分非增量数据抛弃（这 75% 的数据，我们经过比对 法发现其与历史数据或存量数占有重复取值，将其载入后暂存待查 或去除）的结果。 1.2.1.2 逻辑数据储存规模评估。上节评估出的 “基础数据规模 （后称 a） ”，将是本系统进行逻辑数据储存规模（后称 b）的依照。 原始层数据的规模 b1：按最后年度的 1 倍收集数据量计算。 ods 层 数据的规模 b