企业数据集市建设要点与分析.doc

.. 企业数据集市建设要点分析 高并发、低延迟场景下，企业如何建设敏捷高效的数据集市  目 录 TOC \o 1-3 \h \z \u HYPERLINK \l _Toc522784095 一、数据集市的发展态势 PAGEREF _Toc522784095 \h 3 HYPERLINK \l _Toc522784096 二、数据集市与数据仓库的对比 PAGEREF _Toc522784096 \h 5 HYPERLINK \l _Toc522784097 三、数据集市的项目建设方案及技术点 PAGEREF _Toc522784097 \h 6 HYPERLINK \l _Toc522784098 四、数据集市建设所需支持及面临的风险 PAGEREF _Toc522784098 \h 9 HYPERLINK \l _Toc522784099 五、数据集市项目验收 PAGEREF _Toc522784099 \h 11  随着大数据技术的发展，数据量急剧增长，数据的分析挖掘工作也变得越来越重要。在这背后，数据仓库的建设尤为重要，通过数仓，可以为数据分析人员提供全面的数据和计算能力。 数据仓库包括原子级别的数据和轻度汇总的数据，是面向主题的、集成的、不可更新的(稳定性)、随时间不断变化（不同时间）的数据集合，用以支持经营管理中的决策制定过程。但是数据仓库在高并发、快速响应的场景下具有很大的局限性，无法满足海量投资者数据查询服务需求。 数据集市，也叫数据市场，是企业级数据仓库的一个子集，是为满足特定的部门或者用户的需求，只面向某个特定的主题，按照多维的方式进行存储，包括定义维度、需要计算的指标、维度的层次等，生成面向决策分析需求的数据立方体，提升数据查询的效率。 本文围绕着数据集市的需求、架构、方案等方面进行了问题的讨论，对于大家了解和应用数据集市非常具有参考价值。 一、数据集市的发展态势 Q1：当前，金融行业中在什么场景下需要建设数据集市？是否该启动数据集市建设？数据集市的建设是由哪些因素触发的？ A1-1： 数据集市(Data Mart) ，也叫数据市场，是企业级数据仓库的一个子集，是为满足特定的部门或者用户的需求，只面向某个特定的主题，数据集市存储为特定用户预先计算好的数据，从而满足用户对性能的需求。数据集市可以在一定程度上缓解访问数据仓库的瓶颈。 数仓解决海量数据统计分析，低用户并发，大量计算。 数据集市低延时和高并发查询的情况下具备足够的支撑能力，可以7×24对外提供数据服务，且不影响原有数据仓库统计分析应用的正常运行。大量生产数据的预处理在数仓进行，数据集市接收数仓预处理后的数据。 数据集市是对数仓的补充，灵活、快速响应业务，支持用户部门自行定制数据进行统计分析，支持高并发、性价比较高。 A1-2： 当用户对大量数据的实时性要求非常迫切，而数据仓库无法满足时，就需要有针对性的对这些数据进行处理，提升存储和计算的效率，这就需要建立数据集市，通过对数据的预处理，提升数据查询处理效率。 Q2：企业建设数据集市的动力来自哪里？ 建设数据集市对金融行业客户有何现实意义？ A2： 数据集市是数据仓库的一个重要补充，满足客户对数据的即时性要求；传统数仓往往比较重存储，且为了保持数据完整性，而严格按照范式要求保存数据，从而导致计算量很大，时效性较低。建立数据集市，有助于进一步发挥数据价值，因其面向主题，可以对数据做各种处理，从而在设计上提升数据存储和查询的效率。 Q3：目前金融行业中，规划或者已经建设了数据集市项目的企业多吗？数据集市在金融行业中发展的态势如何？ A3-1： 数据集市适合行业内拥有海量数据的公司，需对特定领域服务，通过互联网，对公众、监管机构提供数据服务，好处是快速灵活、降低原有数据仓库成本。 A3-2： 金融行业积累了非常多的数据，数据质量也很高，随着金融业与技术的紧密结合，面向某一领域的数据需求变得越来越强烈，比如行情数据，很多应用都需要，这时如果形成行情的数据集市，提供数据服务，不仅避免重复建设，而且有利于数据的统一管理。 Q4：数据集市项目的直接用户和间接用户是哪些方面？数据集市会为用户带来哪些好处？ A4-1： 直接用户是各业务部门、各业务系统，数仓不直接为各业务系统直接提供数据服务，通过数据集市提供；间接用户是各业务系统的用户，如通过互联网办理业务的投资者用户。直接用户是可以定制化数据服务，方便、快捷，间接用户是快速响应、更好用户体验、高性能和可用性。 A4-2： 直接用户是业务数据分析人员、业务系统负责人员，对数据有强烈的需求和敏锐的嗅觉，能够将数据价值抽象出来；间接用户就是一线业务人员，可以直接获取该数据价值，对用户及时反馈。数据集市提升了数据交互的时间，使数据的使用变得流畅。