多维数据仓库技术在矿井信息化系统中的研究及应用-电子科学与技术专业论文.docxVIP

万方数据 万方数据 致谢 三年的硕士研究生学习生活转眼间已进入了尾声，虽然在中国矿业大学的学习生 活并不是很长，但这里的每一个人，每一处风景都给我留下了深刻的印象，在即将离 开的时刻，心里既有留恋，还有期盼。这篇论文，为我的硕士研究生学习生涯划上了 一个句号，希望也是一个新的起点。今天，在即将离开学校、踏上工作岗位的时刻， 我唯愿将满怀的激动化作感激，献给在这段历程中推动和扶助我前行的每一位师长和 亲朋。首先感谢的是我的导师郭星歌老师，论文工作是在郭老师的悉心指导下完成的， 从论文的选题到最终完成，郭老师都倾注了大量的时间和精力，极其耐心地为我一遍 遍讲解论文的组织及编写，及时指导我解决所遇到的难题，无微不至的关怀与指导是 论文得以顺利完成的重要保证。毕业在即，谨向尊敬的郭星歌老师致以最真挚的感谢 和最久远的祝福。 此外，我还要感谢的是课题组的所有老师们在学习中对我的帮助，是他们给我提 供了宽松而严谨的科研环境。在此，衷心地祝愿他们工作顺利，身体健康。 和同窗们很快就要分别了，两年半的相处愉快而令人难忘，也感谢你们给予我的 生活和学习中的建议和帮助，特别感谢我的室友:朱茂森、杭金祎、祝汉城和方士兵 以及实验室的小伙伴：吴娇娇、孙莉、张祥忠等，他们给我提供了一个宽松而愉快的 学习环境。在此衷心祝愿他们都有美好的前程，愿我们的友谊地久天长。最后特别感 谢宋洁同学不离不弃的陪伴，为平淡的学习和生活带来了不一样的色彩。 深深地感谢我的父亲和母亲，他们无私的关心和帮助使我顺利完成学业，他们的 支持永远是我前进的动力。 最后感谢在这三年中所有给过我帮助和支持过我的人，衷心感谢他们为我所作的 一切。 摘 要 随着煤矿企业规模的扩大和信息化水平的不断提高，在经营管理过程中产生了海 量的业务数据，如何有效地管理和重组数据资源，提炼出有价值的信息以供决策使用， 成为当前煤炭行业“大数据”发展过程中面临的一大难题，而建立基于多维数据仓库 技术的矿井信息化系统是解决这一问题的有效途径。 本文针对煤矿企业生产运营特点，结合矿井数据多源、异构的特殊性，对数据仓 库架构和 ETL（Extract, Transform, Load）算法两方面进行系统研究，分别提出了适合 矿井数据特点的改进方法，最后以大屯煤电公司综合调度信息管理系统为例，设计实 现了矿井多维数据仓库系统。论文主要工作如下： （1）在数据仓库架构方面，分析传统数据仓库架构中存在的不足，设计了一种 基于多数据集市的矿井多维数据仓库模型，各数据集市之间通过共同维加强联系。提 出一种利用二次集成简化开发，优化数据结构的数据仓库/数据集市体系结构的改进 方法。 （2）在 ETL 算法方面，设计基于元数据的改良实时 ETL 过程，提出了一种基于 数据质量控制的实时 ETL 改进算法，实验表明：基于系统数据日志的实时 ETL 算法 实现了对数据仓库与业务系统之间数据共享零延时的要求；增加了问题数据处理模块 及抽样数据质量评估模块的基于数据质量控制的 ETL 改进算法大大优化了 ETL 工作 流程，提高了进入数据仓库中的数据质量。 （3）将上述研究成果应用在大屯煤电公司综合调度信息管理系统中，设计了生 产信息记录、事故安全记录、煤炭运销记录三大主题模块，在企业数据分析、企业决 策制定的应用中取得了良好的效果。 本文所作的研究工作对进一步提高煤矿企业在矿井信息化管理中的理论和应用 水平，具有一定的现实意义和应用推广价值。 该论文有图 35 幅，表 15 个，参考文献 61 篇。 关键词：矿井信息化；数据仓库技术；多维模型；数据集市；ETL 技术 I Abstract With the expansion of business scale and the continuous improvement of the level of information, large quantities of business data are produced during the operation and management of the enterprise. How to manage and recombine these data source, and apply them to business decisions has become an impending problem in “Big Data” development that coal mine enterprise have to face. At this time, mine informatization system based on multi-dimension data warehouse would be an e