大数据分析分布式MOLAP技术要点.docVIP

大数据分析分布式MOLAP技术要点 　　摘要：实际工作中需要使用大数据技术，但是由于其带有规模效应，不利于数据分析、数据管理、数据存储等工作。为了确保工作质量，相关技术人员通过研究和试验，发现使用分布式文件系统优势明显，应用MapReduce编程模型可以解决上述问题。具体而言，使用MOLAP技术之后，利用多维模型进行维度的映射，同时使用线性化算法将测量到的维度等数据存储到分布式文件中。该文对在大数据背景下分布式MOLAP技术要点进行分析，希望给有关人士一些借鉴。 　　关键词：大数据；分布式；MOLAP技术 　　中图分类号：TP3 文献标识码：A 文章编号：1009-3044（2018）01-0009-02 　　Abstract： In practical work， large data technology is needed， but because of its scale effect， it is not conducive to data analysis， data management， data storage and so on. In order to ensure the quality of work， the relevant technical personnel through research and experiment， found that the use of distributed file system has obvious advantages， the application of MapReduce programming model can solve these problems. Specifically， after using MOLAP technology， the multi-dimensional model is used to map the dimensions， and the linear algorithm is used to store the measured dimensions and other data into the distributed file. Below on the background of big data distributed MOLAP technology analysis， hoping to draw some reference for the relevant people. 　　Key words： Big data； distributed； MOLAP Technology 　　?τ?MOLAP技术也称之为DOLAP，其使用了多维数据模型，包括维和和事实两个部分，具体操作中必须要找到维和与事实之间的映射关系。DOLAP使用了星象模式，同时使用了关系数据库，将事实数据和维信息都存储到数据库表中。通过外键操作做好对事实数据的映射、维信息的映射等。 　　1 分析维编码算法和维的遍历算法 　　1.1 对维编码算法进行深度分析 　　技术人员都清楚，实际工作中应用OLAP技术进行操作时，需要对维进行频繁的操作，由此可见，实际运行中遍历算法和维编码是非常关键的技术。下面就深入对两种技术进行分析，希望相关人员掌握要领。对于维编码的方法而言，主要包括两种，分别是十进制编码和二进制编码。对于二进制编码而言，内部也将其称之为位图编码，操作中对相关编码进行拼接，进而得到维的级别信息，除此之外，还可以结合编码位移做到对维的遍历，达到最终的技术效果。但是实际使用二进制编码过程中，很容易导致稀疏问题。对于实际运用的十进制编码而言，具体运行操作过程中，系统会对所有级别的维值都使用十进制数进行编码，虽然可以达到相关目的，但是也存在一定的问题，其不能直接得到维值和编码，同时也不能得到相应的映射。在大数据背景下运行，为了有效避免出现稀疏等问题，在DOLAP技术当中进行了处理，其应用十进制进行编码，在此基础上，还开创了一种维的遍历算法，通过这一算法对维值、编码间的映射进行计算。具体而言，设l是维d中的某个维级别，对x∈[1，|md（l）|]，vx∈md（l），vx的编码为code（vx），那么就有code（vx）=x1.[1]，具体的算法如下： 　　维编码算法.Input： Dimension d： A target dimension； 　　Function： DimensionCoding. 　　1. FOR i=1 TO |L（d）|； 　　2. FOR j=0 TO |md（li）|？1； 　　3. Dimension value of vi，j∈md（li） 　　4. Vi 　　5.