大数据应用-基于大数据和推荐算法研究.pptVIP

* 前面探讨的方法都是按行和列对相乘的矩阵进行划分，这种划分方法只是矩阵划分的一种特殊形式。在确保左矩阵列的划分方式与右矩阵行的划分方式一致的前提下，我们还可以采用一般的矩阵划分方式。例如，可以将若干行（或若干列）划分为一块，或者将某些连续行和某些连续列的交叉部分划分为一块。 为了方便阐述，下面约定将左矩阵划分为m1×s1的等大小矩阵，将右矩阵划分为s1×n1的等大小矩阵，最后。按照此约定我们可以得出分块后左右矩阵的大小，假设分块后A是M×S，B是S×N，则 M = (m - 1)/m1 + 1; S = (s - 1)/s1 + 1; (3) N = (n - 1)/n1 + 1; AB矩阵分别表示为 。。。。。。 剩下的计算和前面讨论的方法基本一样。一般分块形式的MapReduce实现采用定义的内积法，因为内积法可以通过改变矩阵子块的大小来灵活地调整并发粒度和产生的中间数据量，而外积法做不到这一点。采用内积法，中间数据量由分块大小来决定，分的块越大，中间传输量越小，分块越小中间传输数据量越大，比较极端的情况就是不进行分块，那么每个元素都是一块儿，这样就和前面内积法的并发粒度和中间数据量和前面分析一致。本文只讨论基于内积法的分块矩阵乘法的MapReduce实现，其他调整并发粒度和产生中间数据量的方法，均是在此方法基础上的改进。 由分块后矩阵AB的表示可以看出，假