算法的复杂度和Master定理.docxVIP

算法的复杂度与Master定理平时设计或者阅读一个算法的时候，必然会提到算法的复杂度（包括时间复杂度和空间复杂度）。比如我们说一个二分查找算法的平均时间复杂度为O(log n)，快速排序可能是O(n log n)。那这里的O是什么意思？这样的表达是否准确呢？今天来复习一下与算法复杂度相关的知识：函数渐进阶，记号O、Ω、θ和o；Master定理。先插一句，在算法复杂度分析中，log通常表示以2为底的对数。算法复杂度（算法复杂性）是用来衡量算法运行所需要的计算机资源（时间、空间）的量。通常我们利用渐进性态来描述算法的复杂度。用n表示问题的规模，T(n)表示某个给定算法的复杂度。所谓渐进性态就是令n→∞时，T(n)中增长最快的那部分。严格的定义是：如果存在T?(n)，当n→∞时，有T(n)?T?(n)T(n)→0就说T?(n)是T(n)当n→∞时的渐进性态。比如T(n) = 2 * n ^ 2 + n log n + 3，那么显然它的渐进性态是 2 * n ^ 2，因为当n→∞时，后两项的增长速度要慢的多，可以忽略掉。引入渐进性态是为了简化算法复杂度的表达式，只考虑其中的主要因素。当比较两个算法复杂度的时候，如果他们的渐进复杂度的阶不相同，那只需要比较彼此的阶（忽略常数系数）就可以了。总之，分析算法复杂度的时候，并不用严格演算出一个具体的公式，而是只需要分析当问题规模充分大的时候，复杂度在渐进意义下的阶。记号O、Ω、θ和o可以帮助我们了解函数渐进阶的大小。假设有两个函数f(n)和g(n)，都是定义在正整数集上的正函数。上述四个记号的含义分别是：f(n) = O(g(n))：?c0,n0∈N,?n≥n0,f(n)≤cg(n)；f的阶不高于g的阶。f(n) =Ω(g(n))：?c0,n0∈N,?n≥n0,f(n)≥cg(n)；f的阶不低于g的阶。f(n) =θ(g(n))：?f(n)=O(g(n))f(n)=Ω(g(n))；f的阶等于g的阶。f(n) =o(g(n))：?ε0,?n0∈N,?n≥n0,f(n)/g(n)ε；f的阶低于g的阶。可见，记号O给出了函数f(n)在渐进意义下的上界（但不一定是最小的），相反，记号Ω给出的是下界（不一定是最大的）。如果上界与下界相同，表示f(n)和g(n)在渐进意义下是同阶的（θ），亦即复杂度一样。列举一些常见的函数之间的渐进阶的关系：logn!=Θ(nlogn)logn2=Θ(logn)logn2=O(n??√)n=Ω(log2n)log2n=Ω(logn)2n=Ω(n2)2n=O(3n)n!=o(nn)2n=o(n!)有些人可能会把这几个记号跟算法的最坏、最好、平均情况复杂度混淆，它们有区别，也有一定的联系。即使问题的规模相同，随着输入数据本身属性的不同，算法的处理时间也可能会不同。于是就有了最坏情况、最好情况和平均情况下算法复杂度的区别。它们从不同的角度反映了算法的效率，各有用处，也各有局限。有时候也可以利用最坏情况、最好情况下算法复杂度来粗略地估计算法的性能。比如某个算法在最坏情况下时间复杂度为θ(n ^ 2)，最好情况下为θ(n)，那这个算法的复杂度一定是O(n^ 2)、Ω(n)的。也就是说n ^ 2是该算法复杂度的上界，n是其下界。接下来看看Master定理。有些算法在处理一个较大规模的问题时，往往会把问题拆分成几个子问题，对其中的一个或多个问题递归地处理，并在分治之前或之后进行一些预处理、汇总处理。这时候我们可以得到关于这个算法复杂度的一个递推方程，求解此方程便能得到算法的复杂度。其中很常见的一种递推方程就是这样的：设常数a = 1，b 1，f(n)为函数，T(n)为非负整数，T(n) = a T(n / b) + f(n)，则有：若f(n)=O(nlogba?ε),ε0，那么T(n)=Θ(nlogba)。若f(n)=Θ(nlogba)，那么T(n)=Θ(nlogbalogn)若f(n)=Ω(nlogba+ε),ε0，并且对于某个常数c 1和充分大的n有af(n/b)≤cf(n)，那么T(n)=Θ(f(n))。比如常见的二分查找算法，时间复杂度的递推方程为T(n) = T(n / 2) + θ(1)，显然有nlogba=n0=Θ(1)，满足Master定理第二条，可以得到其时间复杂度为T(n) = θ(log n)。再看一个例子，T(n) = 9 T(n / 3) + n，可知nlogba=n2，令ε取1，显然满足Master定理第一条，可以得到T(n) =θ(n ^ 2)。来一个稍微复杂一点儿例子，T(n) = 3 T(n / 4) + n log n。nlogba=O(n0.793)，取ε = 0.2，显然当c = 3 / 4时，对于充分大的n可以满足a * f(n / b)