算法的复杂度与Master定理.pdf

文档从互联网中收集，已重新修正排版，word 格式支持编辑，如有帮助欢迎下载支持。 算法的复杂度与 Master 定理 平时设计或者阅读一个算法的时候，必然会提到算法的复杂度（包 括时间复杂度和空间复杂度）。比如我们说一个二分查找算法的平 均时间复杂度为 O(log n) ，快速排序可能是O(n log n)。那这里的 O 是什么意思？这样的表达是否准确呢？ 今天来复习一下与算法复杂度相关的知识：函数渐进阶，记号 O、 Ω、θ和 o ；Master 定理。 先插一句，在算法复杂度分析中，log 通常表示以 2 为底的对数。 算法复杂度（算法复杂性）是用来衡量算法运行所需要的计算机资 源 （时间、空间）的量。通常我们利用渐进性态来描述算法的复杂 度。 用 n 表示问题的规模 ，T(n)表示某个给定算法的复杂度。所谓渐进 性态就是令 n→∞时，T(n)中增长最快的那部分。严格的定义是：如 果存在 T˜(n) ，当 n→∞时，有 T(n) −T˜(n)T(n)→0 就说 T˜(n)是 T(n)当 n→∞时的渐进性态。 比如 T(n) = 2 * n ^ 2 + n log n + 3 ，那么显然它的渐进性态是 2 * n ^ 2 ，因为当 n→∞时，后两项的增长速度要慢的多 ，可以忽略 掉。引入渐进性态是为了简化算法复杂度的表达式，只考虑其中的 1如有帮助欢迎下载支持 文档从互联网中收集，已重新修正排版，word 格式支持编辑，如有帮助欢迎下载支持。 主要因素。当比较两个算法复杂度的时候，如果他们的渐进复杂度 的阶不相同，那只需要比较彼此的阶（忽略常数系数）就可以了。 总之，分析算法复杂度的时候，并不用严格演算出一个具体的公式， 而是只需要分析当问题规模充分大的时候，复杂度在渐进意义下的 阶。记号 O、Ω、θ和 o 可以帮助我们了解函数渐进阶的大小。 假设有两个函数 f(n)和 g(n) ，都是定义在正整数集上的正函数。上 述四个记号的含义分别是： • f(n) = O(g(n)) ：∃c0,n0 ∈N,∀n≥n0,f(n)≤cg(n)；f 的阶不高于g 的 阶。 • f(n) =Ω(g(n)) ：∃c0,n0 ∈N,∀n≥n0,f(n)≥cg(n)；f 的阶不低于g 的 阶。 • f(n) =θ(g(n))：⟺f(n)=O(g(n))f(n)=Ω(g(n)) ；f 的阶等于g 的阶。 • f(n) =o(g(n)) ：∀ε0,∃n0 ∈N,∀n≥n0,f(n)/g(n)ε；f 的阶低于g 的 阶。 可见，记号 O 给出了函数 f(n)在渐进意义下的上界（但不一定是最 小的），相反，记号Ω给出的是下界（不一定是最大的）。如果上 界与下界相同，表示 f(n)和 g(n)在渐进意义下是同阶的（θ），亦 即复杂度一样。 列举一些常见的函数之间的渐进阶的关系： 2如有帮助欢迎下载支持 文档从互联网中收集，已重新修正排版，word 格式支持编辑，如有帮助欢迎下载支持。 • logn!=Θ(nlogn) • logn2=Θ(logn) • logn2=O(n−−√) • n=Ω(log2n) • log2n=Ω(logn) • 2n=Ω(n2) • 2n=O(3n) • n!=o(nn) • 2n=o(n!) 有些人可能会把这几个记号跟算法的最坏、最好、平均情况复杂度 混淆，它们有区别，也有一定的联系。 即使问题的规模相同，随着输入数据本身属性的不同，算法的处理 时间也可能会不同。于是就有了最坏情况、最好情况和平均情况下 算法复杂度的区别。它们从不同的角度反映了算法的效率，各有用 处，也各有局限。 有时候也可以利用最坏情况、最好情况下算法复杂度来粗略地估计 算法的性能。比如某个算法在最坏情况下时间复杂度为θ(n ^ 2) ， 最好情况下为θ(n) ，那这个算法的复杂度一定是 O(n^ 2)、Ω(n)的。 也就是说 n ^ 2 是该算法复杂度的上界，n 是其下界。 接下来看看 Master 定理。 有些算法在处理一个较大规模的问题时，往往会把问题拆分成几个 子问题，对其中的一个或多个问题递归地处理，并在分治之前或之 后进行一些预处理、汇总处理。这时候