时间复杂度--经典解说.ppt

时间复杂度分析时间复杂度分析算法时间复杂度的数学意义算法时间复杂度的数学意义 从数学上定义，给定算法A，如果存在函数f(n)，当n=k时，f(k)表示算法A在输入规模为k的情况下的运行时间，则称f(n)为算法A的时间复杂度。其中：输入规模是指算法其中：输入规模是指算法A A所接受输入的自然独立体所接受输入的自然独立体的大小，我们总是假设算法的输入规模是用大于零的大小，我们总是假设算法的输入规模是用大于零的整数表示的，即的整数表示的，即n=1,2,3,n=1,2,3,k,k,对于同一个算法，每次执行的时间不仅对于同一个算法，每次执行的时间不仅取决于输入规模，还取决于输入的特性和具取决于输入规模，还取决于输入的特性和具体的硬件环境在某次执行时的状态。所以想体的硬件环境在某次执行时的状态。所以想要得到一个统一精确的要得到一个统一精确的F(n)F(n)是不可能的。为是不可能的。为此，通常做法：此，通常做法：1.1.忽略硬件及环境因素，假设每次执行忽略硬件及环境因素，假设每次执行时硬件条件和环境条件是完全一致的。时硬件条件和环境条件是完全一致的。2.2.对于输入特性的差异，我们将从数学对于输入特性的差异，我们将从数学上进行精确分析并带入函数解析式。上进行精确分析并带入函数解析式。例子：例子：例子：例子：x=1;x=1;for(i=1;i=n;i+)for(i=1;i=n;i+)for(j=1;j=i;j+)for(j=1;j=i;j+)for(k=1;k=j;k+)for(k=1;k=j;k+)x+;x+;x+x+运行次数：运行次数：运行次数：运行次数：算法的渐近时间复杂度算法的渐近时间复杂度 很多时候，我们不需要进行如此精确的分析，究其原因：1.在较复杂的算法中，进行精确分析是非常复杂的。2.实际上，大多数时候我们并不关心F(n)的精确度量，而只是关心其量级。算法复杂度的考察方法算法复杂度的考察方法（1）考察一个算法的复杂度，一般考察的是当问题复杂度n的增加时，运算所需时间、空间代价f(n)的上下界。（2）进一步而言，又分为最好情况、平均情况、最坏情况三种情况。通常最坏情况往往是我们最关注的。（1）上界函数定义定义1 1 如果存在两个正常数如果存在两个正常数c c和和n n0 0，对于所有的，对于所有的n nnn0 0，有，有|T(n)|c|f(n)|T(n)|c|f(n)|则记作则记作T(n)=T(n)=(f(n)(f(n)含义：含义：n n如果算法用如果算法用n n值不变的同一类数据在某台机器上运行时，值不变的同一类数据在某台机器上运行时，所用的时间总是小于所用的时间总是小于|f(n)|f(n)|的一个常数倍。所以的一个常数倍。所以f(n)f(n)是是计算时间计算时间T(n)T(n)的一个上界函数。的一个上界函数。n n试图求出最小的试图求出最小的f(n)f(n)，使得，使得T(n)=T(n)=(f(n)(f(n)。在分析算法的时间复杂度时，我们更关心最坏在分析算法的时间复杂度时，我们更关心最坏情况而不是最好情况，理由如下：情况而不是最好情况，理由如下：（1 1）最坏情况给出了算法执行时间的上界，我）最坏情况给出了算法执行时间的上界，我们可以确信，无论给什么输入，算法的执们可以确信，无论给什么输入，算法的执行时间都不会超过这个上界，这样为比较行时间都不会超过这个上界，这样为比较和分析提供了便利。和分析提供了便利。（2 2）虽然最坏情况是一种悲观估计，但是对于）虽然最坏情况是一种悲观估计，但是对于很多问题，平均情况和最坏情况的时间复很多问题，平均情况和最坏情况的时间复杂度差不多，比如插入排序这个例子，平杂度差不多，比如插入排序这个例子，平均情况和最坏情况的时间复杂度都是输入均情况和最坏情况的时间复杂度都是输入长度长度n n的二次函数。的二次函数。定义定义1.2 1.2 如果存在两个正常数如果存在两个正常数c c和和n n0 0，对于所有的，对于所有的n nnn0 0，有有|T(n)|c|g(n)|T(n)|c|g(n)|则记作则记作T(n)=T(n)=(g(n)(g(n)含义：含义：n n如果算法用如果算法用n n值不变的同一类数据在某台机器上运行时，值不变的同一类数据在某台机器上运行时，所用的时间总是不小于所用的时间总是不小于|g(n)|g(n)|的一个常数倍。所以的一个常数倍。所以g(n)g(n)是计算时间是计算时间T(n)T(n)的一个下界函数。的一个下界函数。n n试图求出试图求出“最大最大”的的g(n)g(n)，使得，使得T(n)=T(n)=(g(n)(g(n)。（2）下界函数）下界函数定义定义1.3 1.3 如果存在正常数如果存在正常数c c1 1，c c2 2和和n n0 0，对于所有的，对于所有的n nnn0 0，有，有 c c1 1|g(n)|T(n)|c|g(n)|T(n)|c2 2|g(n)|g(n)|则记作则记作含义：含义：n n算法在最好和最坏情况下的计算时间就一个常数因子范围算法在最好和最坏情况下的计算时间就一个常数因子范围内而言是相同的。可看作：内而言是相同的。可看作：既有既有 T(n)=T(n)=(g(n)(g(n)，又有，又有T(n)=T(n)=(g(n)(g(n)（3）“平均情况平均情况”限界函数限界函数常见算法时间复杂度：常见算法时间复杂度：O(1):O(1):表示算法的运行时间为常量表示算法的运行时间为常量O(n):O(n):表示该算法是线性算法表示该算法是线性算法O(O(2 2n):n):二分搜索算法二分搜索算法O(nO(n2 2n):n):快速排序算法快速排序算法 O(n O(n2 2):):对数组进行排序的各种简单算法，例如直接对数组进行排序的各种简单算法，例如直接插入排序的算法。插入排序的算法。O(nO(n3 3):):做两个做两个n n阶矩阵的乘法运算阶矩阵的乘法运算O(2O(2n n):):求具有求具有n n个元素集合的所有子集的算法个元素集合的所有子集的算法O(n!):O(n!):求具有求具有N N个元素的全排列的算法个元素的全排列的算法 优优-劣劣 O(1)O(O(1)O(2 2n)O(n)O(nn)O(n)O(n2 2n):O(nn):O(n2 2)O(2)1 X(1)=1x(1)=1x(2)=2x(1)+1=2*1+1=3x(3)=2x(2)+1=2*3+1=7x(4)=2x(3)+1=2*7+1=15X(n)=2n-1 n0（2）反向替换法）反向替换法例如：例如：X(n)=x(n-1)+n使用所讨论的递推关系，将使用所讨论的递推关系，将x(n-1)表表示为示为x(n-2)得函数，然后把这个结果得函数，然后把这个结果代入原始方程，来把代入原始方程，来把x(n)表示为表示为x(n-2)的函数。重复这一过程。的函数。重复这一过程。X(n)=x(0)+1+2+3+4+5+n=0+1+2+3=4=n(n+1)/2（3）换名 上面形式的在递推关系式，一个规模为上面形式的在递推关系式，一个规模为n n的问题，的问题，每一次递归调用后，都简化为每一次递归调用后，都简化为n/kn/k规模的问题，为了规模的问题，为了方便求解，我们通常设定：方便求解，我们通常设定：n=kn=kmm，则，上面的求解过程可简化为：则，上面的求解过程可简化为：f(n)=f(k f(n)=f(km-1m-1)+b)+b =f(k =f(km-2m-2)+2b)+2b =f(k =f(k0 0)+mb)+mb =f(1)+blog n =f(1)+blog n 几种常见复杂度举例：1.1.O(logn)我们学过的算法，二分搜索int BinSrch(Type A,int i,int n,Type x)int BinSrch(Type A,int i,int n,Type x)/Ai.n/Ai.n是非递减排列是非递减排列 且且 1=i=n;1=i=n;if(n=i)if(x=Ai)return i;if(n=i)if(x=Ai)return i;else return 0;else return 0;else else int mid=(i+n)/2;int mid=(i+n)/2;if(x=Amid)return mid;-if(x=Amid)return mid;-基本操作基本操作 else if(xAmid)return BinSrh(A,i,mid-1,x);else if(xAmid)if(xAmid)return return BinSrh(A,BinSrh(A,mid+1,mid+1,n,n,x);x);递递归归调调用用 递归关系式：因为规模每一次递归调用后，缩减为原来的因为规模每一次递归调用后，缩减为原来的1/21/2，所以采用换名方法求解，设，所以采用换名方法求解，设 n=2n=2k k：C(n)=C(2C(n)=C(2k k)=C(2)=C(2k-1k-1)+1)+1 =C(2 =C(2k-2k-2)+2)+2 =C(2 =C(2k-kk-k)+k)+k =C(1)+k =C(1)+k =logn+1 =logn+13 39 9 1717 2121 3434 5757 6969 8484 9292 10103 39 9 1717 21215757 6969 8484 9292 10103 31717 21215757 69699292 1010696910102121观察递归调用的过程以及递推关系式：（1）在递归关系式中：递归调用共有k次，我们设n=2k，k=logn（2）递归调用的二叉树型结构中，调用次数为二叉树的深度。2.O(n):2.O(n):表示该算法是线性算法表示该算法是线性算法 目前所学的算法中有：线性选择算法目前所学的算法中有：线性选择算法intint Select(Select(intint data,data,intint p,p,intint r,r,intint k)k)ifif(pr)(pr)returnreturn-1;-1;/p/p不能大于不能大于r r ifif(p=r)(p=r)return return datap;datap;/pr/pk)(sk)intint r1=Select(data,p,s-1,k);r1=Select(data,p,s-1,k);-递递归调用归调用 returnreturn r1;r1;elseelse /sk/sk intint r1=Select(data,s+1,r,k-s);r1=Select(data,s+1,r,k-s);-递归调用递归调用 returnreturn r1;r1;如果递归调用，每次规模是原来的如果递归调用，每次规模是原来的1/21/2：因为每一次规模都减到原来的因为每一次规模都减到原来的1/21/2，所以用换名的，所以用换名的方法设方法设 n=2n=2k k：T(n)=T(n/2)+(n-1)T(n)=T(n/2)+(n-1)=T(2 =T(2k-1k-1)+(2)+(2k k-1)-1)=T(2 =T(2k-2k-2)+(2)+(2k-1k-1-1)+(2-1)+(2k k-1)-1)=T(2 =T(2k-kk-k)+(2)+(21 1-1)+-1)+(2+(2k-1k-1-1)+(2-1)+(2k k-1)-1)=T(1)+(2 =T(1)+(2k+1k+1-2)-k-2)-k =2n-logn-1 =2n-logn-1算法时间复杂度：算法时间复杂度：O(n)O(n)分析：分析：算法的复杂度有两部分决定：递归和合并，算法的复杂度有两部分决定：递归和合并，递归的复杂度是：递归的复杂度是：lognlogn，合并的复杂度是，合并的复杂度是 n n。3.O(nlogn)3.O(nlogn)所学过的算法：快速排序、堆排序等，分治所学过的算法：快速排序、堆排序等，分治法中的平面中最接近点对问题。法中的平面中最接近点对问题。递推关系式：递推关系式：T(n)=2T(n/2)+n 设n=2k =2T(2k-1)+2k =22T(2k-2)+2k-1+2k =22T(2k-2)+2*2k =2k-1T(2k-(k-1)+(k-1)*2k =n/2+(logn-1)*n不失一般性，设规模为不失一般性，设规模为n n的问题，每一次有的问题，每一次有分解为分解为mm个子问题，设个子问题，设n=mn=mk k，则：，则：T(n)=mT(n/m)+n =mT(mk-1)+mk =mmT(mk-2)+mk-1+mk =m2T(mk-2)+2*mk =mkT(2k-k)+k*mk =n+logn*n算法时间复杂度：算法时间复杂度：O(nlogn)O(nlogn)分析：分析：算法的复杂度有两部分决定：递归和合并，算法的复杂度有两部分决定：递归和合并，递归的复杂度是：递归的复杂度是：n n，合并的复杂度是，合并的复杂度是 nlognnlogn。4.O(n4.O(n2 2)通常的两层嵌套循环，内层的运算执行通常的两层嵌套循环，内层的运算执行次数，学过的例子有：比赛日程次数，学过的例子有：比赛日程T(n)=T(n/m)+(n/m)2 设n=mk =T(mk-1)+m2(k-1)=T(mk-2)+m2(k-2)+m2(k-1)=T(mk-k)+m0+m2(k-2)+m2(k-1)=1+(m2k-1)/(m2-1)=(n2-1)/(m2-1)+1 所以：O(n2)4.O(nk)所学过的：大整数乘法Recursive_Miltiply(x,y)Recursive_Miltiply(x,y)if n=1if n=1if(X=1)and(Y=1)return(1)if(X=1)and(Y=1)return(1)else return(0)else return(0)x x1 1=X=X的左边的左边n/2n/2位位;x x0 0=X=X的右边的右边n/2n/2位位;y y1 1=Y=Y的左边的左边n/2n/2位位;y y0 0=Y=Y的右边的右边n/2n/2位位;p=Recursive_Miltiply(xp=Recursive_Miltiply(x1 1+x+x0 0,y,y1 1+y+y0 0););递归调用递归调用x x1 1y y1 1=Recursive_Miltiply(x=Recursive_Miltiply(x1 1,y,y1 1););递归调用递归调用x x0 0y y0 0=Recursive_Miltiply(x=Recursive_Miltiply(x0 0,y,y0 0););递归调用递归调用return xreturn x1 1y y1 1*2*2n n+(p-x+(p-x1 1y y1 1-x-x0 0y y0 0)*2)*2n/2n/2+x+x0 0y y0 0;基本操作基本操作 设，设，n=2k,用反向替换法对它求解：用反向替换法对它求解：分析：分析：在这个递推关系式中，算法每次递在这个递推关系式中，算法每次递归调用归调用3 3个规模为个规模为1/21/2的子问题，那么的子问题，那么总的规模总的规模3/23/2，大小，所以，粗略估算，大小，所以，粗略估算要在要在O(nlogn)O(nlogn)、O(nO(n2 2)之间。之间。相关习题1.1.求下列函数的渐进表达式：3n2+10nn2/10+2n21+1/nlogn310log3n=O(n=O(n2 2)=O(2=O(2n n)=O(1)=O(1)=O(logn)=O(logn)=O(n)=O(n)2.讨论O(1)和O(2)区别：定义定义1 1 如果存在两个正常数如果存在两个正常数c c和和n0n0，对，对于所有的于所有的nn0nn0，有，有|f(n)|c|g(n)|f(n)|c|g(n)|则记作则记作f(n)=f(n)=(g(n)(g(n)O(1)=O(2)O(1)=O(2)相差的只是常数因子相差的只是常数因子3.算法效率（1）假设某算法在输入规模为假设某算法在输入规模为n n时的计算时时的计算时间为间为 T(n)=3*2T(n)=3*2n n。在某台计算机上实现并完。在某台计算机上实现并完成该算法的时间为成该算法的时间为t t。现在有另一台计算机，。现在有另一台计算机，其运行速度为第一台的其运行速度为第一台的6464倍，那么在这台新倍，那么在这台新机器上用同一算法在机器上用同一算法在t t秒内能解输入规模为多秒内能解输入规模为多大的问题？大的问题？设新机器用统一算法能解输入规模为设新机器用统一算法能解输入规模为n1n1的问的问题，则：题，则：t=3*2t=3*2n1n1/64=3*2/64=3*2n1-6 n1-6 所以，所以，n1=n+6n1=n+6(2)若上述的算法改为T(n)=n2，其他条件不变，则在新机器上用t秒时间能解输入规模为多大的问题？n1n12 2=64n=64n2 2=(8n)=(8n)2 2能解规模为能解规模为8n8n的问题的问题(3)若上述的算法改为T(n)=8，其他条件不变，则在新机器上用t秒时间能解输入规模为多大的问题？由于由于T(n)T(n)是常数，所以可以是常数，所以可以解任意规模的问题。解任意规模的问题。4.4.对于下列各组函数对于下列各组函数f(n)g(n)f(n)g(n)，确定，确定f(n)=O(g(n)f(n)=O(g(n)，或，或f f（n)=n)=(g(n)(g(n)，或，或f(n)=f(n)=(g(n)(g(n)(1)(1)f(n)=lognf(n)=logn2 2 g(n)=logn+5 g(n)=logn+5(2)(2)f(n)=lognf(n)=logn2 2 g(n)=g(n)=(3)(3)f(n)=n g(n)=logf(n)=n g(n)=log2 2n n(4)(4)f(n)=nlogn g(n)=log(n)f(n)=nlogn g(n)=log(n)(5)(5)f(n)=10 g(n)=log10f(n)=10 g(n)=log10(6)(6)f(n)=logf(n)=log2 2n g(n)=lognn g(n)=logn(7)(7)f(n)=2f(n)=2n n g(n)=100n g(n)=100n2 2(8)(8)f(n)=2f(n)=2n n g(n)=3 g(n)=3n n5.螺钉和螺母问题假设我们有n个直径各不相同的螺钉，以及n个相应的螺母。我们一次只能比较一对螺钉和螺母，来判断螺母是大于螺钉、小于螺钉还是正好合适螺钉。然而，我们不能拿两个螺母作比较，也不能拿两个螺钉作比较。我们的问题是要找到每一对匹配的螺钉和螺母，为该问题设计算法，他的平均效率符合(nlogn)6.设n个不同的整数排好序后存于t0:n-1中。若存在一个下标i，0=i=n-1，使得ti=i，设计一个算法找到这个下标，最坏的情况下计算时间O(logn)。7.输油管道问题 某石油公司计划建造一条由东向西的主输油管道。该管道要穿过一个有n口油井的油田。从每口油井都要有一条输油管道沿最短路径(或南或北)与主管道相连。如果给定n口油井的位置，即它们的x坐标和y坐标，应如何确定主管道的最优位置，即使各油井到主管道之间的输油管道长度总和最小的位置？