云计算：体系架构与关键技术-图文..doc

云计算:体系架构与关键技术罗军舟金嘉晖宋爱波东方东南大学计算机科学与工程学院，江苏南京211189摘要:系统地分析和总结云计算的研究现状,划分云计算体系架构为核心服务、服务管理、用户访问接口等3个层次。围绕低成本、高可靠、高可用、规模可伸缩等研究目标，深入全面地介绍了云计算的关键技术及最新研究进展。在云计算基础设施方面，介绍了云计算数据中心设计与管理及资源虚拟化技术;在大规模数据处理方面，分析了海量数据处理平台及其资源管理与调度技术;在云计算服务保障方面，讨论了服务质量保证和安全与隐私保护技术。针对新型的云计算应用和云计算存在的局限性，又探讨并展望了今后的研究方向。最后，介绍了东南大学云计算平台以及云计算研究与应用方面的相关成果。云计算;虚拟化;数据中心；海量数据处理;服务质量;安全与隐私T P393A1000436X(201107-000319C l o u dc o m p u t i n g：a r c h i t e c t u r ea n dk e yt e c h n o l o g i e sL U OJ u nz h o u J I NJ i ah u i S O N GA i-b o D O N GF a n g2011-05-2020110630基金项目：国家自然科学基金资助项目（61070161，61070158,61003257，60773103,90912002;国家重点基础研究发展计划(“973计划基金资助项目(2010C B328104；国家科技支撑计划课题基金资助项目（2010B A I88B03；教育部博士点基金课题基金资助项目（200802860031；江苏省自然科学基金资助项目（B K2008030；国家科技重大专项课题基金资助项目（2009Z X03004-004-04：江苏省“网络与信息安全”重点实验室基金资助项目(B M2003201；“计算机网络与信息集成”教育部重点实验室项目（93K9456789101112131415161718万方数据1T H U S O OA，S H A OZ,A N T H O N YS,e ta l.D a t aw a r e h o u s i n ga n da n a l y t i c si n f r a s t r u c t u r ea tf a c e b o o kA。S I G M O D10C。I n d i a n a p o l i s，I n d i a n a,U S A：A C M，2010。10131020。2淘宝数据开放策略E B/O L。h t t p:/w w w.a l i r e s e a r c h。c o m/w pc o n t e n t/u p l o a d s/2011/03/t a o b a o s h u j u.p d f。2011.T h eo p e ns t r a t e g yo ft a o b a osd a t aE B/O Lh t t p：/w w w.a l i r e s e a r c h。c o m/w p-c o n t e n t/u p l o a d s/2011/03/t a o b a o s h u j u。p d f.2011.3G I L L E NA，B R O U S S A R DFW，P E R R YR,e ta l。O p t i m i z i n gi n f r a s t r u c t u r e：t h er e l a t i o n s h i pb e t w e e ni tl a b o rc o s t sa n db e s tp r a c t i c e sf o rm a n a g i n gt h ew i n d o w sd e s k t o pE B/O L.h t t p:/d o w n l o a d。m i c r e s o f t。c o m/d o w n l o a d/a/4/4/a4474b0c57d8-41a2-a f e632037f a93e a6/I D C_w i n d e s k t o p_I O_w h i t e p a p e r。p d f2007.4M E L LP,G R A N C ET。T h eN I S TD e f i n i t i o no fC l o u dC o m p u t i n gR。N a t i o n a lI n s t i t u t eo fS t a n d a r d sa n dT e c h n o l o g y，2011.5A m a z o nE C2E B/O L。h t t p：/a w s.a m a z o n.c o m/e c22011。 6D E A NJ，G H E M A W A TS。M a p R e d u c e：af l e x i b l ed a t ap r o c e s s i n gt o o lJ。C o m m u nA C M,2010,53(1：7277.7G o o g l eA p pE n g i n eE B/O L.h t t p:/c o d e。g o o g l e.c o m/a p p e n g i n e/2011。 8S a l e s f o r c eC R ME B/O L.h t t p：/w w w。s a l e s f o r c e。c o m/。 9M I L O J I C I CD,W O L S K IR.E u c a l y p t u s：d e l i v e r i n gap r i v a t ec l o u dJ。C o m p u t e r.2011，44（4:102-104。10F O S T E RI,Y O N GZ，R A I C UI,e ta l.C l o u dC o m p u t i n ga n dG r i dC o m p u t i n g360-D e g r e eC o m p a r e dZ.2008。110.11F s c e b o o ks e r v e rc o u n t：60000o rm o r eE B/O L.h t t p:/w w w。d a t a c e nt e r k n o w l e d g e.c o m/a r c h i v e s/2010/06/28/f a e e b o o ks e r v e r-c o u n t60000o r-m o r e/.2011。12G o o g l ei n v e s t o rr e l a t i o n sE B/O L.h t t p:/i n v e s t o r.g o o g l e。c o m/f i n a n c i a l.2011。13G R E E N B E R GA,H A M I L T O NJ，M A L T ZDA,e ta l.T h ec o s to fac l o u d：r e s e a r c hp r o b l e m si nd a t ac e n t e rn e t w o r k sJ。S I G C O M MC o m p u tC o m m u nR e v,2008,39：68-73.14G R E E N B E R GA,H A M I L T O NJR,J A I NN，e ta l.V L2：as c a l a b l ea n df l e x i b l ed a t ac e n t e rn e t w o r kA.S I G C O M M09C。B a r c e l o n a，S p a i n：A C M,2009。51-62.15M Y S O R ERN,P A M B O R I SA，F A R R I N G T O NN，e ta l。P o r t L a n d：as c a l a b l ef a u l tt o l e r a n tl a y e r2d a t ac e n t e rn e t w o r kf a b r i cA。S I G C O M M09C。B a r c e l o n a.S p a i n：A C M,2009。3950。16G U OC,W UH,T A NK,e ta l.D c e l l:as c a l a b l ea n df a u l tt o l e r a n tn e t w o r ks t r u c t u r ef o rd a t ac e n t e r sA。S I G C O M M08C。S e a t t l e,W A，U S A：A C M，2008。7586。17G U OC，L UG，L ID，e ta l。B C u b e：ah i g hp e r f o r m a n c e，s e r v e r-c e n t r i cn e t w o r ka r c h i t e c t u r ef o rm o d u l a rd a t ac e n t e r sA。S I G C O M M09C.B a r c e l o n a，S p a i n:AC M,2009.6374.18H O E L Z L EU,B A R R O S OLA。T h eD a t a c e n t e ra saC o m p u t e r：A nI n t r o d u c t i o nt ot h eD e s i g no fW a r e h o u s eS c a l eM a c h i n e sM。1s te d。M o r g a na n dC l a y p o o lP u b l i s h e r s，2009。19N A T H U J IR，S C H W A NK。V i r t u a l P o w e r:c o o r d i n a t e dp o w e rm a na g e m e n ti nv i r t u a l i z e de n t e r p r i s es y s t e m sA。S O S P07C。N e wY o r k,N Y，U S A：A C M，2007.265-278。20P A L L I P A D IV，S T A R I K O V S K I YA。T h eo n d e m a n dg o v e r n o r：p a s t，p r e s e n ta n df u t u r eA。P r o c e e d i n g so fL i n u xS y m p o s i u mC。2006.223238。21R A OL，L I UX,L EX I E，e ta l。M i n i m i z i n ge l e c t r i c i t yc o s t:o p t i m i z a t i o no fd i s t r i b u t e di n t e m e td a t ac e n t e r si nam u l t i-e l e c t r i c i t ym a r k e te n v i r o n m e n tA.I N F O C O M10C。S a nD i e g o,C a l i f o r n i a，U S A：I E E EP r e s s,2010。11451153。22S A M A D I A N IE，J O S H IY,M I S T R E EF。T h eT h e r m a lD e s i g no faN e x tG e n e r a t i o nD a t aC e n t e r:aC o n c e p t u a lE x p o s i t i o nZ。2007.93102。23C H E NG,H EW，L I UJ，e ta l。E n e r g ya w a r es e r v e rp r o v i s i o n i n ga n dl o a dd i s p a t c h i n gf o rc o n n e c t i o ni n t e n s i v ei n t e r n e ts e r v i c e sA。N S D I08C.B e r k e l e y，C A，U S A:U S E N I XA s s o c i a t i o n，2008。337-350。24A b o u tv i r t u a lm a c h i n et e m p l a t e sE B/O L.h t t p：/t e c h n e t。m i c r o s o f t。c o m/e nu s/l i b r a r y/b b740838.a s p x，2011。25V R A B L EM，M AJ，C H E NJ,e t a l。S e a l a b i l i t y，f i d e l i t y，a n dc o n t a i n m e n ti nt h ep o t e m k i nv i r t u a lh o n e y f a r mA。S O S P05C。B r i g h t o n,U n i t e dK i n g d o m：A C M,2005。148-162。26A N D RH，L A G A R-C A V I L L AS，W H I T N E YJA，e ta l。S n o w F l o c k:v i r t u a lm a c h i n ec l o n i n ga saf i r s t-c l a s sc l o u dp r i m i t i v eJ。A C MT r a n sC o m p u tS y s t，2011,29（1:145。27C L A R KC，F R A S E RK，H A N DS,e ta l。L i v em i g r a t i o no fv i r t u a lm a c h i n e sA。N S D I05C。U S E N I XA s s o c i a t i o n,2005.273-286。 28H I R O F U C H IT,N A K A D AH，O G A W AH，e ta l.Al i v es t o r a g em i g r a t i o nm e c h a n i s mo v e rw a na n di t sp e r f o r m a n c ee v a l u a t i o nA。V T D C09C。B a r c e l o n a，S p a i n：A C M，2009。6774。29C U L L YB，L E F E B V R EG,M E Y E RD，e ta l。R e m u s:h i g ha v a i l a b i l i t yv i aa s y n c h r o n o u sv i r t u a lm a c h i n er e p l i c a t i o nA。N S D I08C。S a nF r a n c i s c o，C a l i f o r n i a：U S E N I XA s s o c i a t i o n，2008。161174. 30G H E M A W A TS，G O B I O F FH,L E U N GS。T h eG o o g l ef i l es y s t e mA。S O S P03C.B o l t o nL a n d i n g,N Y，U S A：A C M，2003。29-43.31C H A N GF，D E A NJ，G H E M A W A TS，e ta l。B i g t a b l e:ad i s t r i b u t e ds t o r a g es y s t e mf o rs t r u c t u r e dd a t aJ。A C MT r a n sC o m p u tS y s t，2008，万方数据26（2:1-26。32D E C A N D I AG,H A S T O R U ND,J A M P A N IM,e ta l。D y n a m o:a m a z o nsh i g h l ya v a i l a b l ek e yv a l u es t o r eA.S O S P07C.S t e v e n s o n，W a s h i n g t o n，U S A:A C M，2007。205220.33P I K ER，D O R W A R DS,G R I E S E M E RR，e ta l。I n t e r p r e t i n gt h eD a t a:P a r a l l e lA n a l y s i sw i t hS a w z a l lJ。S c i e n t i f i cP r o g r a m m i n gJ o u r n a l,2005,13（4：227298。34O L S T O NC,R E E DB，S R I V A S T A V AU,e ta l。P i gl a t i n：an o t-s o-f o r e i g nl a n g u a g ef o rd a t ap r o c e s s i n gA。S I G M O D08C.N e wY o r k，N Y,U S A：A C M,2008。10991110。35E K A N A Y A K EJ，L IH,Z H A N GB，e ta l.T w i s t e r：ar u n t i m ef o ri t e r at i v eM a p R e d u c eA。H P D C10C.C h i c a g o，I l l i n o i s：A C M,2010.810-818。36Y A N GH，D A S D A NA，H S I A OR，e ta l.M a pr e d u c em e r g e：s i m p l i f i e dr e l a t i o n a ld a t ap r o c e s s i n go nl a r g ec l u s t e r sA。S I G M O D07C。N e wY o r k，N Y，U S A:A C M，2007.10291040。37W A N GY,S O N GA,L U OJ。AM a p R e d u c e M e r g eb a s e dD a t aC u b eC o n s t r u c t i o nM e t h o dZ.2010.1-6.38X I O N GR,L U OJ，S O N GA，e ta l。Q o Sp r e f e r e n c e-a w a r er e p l i c as e l e c t i o ns t r a t e g yu s i n gm a p r e d u c eb a s e dP G Ai nd a t ag r i d sA。I C P P11C。T a i p e i,T a i w a n，C h i n a。39V E R M AA，L L O RX，G O L D B E R GDE,e ta l。S c a l i n gg e n e t i ca l g or i t h m su s i n gm a p r e d u c eA。I S D A09C。I E E EC o m p u t e rS o c i e t y,2009。1318.40I S A R DM,B U D I UM，Y UY，e ta l。D r y a d:d i s t r i b u t e dd a t ap a r a l l e lp r o g r a m sf r o ms e q u e n t i a lb u i l d i n gb l o c k sA.E u r o S y s07C.L i s b o n，P o r t u g a l：A C M，2007。5972.41Y UY,I S A R DM，F E T T E R L YD，e ta l。D r y a d L I N Q：as y s t e mf o rg e n e r a lp u r p o s ed i s t r i b u t e dd a t ap a r a l l e lc o m p u t i n gu s i n gah i g hl e v e ll a n g u a g eA.O S D I08C.S a nD i e g o，C a l i f o r n i a：U S E N I XA s s o c i a t i o n，2008。1-14。42M i c r o s o f tA z u r eE B/O L。h t t p:/w w w.n i c r o s o f t.c o m/w i n d o w s a z u r e/。2011.43E L T A B A KMY，T I A NY,O Z C A NF,e ta l.C o H a d o o p：f l e x i b l ed a t ap l a c e m e n ta n di t se x p l o i t a t i o ni nh a d o o pA。P r o cV L D BE n d o w m e n tC。2011。44郑湃，崔立真,王海洋等。云计算环境下面向数据密集型应用的数据布局策略与方法J。计算机学报.2010（8：1472-1480。Z H E N GP,C U ILZ，W A N GHY,e ta l。Ad a t ap l a c e m e n ts t r a t e g yf o rd a t ai n t e n s i v ea t p l i c a t i o n si nc l o u dJ。C h i n e s eJ o u r n a lo fC o m p u t e r s,2010（8：14721478。45F I S C H E RMJ，S UX，Y I NY。A s s i g n i n gt a s k sf o re f f i c i e n c yi nH a d o o p：e x t e n d e da b s t r a c tA。S P A A10C。N e wY o r k，N Y，U S A：A C M，2010。3039。46J I NJ，L U OJ，S O N GA,e ta l。B A R:a ne f f i c i e n td a t al o c a l i t yd r i v e nt a s ks c h e d u l i n ga l g o r i t h mf o rc l o u dc o m p u t i n gA.C C G R I D11C。N e w p o r tB e a c h，C A,U S A：I E E EC o m p u t e rS o c i e t y，2011.295-304。47Z A H A R I AM，B O R T H A K U RD，S E NS A R M AJ，e ta l.D e l a ys c h e d u l i n g：as i m p l et e c h n i q u ef o rs c h i e v i n gl o c a l i t ya n df a i r n e s si nc l u s t e rs c h e d u l i n gA。E u r o S y s10C。N e wY o r k，N Y,U S A：A C M，2010。265-27848I S A R DM，P R A B H A K A R A NV，C U R R E YJ,e ta l.Q u i n c y：f a i rs c h e d u l i n gf o rd i s t r i b u t e dc o m p u t i n gc l u s t e r sA。S O S P09C。N e wY o r k，N Y，U S A：A C M,2009。261-276.49Z A H A R I AM，K O N W I N S K IA，J O S E P HAD，e ta l。I m p r o v i n gM a p R e d u c ep e r f o r m a n c ei nh e t e r o g e n e o u se n v i r o n m e n t sA.O S D I08C。B e r k e l e y，C A，U S A:U S E N I XA s s o c i a t i o n，2008。2942.50S T A N T C H E VV，S C H ROP F E RC.N e g o t i a t i n ga n dE n f o r c i n gQ o Sa n dS L A si ng r i da n dc l o u dc o m p u t i n gA.G P C09C。B e r l i n，H e i d e lb e r g：S p r i n g e rV e r l a g，2009。25-35。51B U Y Y AR，B R O B E R GJ，G O S C I N S K IAM.C l o u dC o m p u t i n gP r i n c i p l e sa n dP a r a d i g m sM.W i l e yP u b l i s h i n g，2011。52C A L H E I R O SRN，R A N J A N YR,B U Y Y AR.V i r t u a lm a c h i n ep r o v i s i o n i n gb a s e do na n a l y t i c a lp e r f o r m a n c ea n dQ o Si nc l o u dc o m p u t i n ge n v i r o n m e n t sA.I C P P11C。T a i p e i，T a i w a n，C h i n a。53X I A OY，L1NC，J I A N GY,e ta l.R e p u t a t i o n-B A S E DQ o Sp r o v i s i o n i n gi nc l o u dc o m p u t i n gv i ad i r i c h l e tm u l t i n o m i a lm o d e lA.I C C10C。2010。15。54A N D R Z E J A KA，K O N D OD，Y IS.D e c i s i o nm o d e lf o rc l o u dc o m p u t i n gu nde rS L Ac o n s t r a i n t sA。M A S C O T S10C.2010。257-266.55S A N T H A N A MS，E L A N G OP,A R P A C ID U S S E A UA，e ta l.D ep l o y i n gv i r t u a lm a c h i n e sa ss a n d b o x e sf o rt h eg r i dA.W O R L D S05C。B e r k e l e y，C A，U S A:U S E N I XA s s o c i a t i o n，2005.712. 56R I S T E N P A R TT，T R O M E RE,S H A C H A MH，e ta l。H e y，y o u，g e to f fo fm yc l o u d:e x p l o r i n gi n f o r m a t i o nl e a k a g ei nt h i r dp a r t yc o m p u t ec l o ud sA。C C S09C。C h i c a g o，I l l i n o i s，U S A：A C M，2009。199212。57R A JH,N A T H U J IR。S I N G HA,e ta l。R e s o u r c em a n a g e m e n tf o ri s o l a t i o ne n h a n c e dc l o u ds e r v i c e sA。C C S W09C.N e wY o r k,N Y，U S A：A C M，2009。77-84.58R O YI，S E T T YSTV，K I L Z E RA,e ta l.A i r a v a t：s e c u r i t y