云计算：体系架构与关键技术-图文..doc

云计算:体系架构与关键技术
罗军舟金嘉晖宋爱波东方
东南大学计算机科学与工程学院，江苏南京211189
摘要:系统地分析和总结云计算的研究现状,划分云计算体系架构为核心服务、服务管理、用户访问接口等3个层次。围绕低成本、高可靠、高可用、规模可伸缩等研究目标，深入全面地介绍了云计算的关键技术及最新研究进展。在云计算基础设施方面，介绍了云计算数据中心设计与管理及资源虚拟化技术;在大规模数据处理方面，分析了海量数据处理平台及其资源管理与调度技术;在云计算服务保障方面，讨论了服务质量保证和安全与隐私保护技术。针对新型的云计算应用和云计算存在的局限性，又探讨并展望了今后的研究方向。最后，介绍了东南大学云计算平台以及云计算研究与应用方面的相关成果。
云计算;虚拟化;数据中心；海量数据处理;服务质量;安全与隐私
T P393A1000—436X(201107-0003—19
C l o u d　c o m p u t i n g：　a r c h i t e c t u r e　a n d　k e y　t e c h n o l o g i e s　
L U O　J u n—z h o u J I N　J i a—h u i S O N G　A i-b o D O N G　F a n g
2011-05-202011—06—30
基金项目：国家自然科学基金资助项目（61070161，　61070158,61003257，60773103,90912002;国家重点基础研究发展计划(“973"计划基金资助项目(2010C B328104；国家科技支撑计划课题基金资助项目（2010B A I88B03；教育部博士点基金课题基金资助项目（200802860031；江苏省自然科学基金资助项目（B K2008030；国家科技重大专项课题基金资助项目（2009Z X03004-004-04：江苏省“网络与信息安全”重点实验室基金资助项目(B M2003201；“计算机网络与信息集成”教育部重点实验室项目（93K—9
・4・
・5・
・6・
・7・
・8・
・9・
・10・
・11・
・12・
・13・
・14・
・15・
　　・16・
・17・
・18・万方数据
@＠［1]　　T H U S O O　A，　S H A O　Z,　A N T H O N Y　S,　e t　a l.　D a t a　w a r e h o u s i n g　a n d　　　　　　　a n a l y t i c s　i n f r a s t r u c t u r e　a t　f a c e b o o k［A]。　S I G M O D'10［C］。　I n d i a n a p o l i s，　　　　　　I n d i a n a,　U S A：　A C M，　2010。1013—1020。
＠＠[2]　　淘宝数据开放策略[E B/O L]。　h t t p://w w w.a l i r e s e a r c h。c o m/w p—c o n t e n t　　　　　　/u p l o a d s/2011/03/t a o b a o s h u j u.p d f。　2011.
　　　　　　T h e　o p e n　s t r a t e g y　o f　t a o b a o’s　d a t a［E B/O L］　h t t p：//w w w.a l i r e 　　　　　　s e a r c h。c o m/w p-c o n t e n t/u p l o a d s/2011/03/t a o b a o s h u j u。p d f.　2011.
@＠[3］　　G I L L E N　A，　B R O U S S A R D　F　W，　P E R R Y　R,　e t　a l。　O p t i m i z i n g　i n f r a 　　　　　　s t r u c t u r e：　t h e　r e l a t i o n s h i p　b e t w e e n　i t　l a b o r　c o s t s　a n d　b e s t　p r a c t i c e s　f o r　　　　　　　m a n a g i n g　t h e　w i n d o w s　d e s k t o p[E B/O L].　h t t p://d o w n l o a d。m i c r e s o f t。
c o m/
d o w n l o a d/a/4/4/a4474b0c—57d8-41a2-a f e6—32037f a93
e a6/　I D C_　　　　　　w i n d e s k t o p_I O_w h i t e p a p e r。p d f　2007.
＠＠［4]　　M E L L　P,　G R A N C E　T。　T h e　N I S T　D e f i n i t i o n　o f　C l o u d　C o m p u t i n g［R]。　　　　　　N a t i o n a l　I n s t i t u t e　o f　S t a n d a r d s　a n d　T e c h n o l o g y，　2011.
＠@［5]　　A m a z o n　E C2[E B/O L］。　h t t p：//a w s.a m a z o n.c o m/e c2　2011。 ＠＠[6］　　D E A N　J，　G H E M A W A T　S。　M a p R e d u c e：　a　f l e x i b l e　d a t a　p r o c e s s i n g　　　　　　　t o o l[J]。　C o m m u n　A C M,　2010,　53(1：　72—77.
＠＠[7］　　G o o g l e　A p p　E n g i n e[E B/O L].　h t t p://c o d e。g o o g l e.c o m/a p p e n g i n e/2011。 ＠@［8］　　S a l e s f o r c e　C R M[E B/O L］.　h t t p：//w w w。s a l e s f o r c e。c o m/。 ＠＠［9］　　M I L O J I C I C　D,　W O L S K I　R.　E u c a l y p t u s：　d e l i v e r i n g　a　p r i v a t e　c l o u d［J]。
　　　　　　C o m p u t e r.　2011，　44（4:　102-104。
＠＠[10］　F O S T E R　I,　Y O N G　Z，　R A I C U　I,　e t　a l.　C l o u d　C o m p u t i n g　a n d　G r i d　　　　　　　C o m p u t i n g　360-D e g r e e　C o m p a r e d[Z］.　2008。1—10.
＠＠［11　］　F s c e b o o k　s e r v e r　c o u n t：　60　000　o r　m o r e［E B/O L].　h t t p://w w w。　d a t a c e n
　　　　　　t e r k n o w l e d g e.c o m/a r c h i v e s/2010/06/28/f a e e b o o k—s e r v e r-c o u n t—60000　　　　　　—o r-m o r e/.　2011。
@＠[12］　G o o g l e　i n v e s t o r　r e l a t i o n s[E B/O L].h t t p://i n v e s t o r.g o o g l e。c o m/f i n a n c i a l.　　　　　　2011。
＠@［13］　G R E E N B E R G　A,　H A M I L T O N　J，　M A L T Z　D　A,　e t　a l.　T h e　c o s t　o f　a　　　　　　　c l o u d：　r e s e a r c h　p r o b l e m s　i n　d a t a　c e n t e r　n e t w o r k s［J］。　S I G C O M M　　　　　　　C o m p u t　C o m m u n　R e v,　2008,　39：　68-73.
＠@［14］　G R E E N B E R G　A,　H A M I L T O N　J　R,　J A I N　N，　e t　a l.　V L2：　a　s c a l a b l e　　　　　　　a n d　f l e x i b l e　d a t a　c e n t e r　n e t w o r k[A］.　S I G C O M M'09［C］。　B a r c e l o n a，　　　　　　S p a i n：　A C M,　2009。51-62.
@＠[15]　M Y S O R E　R　N,　P A M B O R I S　A，　F A R R I N G T O N　N，　e t　a l。　P o r t L a n d：　a　　　　　　　s c a l a b l e　f a u l t—t o l e r a n t　l a y e r　2　d a t a　c e n t e r　n e t w o r k　f a b r i c[A］。　S I G 　　　　　　C O M M’09[C］。　B a r c e l o n a.　S p a i n：　A C M,　2009。39—50。
＠@[16]　G U O　C,　W U　H,　T A N　K,　e t　a l.　D c e l l:　a　s c a l a b l e　a n d　f a u l t—t o l e r a n t　　　　　　　n e t w o r k　s t r u c t u r e　f o r　d a t a　c e n t e r s［A］。　S I G C O M M’08［C］。　S e a t t l e,　W A，　　　　　U S A：　A C M，　2008。75—86。
＠@［17］　G U O　C，　L U　G，　L I　D，　e t　a l。　B C u b e：　a　h i g h　p e r f o r m a n c e，　s e r v e r-c e n t r i c　
　　　　　n e t w o r k　a r c h i t e c t u r e　f o r　m o d u l a r　d a t a　c e n t e r s[A]。　S I G C O M M’09［C］.
B a r c e l o n a，　S p a i n:　A
C M,　2009.63—74.
＠＠［18］　H O E L Z L E　U,　B A R R O S O　L　A。　T h e　D a t a c e n t e r　a s　a　C o m p u t e r：　A n　　　　　　I n t r o d u c t i o n　t o　t h e　D e s i g n　o f　W a r e h o u s e—S c a l e　M a c h i n e s［M］。　1s t　e d。
　　　　　M o r g a n　a n d　C l a y p o o l　P u b l i s h e r s，　2009。
@@［19］　N A T H U J I　R，　S C H W A N　K。　V i r t u a l P o w e r:　c o o r d i n a t e d　p o w e r　m a n
　　　　　　a g e m e n t　i n　v i r t u a l i z e d　e n t e r p r i s e　s y s t e m s［A］。　S O S P　'07［C］。　N e w　Y o r k,　　　　　　N Y，　U S A：　A C M，　2007.265-278。
＠＠[20］　P A L L I P A D I　V，　S T A R I K O V S K I Y　A。　T h e　o n d e m a n d　g o v e r n o r：　p a s t，　　　　　　p r e s e n t　a n d　f u t u r e[A］。　P r o c e e d i n g s　o f　L i n u x　S y m p o s i u m［C］。　2006.　　　　　　223—238。
＠＠［21］　R A O　L，　L I U　X,　L E　X I E，　e t　a l。　M i n i m i z i n g　e l e c t r i c i t y　c o s t:　o p t i m i z a 　　　　　　t i o n　o f　d i s t r i b u t e d　i n t e m e t　d a t a　c e n t e r s　i n　a　m u l t i-e l e c t r i c i t y—m a r k e t　　　　　　　e n v i r o n m e n t［A].　I N F O C O M’10［C］。　S a n　D i e g o,　C a l i f o r n i a，　U S A：　　　　　　I E E E　P r e s s,　2010。1145—1153。
＠＠［22］　S A M A D I A N I　E，　J O S H I　Y,　M I S T R E E　F。　T h e　T h e r m a l　D e s i g n　o f　a　　　　　　　N e x t　G e n e r a t i o n　D a t a　C e n t e r:　a　C o n c e p t u a l　E x p o s i t i o n［Z］。　2007.　　　　　　93—102。
＠@［23］　C H E N　G,　H E　W，　L I U　J，　e t　a l。　E n e r g y—a w a r e　s e r v e r　p r o v i s i o n i n g　a n d　　　　　　　l o a d　　d i s p a t c h i n g　　f o r　c o n n e c t i o n—i n t e n s i v e　i n t e r n e t　　s e r v i c e s［A]。
　　　　　　N S D I’08［C].　B e r k e l e y，　C A，　U S A:　U S E N I X　A s s o c i a t i o n，　2008。　　　　　　337-350。
＠@[24］　A b o u t　　v i r t u a l　　m a c h i n e　　t e m p l a t e s[E B/O L］.h t t p：//t e c h n e t。　　m i c r o 　　　　　　s o f t。c o m/e n—u s/l i b r a r y/b b740838.a s p x，　2011。
＠＠［25］　V R A B L E　M，　M A　J，　C H E N　J,　e t a l。　S e a l a b i l i t y，　f i d e l i t y，　a n d　c o n t a i n 　　　　　　m e n t　i n　t h e　p o t e m k i n　v i r t u a l　h o n e y f a r m［A］。　S O S P'05[C］。　B r i g h t o n,　　　　　　U n i t e d　K i n g d o m：　A C M,　2005。148-162。
＠＠［26]　A N D R　H，　L A G A R-C A V I L L A　S，　W H I T N E Y　J　A，　e t　a l。　S n o w F l o c k:　　　　　　v i r t u a l　m a c h i n e　c l o n i n g　a s　a　f i r s t-c l a s s　c l o u d　p r i m i t i v e［J]。　A C M　T r a n s　　　　　　　C o m p u t　S y s t，　2011,　29（1:　1—45。
@＠［27］　C L A R K　C，　F R A S E R　K，　H A N D　S,　e t　a l。　L i v e　m i g r a t i o n　o f　v i r t u a l
　　　　　　m a c h i n e s［A]。　N S D I’05［C］。　U S E N I X　A s s o c i a t i o n,　2005.273-286。 ＠＠[28]　H I R O F U C H I　T,　N A K A D A　H，　O G A W A　H，　e t　a l.　A　l i v e　s t o r a g e　m i g r a 　　　　　　t i o n　m e c h a n i s m　o v e r　w a n　a n d　i t s　p e r f o r m a n c e　e v a l u a t i o n[A]。　　　　　　V T D C’09[C]。　B a r c e l o n a，　S p a i n：　A C M，　2009。67—74。
＠@［29］　C U L L Y　B，　L E F E B V R E　G,　M E Y E R　D，　e t　a l。　R e m u s:　h i g h　a v a i l a b i l i t y　　　　　　　v i a　a s y n c h r o n o u s　v i r t u a l　m a c h i n e　r e p l i c a t i o n［A]。　N S D I’08［C]。　S a n　　　　　　　F r a n c i s c o，　C a l i f o r n i a：　U S E N I X　A s s o c i a t i o n，　2008。161　—　174. ＠＠［30]　G H E M A W A T　S，　G O B I O F F　H,　L E U N G　S。　T h e　G o o g l e　f i l e　s y s t e m[A］。　　　　　　S O S P’03［C］.　B o l t o n　L a n d i n g,　N Y，　U S A：　A C M，　2003。29-43.
＠＠［31］　C H A N G　F，　D E A N　J，　G H E M A W A T　S，　e t　a l。　B i g t a b l e:　a　d i s t r i b u t e d　　　　　　　s t o r a g e　s y s t e m　f o r　s t r u c t u r e d　d a t a［J]。　A C M　T r a n s　C o m p u t　S y s t，　2008，
万方数据
　　　　　　　26（2:　1-26。
　＠＠［32]　D E C A N D I A　G,　H A S T O R U N　D,　J A M P A N I　M,　e t　a l。　D y n a m o:　a m a 　　　　　　　z o n’s　h i g h l y　a v a i l a b l e　k e y—v a l u e　s t o r e[A］.　S O S P'07［C].　S t e v e n s o n，　　　　　　　W a s h i n g t o n，　U S A:　A C M，　2007。205—220.
　＠@［33］　P I K E　R，　D O R W A R D　S,　G R I E S E M E R　R，　e t　a l。　I n t e r p r e t i n g　t h e　D a t a:
　　　　　　　P a r a l l e l　A n a l y s i s　w i t h　S a w z a l l[J］。　S c i e n t i f i c　P r o g r a m m i n g　J o u r n a l,　　　　　　　2005,　13（4：　227—298。
　@＠[34］　O L S T O N　C,　R E E D　B，　S R I V A S T A V A　U,　e t　a l。　P i g　l a t i n：　a　
　　　　　　n o t-s o-f o r e i g n　l a n g u a g e　f o r　d a t a　p r o c e s s i n g[A］。　S I G M O D’08[C].　N e w　　　　　　　Y o r k，　N Y,　U S A：　A C M,　2008。1099—1110。
　@@［35]　E K A N A Y A K E　J，　L I　H,　Z H A N G　B，　e t　a l.　T w i s t e r：　a　r u n t i m e　f o r　i t e r a
　　　　　　t i v e　　M a p R e d u c e［A］。　　H P D C’10[C］.　　C h i c a g o，　　I l l i n o i s：　　A C M,　　　　　　2010.810-818。
@@［36]　Y A N G　H，　D A S D A N　A，　H S I A O　R，　e t　a l.　M a p—r e d u c e—m e r g e：　s i m p l i 　　　　　　f i e d　r e l a t i o n a l　d a t a　p r o c e s s i n g　o n　l a r g e　c l u s t e r s［A]。　S I G M O D'07［C］。　　　　　　N e w　Y o r k，　N Y，　U S A:　A C M，　2007.1029—1040。
@＠［37]　W A N G　Y,　S O N G　A,　L U O　J。　A　M a p R e d u c e M e r g e—b a s e d　D a t a　C u b e　　　　　　　C o n s t r u c t i o n　M e t h o d［Z］.　2010.1-6.
＠＠[38］　X I O N G　R,　L U O　J，　S O N G　A，　e t　a l。　Q o S　p r e f e r e n c e-a w a r e　r e p l i c a　
　　　　　　s e l e c t i o n　s t r a t e g y　u s i n g　m a p r e d u c e—b a s e d　P G A　i n　d a t a　g r i d s［A］。
　　　　　　I C P P’　11　［C]。T a i p e i,　T a i w a n，　C h i n a。
＠＠［39］　V E R M A　A，　L L O R　X，　G O L D B E R G　D　E,　e t　a l。　S c a l i n g　g e n e t i c　a l g o
　　　　　　r i t h m s　u s i n g　m a p r e d u c e[A］。　I S D A’09［C］。　I E E E　C o m p u t e r　S o c i e t y,　　　　　　2009。13—18.
@@［40］　I S A R D　M,　B U D I U　M，　Y U　Y，　e t　a l。　D r y a d:　d i s t r i b u t e d　d a t a—p a r a l l e l　
　　　　　　p r o g r a m s　f r o m　s e q u e n t i a l　b u i l d i n g　b l o c k s[A］.　E u r o S y s’07［C].　L i s b o n，　　　　　　P o r t u g a l：　A C M，　2007。59—72.
＠＠［41］　Y U　Y,　I S A R D　M，　F E T T E R L Y　D，　e t　a l。　D r y a d L I N Q：　a　s y s t e m　f o r　　　　　　　g e n e r a l—p u r p o s e　d i s t r i b u t e d　d a t a—p a r a l l e l　c o m p u t i n g　u s i n g　a　h i g h—l e v e l　　　　　　　l a n g u a g e[A].　O S D I’08［C].　S a n　D i e g o，　C a l i f o r n i a：　U S E N I X　A s s o c i a 　　　　　　t i o n，　2008。1　-　14。
＠＠［42]　M i c r o s o f t　A z u r e［E B/O L］。　h t t p://w w w.n i c r o s o f t.c o m/w i n d o w s a z u r e/。　　　　　　2011.
@＠[43］　E L T A B A K　M　Y，　T I A N　Y,　O Z C A N　F,　e t　a l.　C o H a d o o p：　f l e x i b l e　d a t a　
　　　　　p l a c e m e n t　a n d　i t s　e x p l o i t a t i o n　i n　h a d o o p[A］。　P r o c　V L D B　E n d o w 　　　　　m e n t［C]。　2011。
＠@[44]郑湃，崔立真,王海洋等。云计算环境下面向数据密集型应用的数　　　　据布局策略与方法[J］。计算机学报.2010（8：　1472-1480。　　　　　　Z H E N G　P,　C U I　L　Z，W A N G　H　Y,　e t　a l。　A　d a t a　p l a c e m e n t　s t r a t e g y　f o r　　　　　　　d a t a—i n t e n s i v e　a t p l i c a t i o n s　i n　c l o u d[J]。C h i n e s e　J o u r n a l　o f　C o m 　　　　　p u t e r s,2010（8：　1472—1478。
＠＠[45］　F I S C H E R　M　J，　S U　X，　Y I N　Y。　A s s i g n i n g　t a s k s　f o r　e f f i c i e n c y　i n　H a 　　　　　d o o p：　e x t e n d e d　a b s t r a c t［A］。　S P A A'10[C］。　N e w　Y o r k，　N Y，　U S A：　A C M，　　　　　2010。30—39。@＠［46］　J I N　J，　L U O　J，　S O N G　A,　e t　a l。　B A R:　a n　e f f i c i e n t　d a t a　l o c a l i t y　　　　　　　　d r i v e n　　t a s k　　s c h e d u l i n g　　a l g o r i t h m　　f o r　　c l o u d　　c o m p u t i n g［A］.
　　　　　　　C C G R I D’1　1［C]。　N e w p o r t　B e a c h，　C A,　U S A：　I E E E　C o m p u t e r　S o c i 　　　　　　　e t y，　2011.295-304。
@@［47］　Z A H A R I A　M，　B O R T H A K U R　D，　S E N　S A R M A　J，　e t　a l.　D e l a y　s c h e d 　　　　　　　u l i n g：　a　s i m p l e　t e c h n i q u e　f o r　s c h i e v i n g　l o c a l i t y　a n d　f a i r n e s s　i n　c l u s t e r　
　　　　　　　s c h e d u l i n g[A］。　E u r o S y s’10［C]。　N e w　Y o r k，　N Y,　U S A：　A C M，　2010。　　　　　　　265-278
@@［48］　I S A R D　M，　P R A B H A K A R A N　V，　C U R R E Y　J,　e t　a l.　Q u i n c y：　f a i r　
　　　　　　　s c h e d u l i n g　f o r　d i s t r i b u t e d　c o m p u t i n g　c l u s t e r s[A］。　S O S P　’09［C］。　N e w　　　　　　　　Y o r k，　N Y，　U S A：　A C M,　2009。261-276.
＠@［49]　Z A H A R I A　M，　K O N W I N S K I　A，　J O S E P H　A　D，　e t　a l。　I m p r o v i n g　　　　　　　　M a p R e d u c e　p e r f o r m a n c e　i n　h e t e r o g e n e o u s　e n v i r o n m e n t s［A］.　　　　　　　O S D I’08［C]。　　B e r k e l e y，　　C A，　　U S A:　　U S E N I X　　A s s o c i a t i o n，　　　　　　　2008。29—42.
　＠＠［50］　S T A N T C H E V　V，　S C H R　O　P F E R　C.　N e g o t i a t i n g　a n d　E n f o r c i n g　Q o S　
a n d　S L A s　i n　g r i d　a n d　c l o u d　c o m p u t i n g[A].　G P C　'09［C］。　B e r l i n，　H e i 　　　　　　　d e l
b e r g：　S p r i n g e r—V e r l a g，　2009。25-35。
　＠@[51]　B U Y Y A　R，　B R O B E R G　J，　G O S C I N S K I　A　M.　C l o u d　C o m p u t i n g　　　　　　　　P r i n c i p l e s　a n d　P a r a d i g m s［M].　W i l e y　P u b l i s h i n g，　2011。
　＠@［52］　C A L H E I R O S　R　N，　R A N J A N Y　R,　B U Y Y A　R.　V i r t u a l　m a c h i n e　p r o v i 　　　　　　　s i o n i n g　b a s e d　o n　a n a l y t i c a l　p e r f o r m a n c e　a n d　Q o S　i n　c l o u d　c o m p u t i n g　　　　　　　e n v i r o n m e n t s［A］.　I C P P'　11　［C］。　T a i p e i，　T a i w a n，　C h i n a。
＠@［53］　X I A O　Y，　L1N　C，　J I A N G　Y,　e t　a l.　R e p u t a t i o n-B A S E D　Q o S　p r o v i s i o n 　　　　　　i n g　i n　c l o u d　c o m p u t i n g　v i a　d i r i c h l e t　m u l t i n o m i a l　m o d e l［A］.　I C C’10[C]。　　　　　　2010。1—5。
@＠[54］　A N D R Z E J A K　A，　K O N D O　D，　Y I　S.　D e c i s i o n　m o d e l　f o r　c l o u d　
c o m p u t i n g　u n
d
e r　S L A　c o n s t r a i n t s［A］。　M A S C O T S’10［C］.　2010。　　　　　　257-266.
@＠［55］　S A N T H A N A M　S，　E L A N G O　P,　A R P A C I—D U S S E A U　A，　e t　a l.　D e
　　　　　　p l o y i n g　v i r t u a l　m a c h i n e s　a s　s a n d b o x e s　f o r　t h e　g r i d［A].　W O R L D S’05［C］。
B e r k e l e y，
C A，　U S A:　U S E N I X　A s s o c i a t i o n，　2005.7—12. ＠@［56］　R I S T E N P A R T　T，　T R O M E R　E,　S H A C H A M　H，　e t　a l。　H e y，　y o u，　g e t　　　　　　　o f f　o f　m y　c l o u d:　e x p l o r i n g　i n f o r m a t i o n　l e a k a g e　i n　t h i r d—p a r t y
c o m p u t e　c l o u
d s[A］。　C C S'09［C］。　C h i c a g o，　I l l i n o i s，　U S A：　A C M，　　　　　　2009。　199—212。
＠@［57]　R A J　H,　N A T H U J I　R。　S I N G H　A,　e t　a l。　R e s o u r c e　m a n a g e m e n t　f o r　
　　　　　　i s o l a t i o n　e n h a n c e d　c l o u d　s e r v i c e s［A]。　C C S W'09［C］.　N e w　Y o r k,　N Y，　　　　　　U S A：　A C M，　2009。77-84.
＠＠［58］　R O Y　I，　S E T T Y　S　T　V，　K I L Z E R　A,　e t　a l.　A i r a v a t：　s e c u r i t y