云计算体系架构与关键技术图文.doc

云计算体系架构与关键技术图文

46
2020年4月19日
文档仅供参考，不当之处，请联系改正。
云计算:体系架构与关键技术
罗军舟金嘉晖宋爱波东方
东南大学计算机科学与工程学院,江苏南京211189
摘要:系统地分析和总结云计算的研究现状,划分云计算体系架构为核心服务、服务管理、用户访问接口等3个层次。围绕低成本、高可靠、高可用、规模可伸缩等研究目标,深入全面地介绍了云计算的关键技术及最新研究进展。在云计算基础设施方面,介绍了云计算数据中心设计与管理及资源虚拟化技术;在大规模数据处理方面,分析了海量数据处理平台及其资源管理与调度技术;在云计算服务保障方面,讨论了服务质量保证和安全与隐私保护技术。针对新型的云计算应用和云计算存在的局限性,又探讨并展望了今后的研究方向。最后,介绍了东南大学云计算平台以及云计算研究与应用方面的相关成果。
云计算;虚拟化;数据中心;海量数据处理;服务质量;安全与隐私
T P393A1000-436X( 07-0003-19
C l o u d　c o m p u t i n g:　a r c h i t e c t u r e　a n d　k e y　t e c h n o l o g i e s　
L U O　J u n-z h o u J I N　J i a-h u i S O N G　A i-b o D O N G　F a n g
-05-20 -06-30
基金项目:国家自然科学基金资助项目(61070161,　61070158,61003257,60773103,9091 ;国家重点基础研究发展计划(“973”计划基金资助项目( C B328104;国家科技支撑计划课题基金资助项目( B A I88B03;教育部博士点基金课题基金资助项目( 02860031;江苏省自然科学基金资助项目(B K 030;国家科技重大专项课题基金资助项目( Z X03004-004-04:江苏省“网络与信息安全”重点实验室基金资助项目(B M 201;“计算机网络与信息集成”教育部重点实验室项目(93K-9

・4・

・5・

・6・

・7・

・8・

・9・
・10・
・11・

・12・
・13・

・14・
・15・
　　・16・
・17・
・18・万方数据
@@[1]　　T H U S O O　A,　S H A O　Z,　A N T H O N Y　S,　e t　a l.　D a t a　w a r e h o u s i n g　a n d　　　　　　　a n a l y t i c s　i n f r a s t r u c t u r e　a t　f a c e b o o k[A].　S I G M O D'10[C].　I n d i a n a p o l i s,　　　　　　I n d i a n a,　U S A:　A C M,　 .1013-1020.
@@[2]　　淘宝数据开放策略[E B/O L].　h t t p://w w w.a l i r e s e a r c h.c o m/w p-c o n t e n t　　　　　　/u p l o a d s/ /03/t a o b a o s h u j u.p d f.　 .
　　　　　　T h e　o p e n　s t r a t e g y　o f　t a o b a o's　d a t a[E B/O L]　h t t p://w w w.a l i r e 　　　　　　s e a r c h.c o m/w p-c o n t e n t/u p l o a d s/ /03/t a o b a o s h u j u.p d f.　 .
@@[3]　　G I L L E N　A,　B R O U S S A R D　F　W,　P E R R Y　R,　e t　a l.　O p t i m i z i n g　i n f r a 　　　　　　s t r u c t u r e:　t h e　r e l a t i o n s h i p　b e t w e e n　i t　l a b o r　c o s t s　a n d　b e s t　p r a c t i c e s　f o r　　　　　　　m a n a g i n g　t h e　w i n d o w s　d e s k t o p[E B/O L].　h t t p://d o w n l o a d.m i c r e s o f t.
c o m/
d o w n l o a d/a/4/4/a4474b0c-57d8-41a2-a f e6-32037f a93
e a6/　I D C_　　　　　　w i n d e s k t o p_I O_w h i t e p a p e r.p d f　 .
@@[4]　　M E L L　P,　G R A N C E　T.　T h e　N I S T　D e f i n i t i o n　o f　C l o u d　C o m p u t i n g[R].　　　　　　N a t i o n a l　I n s t i t u t e　o f　S t a n d a r d s　a n d　T e c h n o l o g y,　 .
@@[5]　　A m a z o n　E C2[E B/O L].　h t t p://a w s.a m a z o n.c o m/e c2　 . @@[6]　　D E A N　J,　G H E M A W A T　S.　M a p R e d u c e:　a　f l e x i b l e　d a t a　p r o c e s s i n g　　　　　　　t o o l[J].　C o m m u n　A C M,　 ,　53(1:　72-77.
@@[7]　　G o o g l e　A p p　E n g i n e[E B/O L].　h t t p://c o d e.g o o g l e.c o m/a p p e n g i n e/ . @@[8]　　S a l e s f o r c e　C R M[E B/O L].　h t t p://w w w.s a l e s f o r c e.c o m/. @@[9]　　M I L O J I C I C　D,　W O L S K I　R.　E u c a l y p t u s:　d e l i v e r i n g　a　p r i v a t e　c l o u d[J].
　　　　　　C o m p u t e r.　 ,　44(4:　102-104.
@@[10]　F O S T E R　I,　Y O N G　Z,　R A I C U　I,　e t　a l.　C l o u d　C o m p u t i n g　a n d　G r i d　　　　　　　C o m p u t i n g　360-D e g r e e　C o m p a r e d[Z].　 .1-10.
@@[11　]　F s c e b o o k　s e r v e r　c o u n t:　60　000　o r　m o r e[E B/O L].　h t t p://w w w.　d a t a c e n
　　　　　　t e r k n o w l e d g e.c o m/a r c h i v e s/ /06/28/f a e e b o o k-s e r v e r-c o u n t-60000　　　　　　-o r-m o r e/.　 .
@@[12]　G o o g l e　i n v e s t o r　r e l a t i o n s[E B/O L].h t t p://i n v e s t o r.g o o g l e.c o m/f i n a n c i a l.　　　　　　 .
@@[13]　G R E E N B E R G　A,　H A M I L T O N　J,　M A L T Z　D　A,　e t　a l.　T h e　c o s t　o f　a　　　　　　　c l o u d:　r e s e a r c h　p r o b l e m s　i n　d a t a　c e n t e r　n e t w o r k s[J].　S I G C O M M　　　　　　　C o m p u t　C o m m u n　R e v,　 ,　39:　68-73.
@@[14]　G R E E N B E R G　A,　H A M I L T O N　J　R,　J A I N　N,　e t　a l.　V L2:　a　s c a l a b l e　　　　　　　a n d　f l e x i b l e　d a t a　c e n t e r　n e t w o r k[A].　S I G C O M M'09[C].　B a r c e l o n a,　　　　　　S p a i n:　A C M,　 .51-62.
@@[15]　M Y S O R E　R　N,　P A M B O R I S　A,　F A R R I N G T O N　N,　e t　a l.　P o r t L a n d:　a　　　　　　　s c a l a b l e　f a u l t-t o l e r a n t　l a y e r　2　d a t a　c e n t e r　n e t w o r k　f a b r i c[A].　S I G 　　　　　　C O M M'09[C].　B a r c e l o n a.　S p a i n:　A C M,　 .39-50.
@@[16]　G U O　C,　W U　H,　T A N　K,　e t　a l.　D c e l l:　a　s c a l a b l e　a n d　f a u l t-t o l e r a n t　　　　　　　n e t w o r k　s t r u c t u r e　f o r　d a t a　c e n t e r s[A].　S I G C O M M'08[C].　S e a t t l e,　W A,　　　　　U S A:　A C M,　 .75-86.
@@[17]　G U O　C,　L U　G,　L I　D,　e t　a l.　B C u b e:　a　h i g h　p e r f o r m a n c e,　s e r v e r-c e n t r i c　
　　　　　n e t w o r k　a r c h i t e c t u r e　f o r　m o d u l a r　d a t a　c e n t e r s[A].　S I G C O M M'09[C].
B a r c e l o n a,　S p a i n:　A
C M,　 .63-74.
@@[18]　H O E L Z L E　U,　B A R R O S O　L　A.　T h e　D a t a c e n t e r　a s　a　C o m p u t e r:　A n　　　　　　I n t r o d u c t i o n　t o　t h e　D e s i g n　o f　W a r e h o u s e-S c a l e　M a c h i n e s[M].　1s t　e d.
　　　　　M o r g a n　a n d　C l a y p o o l　P u b l i s h e r s,　 .
@@[19]　N A T H U J I　R,　S C H W A N　K.　V i r t u a l P o w e r:　c o o r d i n a t e d　p o w e r　m a n
　　　　　　a g e m e n t　i n　v i r t u a l i z e d　e n t e r p r i s e　s y s t e m s[A].　S O S P　'07[C].　N e w　Y o r k,　　　　　　N Y,　U S A:　A C M,　 .265-278.
@@[20]　P A L L I P A D I　V,　S T A R I K O V S K I Y　A.　T h e　o n d e m a n d　g o v e r n o r:　p a s t,　　　　　　p r e s e n t　a n d　f u t u r e[A].　P r o c e e d i n g s　o f　L i n u x　S y m p o s i u m[C].　 .　　　　　　223-238.
@@[21]　R A O　L,　L I U　X,　L E　X I E,　e t　a l.　M i n i m i z i n g　e l e c t r i c i t y　c o s t:　o p t i m i z a 　　　　　　t i o n　o f　d i s t r i b u t e d　i n t e m e t　d a t a　c e n t e r s　i n　a　m u l t i-e l e c t r i c i t y-m a r k e t　　　　　　　e n v i r o n m e n t[A].　I N F O C O M'10[C].　S a n　D i e g o,　C a l i f o r n i a,　U S A:　　　　　　I E E E　P r e s s,　 .1145-1153.
@@[22]　S A M A D I A N I　E,　J O S H I　Y,　M I S T R E E　F.　T h e　T h e r m a l　D e s i g n　o f　a　　　　　　　N e x t　G e n e r a t i o n　D a t a　C e n t e r:　a　C o n c e p t u a l　E x p o s i t i o n[Z].　 .　　　　　　93-102.
@@[23]　C H E N　G,　H E　W,　L I U　J,　e t　a l.　E n e r g y-a w a r e　s e r v e r　p r o v i s i o n i n g　a n d　　　　　　　l o a d　　d i s p a t c h i n g　　f o r　c o n n e c t i o n-i n t e n s i v e　i n t e r n e t　　s e r v i c e s[A].
　　　　　　N S D I'08[C].　B e r k e l e y,　C A,　U S A:　U S E N I X　A s s o c i a t i o n,　 .　　　　　　337-350.
@@[24]　A b o u t　　v i r t u a l　　m a c h i n e　　t e m p l a t e s[E B/O L].h t t p://t e c h n e t.　　m i c r o 　　　　　　s o f t.c o m/e n-u s/l i b r a r y/b b740838.a s p x,　 .
@@[25]　V R A B L E　M,　M A　J,　C H E N　J,　e t a l.　S e a l a b i l i t y　f i d e l i t y,　a n d　c o n t a i n 　　　　　　m e n t　i n　t h e　p o t e m k i n　v i r t u a l　h o n e y f a r m[A].　S O S P'05[C].　B r i g h t o n,　　　　　　U n i t e d　K i n g d o m:　A C M,　 .148-162.
@@[26]　A N D R　H,　L A G A R-C A V I L L A　S,　W H I T N E Y　J　A,　e t　a l.　S n o w F l o c k:　　　　　　v i r t u a l　m a c h i n e　c l o n i n g　a s　a　f i r s t-c l a s s　c l o u d　p r i m i t i v e[J].　A C M　T r a n s　　　　　　　C o m p u t　S y s t,　 ,　29(1:　1-45.
@@[27]　C L A R K　C,　F R A S E R　K,　H A N D　S,　e t　a l.　L i v e　m i g r a t i o n　o f　v i r t u a l
　　　　　　m a c h i n e s[A].　N S D I'05[C].　U S E N I X　A s s o c i a t i o n,　 .273-286. @@[28]　H I R O F U C H I　T,　N A K A D A　H,　O G A W A　H,　e t　a l.　A　l i v e　s t o r a g e　m i g r a 　　　　　　t i o n　m e c h a n i s m　o v e r　w a n　a n d　i t s　p e r f o r m a n c e　e v a l u a t i o n[A].　　　　　　V T D C'09[C].　B a r c e l o n a,　S p a i n:　A C M,　 .67-74.
@@[29]　C U L L Y　B,　L E F E B V R E　G,　M E Y E R　D,　e t　a l.　R e m u s:　h i g h　a v a i l a b i l i t y　　　　　　　v i a　a s y n c h r o n o u s　v i r t u a l　m a c h i n e　r e p l i c a t i o n[A].　N S D I'08[C].　S a n　　　　　　　F r a n c i s c o,　C a l i f o r n i a:　U S E N I X　A s s o c i a t i o n,　 .161　-　174. @@[30]　G H E M A W A T　S,　G O B I O F F　H,　L E U N G　S.　T h e　G o o g l e　f i l e　s y s t e m[A].　　　　　　S O S P'03[C].　B o l t o n　L a n d i n g,　N Y,　U S A:　A C M,　 .29-43.
@@[31]　C H A N G　F,　D E A N　J,　G H E M A W A T　S,　e t　a l.　B i g t a b l e:　a　d i s t r i b u t e d　　　　　　　s t o r a g e　s y s t e m　f o r　s t r u c t u r e d　d a t a[J].　A C M　T r a n s　C o m p u t　S y s t,　 ,
万方数据
　　　　　　　26(2:　1-26.
　@@[32]　D E C A N D I A　G,　H A S T O R U N　D,　J A M P A N I　M,　e t　a l.　D y n a m o:　a m a 　　　　　　　z o n's　h i g h l y　a v a i l a b l e　k e y-v a l u e　s t o r e[A].　S O S P'07[C].　S t e v e n s o n,　　　　　　　W a s h i n g t o n,　U S A:　A C M,　 .205-220.
　@@[33]　P I K E　R,　D O R W A R D　S,　G R I E S E M E R　R,　e t　a l.　I n t e r p r e t i n g　t h e　D a t a:
　　　　　　　P a r a l l e l　A n a l y s i s　w i t h　S a w z a l l[J].　S c i e n t i f i c　P r o g r a m m i n g　J o u r n a l,　　　　　　　 ,　13(4:　227-298.
　@@[34]　O L S T O N　C,　R E E D　B,　S R I V A S T A V A　U,　e t　a l.　P i g　l a t i n:　a　
　　　　　　n o t-s o-f o r e i g n　l a n g u a g e　f o r　d a t a　p r o c e s s i n g[A].　S I G M O D'08[C].　N e w　　　　　　　Y o r k,　N Y,　U S A:　A C M,　 .1099-1110.
　@@[35]　E K A N A Y A K E　J,　L I　H,　Z H A N G　B,　e t　a l.　T w i s t e r:　a　r u n t i m e　f o r　i t e r a
　　　　　　t i v e　　M a p R e d u c e[A].　　H P D C'10[C].　　C h i c a g o,　　I l l i n o i s:　　A C M,　　　　　　 .810-818.
@@[36]　Y A N G　H,　D A S D A N　A,　H S I A O　R,　e t　a l.　M a p-r e d u c e-m e r g e:　s i m p l i 　　　　　　f i e d　r e l a t i o n a l　d a t a　p r o c e s s i n g　o n　l a r g e　c l u s t e r s[A].　S I G M O D'07[C].　　　　　　N e w　Y o r k,　N Y,　U S A:　A C M,　 .1029-1040.
@@[37]　W A N G　Y,　S O N G　A,　L U O　J.　A　M a p R e d u c e M e r g e-b a s e d　D a t a　C u b e　　　　　　　C o n s t r u c t i o n　M e t h o d[Z].　 .1-6.
@@[38]　X I O N G　R,　L U O　J,　S O N G　A,　e t　a l.　Q o S　p r e f e r e n c e-a w a r e　r e p l i c a　
　　　　　　s e l e c t i o n　s t r a t e g y　u s i n g　m a p r e d u c e-b a s e d　P G A　i n　d a t a　g r i d s[A].
　　　　　　I C P P'　11　[C].T a i p e i,　T a i w a n,　C h i n a.
@@[39]　V E R M A　A,　L L O R　X,　G O L D B E R G　D　E,　e t　a l.　S c a l i n g　g e n e t i c　a l g o
　　　　　　r i t h m s　u s i n g　m a p r e d u c e[A].　I S D A'09[C].　I E E E　C o m p u t e r　S o c i e t y,　　　　　　 .13-18.
@@[40]　I S A R D　M,　B U D I U　M,　Y U　Y,　e t　a l.　D r y a d:　d i s t r i b u t e d　d a t a-p a r a l l e l　
　　　　　　p r o g r a m s　f r o m　s e q u e n t i a l　b u i l d i n g　b l o c k s[A].　E u r o S y s'07[C].　L i s b o n,　　　　　　P o r t u g a l:　A C M,　 .59-72.
@@[41]　Y U　Y,　I S A R D　M,　F E T T E R L Y　D,　e t　a l.　D r y a d L I N Q:　a　s y s t e m　f o r　　　　　　　g e n e r a l-p u r p o s e　d i s t r i b u t e d　d a t a-p a r a l l e l　c o m p u t i n g　u s i n g　a　h i g h-l e v e l　　　　　　　l a n g u a g e[A].　O S D I'08[C].　S a n　D i e g o,　C a l i f o r n i a:　U S E N I X　A s s o c i a 　　　　　　t i o n,　 .1　-　14.
@@[42]　M i c r o s o f t　A z u r e[E B/O L].　h t t p://w w w.n i c r o s o f t.c o m/w i n d o w s a z u r e/.　　　　　　 .
@@[43]　E L T A B A K　M　Y,　T I A N　Y,　O Z C A N　F,　e t　a l.　C o H a d o o p:　f l e x i b l e　d a t a　
　　　　　p l a c e m e n t　a n d　i t s　e x p l o i t a t i o n　i n　h a d o o p[A].　P r o c　V L D B　E n d o w 　　　　　m e n t[C].　 .
@@[44]郑湃,崔立真,王海洋等.云计算环境下面向数据密集型应用的数　　　　据布局策略与方法[J].计算机学报. (8:　1472-1480.　　　　　　Z H E N G　P,　C U I　L　Z,W A N G　H　Y,　e t　a l.　A　d a t a　p l a c e m e n t　s t r a t e g y　f o r　　　　　　　d a t a-i n t e n s i v e　a t p l i c a t i o n s　i n　c l o u d[J].C h i n e s e　J o u r n a l　o f　C o m 　　　　　p u t e r s, (8:　1472-1478.
@@[45]　F I S C H E R　M　J,　S U　X,　Y I N　Y.　A s s i g n i n g　t a s k s　f o r　e f f i c i e n c y　i n　H a 　　　　　d o o p:　e x t e n d e d　a b s t r a c t[A].　S P A A'10[C].　N e w　Y o r k,　N Y,　U S A:　A C M,　　　　　 .30-39.@@[46]　J I N　J,　L U O　J,　S O N G　A,　e t　a l.　B A R:　a n　e f f i c i e n t　d a t a　l o c a l i t y　　　　　　　　d r i v e n　　t a s k　　s c h e d u l i n g　　a l g o r i t h m　　f o r　　c l o u d　　c o m p u t i n g[A].
　　　　　　　C C G R I D'1　1[C].　N e w p o r t　B e a c h,　C A,　U S A:　I E E E　C o m p u t e r　S o c i 　　　　　　　e t y,　 .295-304.
@@[47]　Z A H A R I A　M,　B O R T H A K U R　D,　S E N　S A R M A　J,　e t　a l.　D e l a y　s c h e d 　　　　　　　u l i n g:　a　s i m p l e　t e c h n i q u e　f o r　s c h i e v i n g　l o c a l i t y　a n d　f a i r n e s s　i n　c l u s t e r　
　　　　　　　s c h e d u l i n g[A].　E u r o S y s'10[C].　N e w　Y o r k,　N Y,　U S A:　A C M,　 .　　　　　　　265-278
@@[48]　I S A R D　M,　P R A B H A K A R A N　V,　C U R R E Y　J,　e t　a l.　Q u i n c y:　f a i r　
　　　　　　　s c h e d u l i n g　f o r　d i s t r i b u t e d　c o m p u t i n g　c l u s t e r s[A].　S O S P　'09[C].　N e w　　　　　　　　Y o r k,　N Y,　U S A:　A C M,　 .261-276.
@@[49]　Z A H A R I A　M,　K O N W I N S K I　A,　J O S E P H　A　D,　e t　a l.　I m p r o v i n g　　　　　　　　M a p R e d u c e　p e r f o r m a n c e　i n　h e t e r o g e n e o u s　e n v i r o n m e n t s[A].　　　　　　　O S D I'08[C].　　B e r k e l e y,　　C A,　　U S A:　　U S E N I X　　A s s o c i a t i o n,　　　　　　　 .29-42.
　@@[50]　S T A N T C H E V　V,　S C H R　O　P F E R　C.　N e g o t i a t i n g　a n d　E n f o r c i n g　Q o S　
a n d　S L A s　i n　g r i d　a n d　c l o u d　c o m p u t i n g[A].　G P C　'09[C].　B e r l i n,　H e i 　　　　　　　d e l
b e r g:　S p r i n g e r-V e r l a g,　 .25-35.
　@@[51]　B U Y Y A　R,　B R O B E R G　J,　G O S C I N S K I　A　M.　C l o u d　C o m p u t i n g　　　　　　　　P r i n c i p l e s　a n d　P a r a d i g m s[M].　W i l e y　P u b l i s h i n g,　 .
　@@[52]　C A L H E I R O S　R　N,　R A N J A N Y　R,　B U Y Y A　R.　V i r t u a l　m a c h i n e　p r o v i 　　　　　　　s i o n i n g　b a s e d　o n　a n a l y t i c a l　p e r f o r m a n c e　a n d　Q o S　i n　c l o u d　c o m p u t i n g　　　　　　　e n v i r o n m e n t s[A].　I C P P'　11　[C].　T a i p e i,　T a i w a n,　C h i n a.
@@[53]　X I A O　Y,　L1N　C,　J I A N G　Y,　e t　a l.　R e p u t a t i o n-B A S E D　Q o S　p r o v i s i o n 　　　　　　i n g　i n　c l o u d　c o m p u t i n g　v i a　d i r i c h l e t　m u l t i n o m i a l　m o d e l[A].　I C C'10[C].　　　　　　 .1-5.
@@[54]　A N D R Z E J A K　A,　K O N D O　D,　Y I　S.　D e c i s i o n　m o d e l　f o r　c l o u d　
c o m p u t i n g　u n
d
e r　S L A　c o n s t r a i n t s[A].　M A S C O T S'10[C].　 .　　　　　　257-266.
@@[55]　S A N T H A N A M　S,　E L A N G O　P,　A R P A C I-D U S S E A U　A,　e t　a l.　D e
　　　　　　p l o y i n g　v i r t u a l　m a c h i n e s　a s　s a n d b o x e s　f o r　t h e　g r i d[A].　W O R L D S'05[C].
B e r k e l e y,
C A,　U S A:　U S E N I X　A s s o c i a t i o n,　 .7-12. @@[56]　R I S T E N P A R T　T,　T R O M E R　E,　S H A C H A M　H,　e t　a l.　H e y,　y o u,　g e t　　　　　　　o f f　o f　m y　c l o u d:　e x p l o r i n g　i n f o r m a t i o n　l e a k a g e　i n　t h i r d-p a r t y
c o m p u t e　c l o u
d s[A].　C C S'09[C].　C h i c a g o,　I l l i n o i s,　U S A:　A C M,　　　　　　 .　199-212.
@@[57]　R A J　H,　N A T H U J I　R.　S I N G H　A,　e t　a l.　R e s o u r c e　m a n a g e m e n t　f o r　
　　　　　　i s o l a t i o n　e n h a n c e d　c l o u d　s e r v i c e s[A].　C C S W'09[C].　N e w　Y o r k,　N Y,　　　　　　U S A:　A C M,　 .77-84.
@@[58]　R O Y　I,　S E T T Y　S　T　V,　K I L Z E R　A,　e t　a l.　A i r a v a t:　s e c u r i t y　a n d　p r i v a c y　
　　　　　　f o r　M a p R e d u c e[A].　N S D T10[C].　B e r k e l e y,　C A,　U S A:　U S E N I X