资源描述
服务资源网格
(Tao Grid 0.5)
(赵维 2004-6)
(金陵科技学院,南京)
(ygzw@)
目 录
第一章 绪 论………………………………………1
1.1 研究背景与意义….……………………2
1.1.1 相关研究背景
1.1.2 课题的目的和意义
1.1.3 课题的问题
1.2 论文结构
第二章 服务资源网格相关理论….………………3
2.1 网格问题…………….………………….3
2.1.1 网格概念与分歧
2.1.2 网格目的与意义
2.1.3 网格的基本要求
2.2 网格驱动力
2.3 网格特点………………………………...4
2.4 网格体系结构
2.5 网格技术………………………………...5
2.6 网格安全
2.7 网格技术发展趋势
2.8 Tao Grid的两大标准支撑技术………….6
2.8.1 Web Service标准
2.8.2 WS-Resource Framework提议
2.9 现有网格理论与设计的不足
2.10 Tao网格的主要内容…………………7
2.11 Tao网格的理论依据
2.11.1 “形”“神”论
2.11.2 Petri网论
2.11.3 Tao Grid分析……………….….8
第三章 网格基础设施及虚拟操作系统…….……10
3.1 网格的基本软件架构
3.1.1 软件发展历史分析
3.1.2 网格发展技术分析…………….11
3.1.3 网格体系结构的层次模型
3.2 网格基础设施GI及其连通性…….…12
3.3 虚拟操作系统vgOS……………….…13
3.4 网格应用举例………………………...14
3.5 结论
第四章 网格设备个性化安全本地操作系统……15
4.1 网格设备
4.2 rgOS构造……………………………….15
4.3 网格设备操作系统rgOS的优点………16
4.4 网格应用开发
4.4.1 软件过程新解
4.4.2 J*语言…………………………….17
4.5 结论……………………………………...18
第五章 再析Tao Grid
5.1 网格的本质特征
5.2 网络服务、网格资源和网格应用
5.2.1 基本思想与概念
5.2.2 网格资源
5.2.3 共享……………………………….18
5.2.4 网络服务………………………….19
5.2.5 协作
5.2.6 网格应用
5.3 网格数据……………………………..…19
5.4 零星讨论………………………………..20
第六章 网格数据的动态开放多副本管理
6.1 引言……………………………………..21
6.2 DORM…………………………………..22
6.2.1 DORM 的逻辑结构
6.2.2 DORM 机制理论及性质分析…...22
6.3 DORM 的副本定位…………………….24
6.3.1 构造哈希函数…………………….24
6.3.2 FRN 节点的加入………………...25
6.3.3 FRN 节点的退出……...…………26
6.3.4 DORM 定位的性能分析……...…26
6.4 DORM 评估…………………………….27
6.5 小结……………………………………...28
第七章 总结与展望
7.1 论文结语………………………………..29
7.2 我的主要工作…………………………..30
7.3 以后的工作
参 考 文 献…………………………………..31
第一章 绪 论
在1999年图灵奖获奖演说中[1],微软的吉姆.格瑞(Jim.Gray)总结了计算机研究开发的三个主要方向,即巴贝奇问题、布什问题以及图灵问题,指出了今后50年仍然是这三个基本问题。论文从分析吉姆.格瑞的演讲入手,分析当前的计算机发展问题,目的是构造一个支持“即插”“即用”的网格“革命性体系结构”,试图解决面临的发展困惑。
1.1 研究背景与意义
1.1.1 相关研究背景
吉姆.格瑞问题 微软研究院的吉姆.格瑞把三个主要研究方向细化为未来信息技术发展的十二个根本问题,分别是:(1)可伸缩性:除了加入资源,而不做任何其他干预,系统能力就可以自动地提高一百万倍,也就是“即插即效”;(2)图灵测试:具有人一样的“说谎”能力;(3) 听写:应该和人听写母语水平相当;(4)诵读:应该和人诵读母语文本的水平相当;(5)人类视觉:能像人那样识别目标和运动状态;(6)人类记忆:记录下一个人看到和听到的一切,而且可以按照要求迅速提取每个纪录;(7)智能资料存储处理系统:包括文本、音乐、图像、艺术作品及视频等,任何关于所存储资料的问题都可以回答和摘要,回答与摘要的准确程度和速度与该领域的专家相当;(8)远程沉浸、远程观察、远程参与:必须与现场无二;(9)无故障系统:每天可供上百万人使用,而只需要一个非全时工作人员管理;(10)安全性的系统:只向得到授权的人士提供服务,任何未得到授权的人士都无法使系统中断业务,存储于系统中的信息不会被窃取;(11)随时可用:系统在每一百年内中断工作的时间不超过1秒;(12)自动编程:建造一种具有完备性的需求描述语言或用户界面,可以很容易地表述其设计(比现有语言容易1000倍),直接编译,系统应该能对具体应用需求进行推理,对例外情况和不完备需求能提出疑问。
当前的现实和以上的目标距离还很遥远,表明今天的信息技术远没有“成熟”。这个差距不仅是量而且也是质的问题,因为用现有技术简单延伸是无法跨越的,必须在理论和技术上有大的突破性进展。
革命性体系结构 计算机体系结构问题就是吉姆.格瑞的巴贝奇问题。美国国家科学基金会认为高性能计算机发展正处于重要的转型期,并于2001年就启动了一系列项目,鼓励“革命性体系结构概念”的研究,重点包括如何用好摩尔定律带来的硬件进步,提高计算机的效率(utilization)和生产力(productivity):面向服务的或高生产力的高性能计算机体系结构、节点(或者叫其他名词)、处理器芯片、系统软件、编程语言;可信计算与自主计算(自律计算)技术;可重构技术等。美国国家科学基金会最终确定了Cyberinfrastructure项目[2]的重要性和可行性,将于2005年国家每年投资6-10亿美元正式启动,网格就是该项目的重要内容。
普遍计算 普遍计算((Ubiqutous Computing)或普适计算(pervasive computing)[3]解决的是“布什问题”。计算机将无所不在。各种嵌入式计算机将存在于各种设备、工具和设施当中(衣服、家用电器、住宅、办公楼、汽车、公路等等),为人们的衣食住行和工作提供智能监控与服务,所谓的“计算机电子”通过各种无线和有线的互联技术,人们将随时随地都可以联在网上。而这将产生各种各样的新产品和服务,改变政府、企业、金融业的运作模式。例如CRM(Customer Relationship Management客户关系管理)、ERP(Enterprise Resource Planning,企业资源计划系统)以及数据仓库等。
因此普适计算必须是“即插即用”的计算技术,也必须是“插”“用”分离的技术,即具体的应用必须脱离并不依赖于具体的硬件。网格就是这样一种支持“插”“用”分离的虚拟技术。应用都是基于网格基础之上的,称为网格应用,与具体的硬件无关;网格管理着具体的硬件设备,称为网格设备。网格可大至整个社会基础设施,也可小至几台机器,甚至是一个独立的设备,此时网格应用所需资源刚好可以由该(局部)设备提供,不再依赖于网格的其它部分,因此可以把这个网格应用与网格设备从网格上独立出来,特别地称之为“网格电子”,在无线网络不发达的网格早期,“网格电子”很可能发展为一个独立的巨大产业。
人工智能与知识工程 主要解决吉姆.格瑞的“图灵问题”。这方面的研究不如前两方面发展的快,与网格以及论文相关的主要包括基于Internet的知识大规模共享以及语义网建设等知识基础设施等方面内容。
作为社会信息基础设施的网格,其发展离不开人工智能技术的进一步发展。下面将看到,网格将极大地促进人工智能的发展,并最终依赖于人工智能的发展,特别是语义技术和语用技术。吉姆.格瑞难题中的大部分必须依赖人工智能的巨大发展才能解决。
计算机网格 网格技术诞生于上个世纪90年代中期,发展迅速,特别是2001年发明了Web Service技术,网格立即与之结合,在全世界范围内掀起了包括科技界和工业界的网格研究热潮。网格权威Ian Foster认为网格比因特网更进一步:(1)网格计算是指(通过高速网络)集成大量的计算机系统,以提供单一和一组计算机所不能提供的数据处理能力和功能;(2)为满足本地用户的需要,网格系统可以使用共享的语言和接口协议,在全球范围内接入运算资源、信息和服务;(3)对用户而言,组成网格系统的集成网络具有“通透性”,这些由远端提供的服务看起来与本地计算机提供的服务没有区别;(4)网格技术可以实现虚拟组织成员间的大规模科学与商业合作、远程实验、高性能分布式计算及数据分析。Ian Foster进一步认为目前网格已经成功地标准化了创建、使用、探察、发现和管理有状态资源的基础中间件。下一轮的挑战将是如何管理大型分布式的硬件设施,以保证存在失败的情况下能提供可靠的服务?如何才能使用户去利用可点播的资源和服务?在计算机数量和能力呈指数增长的同时,网格概念和技术该如何进一步发展?答案将会从研究和实用经验中得出,而且该答案必将用到自主、普适和点对点(p2p)计算等相关领域出现的创新思想。
网格面临的挑战 成功应用于科技界的OGSA网格体系结构虽然受到工业界的承认,但工业界却在大力开发基于Web Service的产品与服务;学术界质疑网格缺乏理论基础,缺乏研究,也缺乏显示度的应用;人们不怀疑网格的科学目标和远景,但就如何达到这个目标还没有达成完全的共识,而是有各自的想法;以Globus为代表的学术界网格研究有可能被以IBM为代表的产业界超越。
因此有理由相信有关 “革命性体系结构问题”,将是未来几年内计算机领域,特别是网格研究界的重中之重。
1.1.2 课题的目的和意义
综上所述,到目前为止人们对网格理论基础、网格应用、编程语言以及网格“革命性体系结构问题”等的认识还远未统一。现有的网格理论与实践都主要针对科研领域,对网格如何发展为面向社会信息基础设施的理论和技术研究还很不充分,尤其没有社会网格信息基础设施理论模型、 “即插即效”网格设备、“即用”的网格应用的“普适计算”模式、网格编程语言、“网格革命性体系结构”等的专门研究实现。
网格研究指导网格实践,开展网格相关方面的理论研究对网格发展及社会网格信息基础设施建设意义重大,论文试图通过构造“网格革命性体系结构”,整合计算机发展的最新成果,解决以上描述的计算机研究与发展所面临的种种困难,特别是网格发展中的关键问题。
1.1.3 课题的问题
设计网格“革命性体系结构”,研究网格社会信息基础设施上的支持“即插”网格设备与网格应用“即用”的网格虚拟操作系统及网格编程语言等理论和技术问题。
1.2 论文结构
第一章绪论后的章节安排如下,第二章总结网格相关理论,服务资源网格的两大标准基础,阐述服务资源网格的理论依据;第三章具体阐述网格基础设施和虚拟操作系统及其应用;第四章重点阐述“即插即用”网格设备个性化操作系统以及其应用;第五章总结Tao Grid的关键概念,定义网格数据;第六章是网格数据集合的管理机制设计与证明;最后总结与展望在第七章。
第二章 服务资源网格相关理论
“网格”是一个出现于上个世纪90年代中期的新概念,代表着一种先进的计算技术。为了后面具体论述服务资源网格的需要,本章首先从网格问题、网格需求、网格特点、网格体系结构、网格技术、网格安全、网格发展趋势以及服务资源网格的两大标准支撑技术等方面总结介绍网格相关理论和技术知识[22],提出并分析服务资源网格的两个理论依据—中国“形”“神”论哲学以及Petri网原理,分析Tao网格特点。
2.1 网格问题
网格到底是怎样一个技术?前景是什么?应用效果如何?这是网格研究首要解决的问题。虽然网格已经从科研领域进入社会商业应用了,但仍然没有一个统一的认识。本节分析网格基本内涵。
2.1.1 网格概念与分歧
网格概念是借鉴电力网提出来的,网格的最终目标是希望用户在使用网格时,就如同现在使用电力一样方便。网格(Grid)技术是近年来国际上兴起的一种重要信息技术,它的目标是实现网络虚拟环境上的高性能资源共享和协同工作,消除信息孤岛和资源孤岛。网格的作用是将分散在网络上的信息及信息存储、处理能力以合理的方式“粘合”起来,形成有机的整体,以提供比任何单台高性能计算机都强大得多的处理能力,实现信息的高度融合和共享。与它相关的技术包括:实时企业信息系统、网络化虚拟设计环境、因特网技术、知识管理、XML技术、ASP 技术、万维网服务(web service)、语义网(semantic web)、高性能计算等。计算网格构想的提出和当前全世界正在兴起的有关计算网格的研究,越来越清楚地使我们感受到一种信息社会的新的基础设施正在出现,这种新的infrastucture不仅仅可能带来信息资源的获取、分布、传输和有效利用的革命性的、结构性的巨大变化,而且将根本改变我们的研究方式、教育方式、生活方式与生产活动的方式 [35]。人们普遍认为“网格最终应该是一种公共事业”—由网格应用服务商提供服务,这种服务与电话、电力、水、煤气并列,被称为“第五公用设施”[67],网格将是继Internet、网页之后的更大科技进步。
全球网格研究的领军人物、美国阿岗(Argonne)国家实验室的资深科学家、美国Globus 项目的领导人Ian Foster 曾在1998 年出版的《网格:21 世纪信息技术基础设施的蓝图》一书中这样描述网格:“网格是构筑在互联网上的一组新兴技术,它将高速互联网、高性能计算机、大型数据库、传感器、远程设备等融为一体,为科技人员和普通老百姓提供更多的资源、功能和交互性。互联网主要为人们提供电子邮件、网页浏览等通信功能,而网格功能则更多更强,让人们透明地使用计算、存储等其他资源。”
2000 年,Ian Foster 在《网格的剖析》这篇论文中把网格进一步描述为“在动态变化的多个虚拟组织间共享资源和协同解决问题。”至此,人们仍然就什么是网格而争论不休。
2002 年7 月,Ian Foster 在《什么是网格?判断是否网格的三个标准》一文中,限定网格必须同时满足三个条件:(1) 在非集中控制的环境中协同使用资源;(2)使用标准的、开放的和通用的协议和接口(Ian Foster 认为目前只有Globus 才算得上标准协议);(3) 提供非平凡的服务。这三个条件非常严格,象P2P、SUN Grid Engine、Condor、Entropia、MultiCluster 等都被排除在网格之外。
但并不是所有人都同意他的观点,有许多人赞同广义的网格概念,它称作巨大全球网格GGG(Great GlobalGrid),它不仅包括计算网格、数据网格、信息网格、知识网格、商业网格,还包括一些已有的网络计算模式,例如对等计算P2P(Peer to Peer)、寄生计算等。可以这样认为,Ian Foster 赞成狭义的“网格观”,而GGG 是一种广义的“网格观”。
虽然人们对网格的认识有待统一,但越来越清晰地认识到网格就是下一代软件技术,具有全方位的互联互通,强烈地表现出网格整体属性。我认为网格是“虚拟组织”[18]的实现,是未来的社会信息基础设施,人们未来依赖网格就象现在依赖水电一样。
2.1.2 网格目的与意义
网格是借鉴电力网概念提出来的,网格的最终目标是希望用户在使用网格时,就如同现在使用电力一样方便。
网格概念将根本地改变人们对“计算机应用”的看法,这是一种全新的、更方便的计算方式,轻松搞定现今解决不了的更加复杂的问题。建设网格的意义有:
首先是计算能力的限制,网格可以联合并放大全社会的计算能力,这是目前无法想象的。
其次是地理物理位置的限制,把“全社会的计算能力”送到你的桌面。
再次是节约资源,现今的计算机资源利用率远不充分,很多应用又缺乏资源。网格不仅可以把“资源”送到你的桌面,更可以把“应用”放到网格中完成,连“桌面”都可以节省。
最后是网格打破了传统共享与协作方面的限制。网格以“虚拟组织”的方法,实现了全社会范围的资源共享与服务协作。
2.1.3 网格的基本要求
对于网格提供的计算能力,有四个基本要求:可靠性、标准化、易访问和廉价性。可靠性是指网格中个别资源或服务的失效,不影响网格整体性能,具有“地球离开谁都照转”的效果。可靠性要满足各种安全要求,除了传统的加密、认证及防火墙等传统措施,更要有体现网格整体安全的“免疫”性,就象自然界通过保持自然个体遗传物质的特异性来实现个体免疫一样,这是确保自然系统稳定性的客观规律。
标准化是指网格作为社会基础设施,当然得到社会公认,网格的全部技术与实现方法都是以公知的标准接口达到每一个社会成员。易访问性和廉价性也是基础设施所必须具备的条件,这些体现出不同于科学研究的社会属性。
2.2 网格驱动力
应用规模越来越大,传统手段力不从心;待解问题越来越复杂,非集中全社会的力量不能解决;相关技术的出现为网格发展奠定了基础;社会需要建设新的基础设施来促进发展。
•应用驱动 经济社会化、全球化发展导致大量社会服务与联系的大规模应用需求,是网格发展的直接动力。
•问题需求 问题领域不断拓展,问题规模日益复杂化,产生大规模的计算能力需求,局部计算能力无法满足导致打破地域限制的网格技术,实现更大粒度与更大范围的资源共享成为必然趋势。
•相关技术的发展 网格的基础技术包括网络技术、计算机技术以及技术标准化,它们的发展成熟是网格发展的前提。网络的带宽、覆盖范围与寻址能力必须足够,如数兆的网格设备接入带宽,全社会人人、处处随时可以接入网络,以提供或获取资源与计算力,要求普及网格覆盖全社会的IPv6网址协议。在服务资源网格中,进一步提高的计算机计算能力被抽象为由Web Service [17]技术标准定义的网络服务,网格资源在WSRF[70]提议中定义,因此服务资源网格具有标准化的坚实的工业技术基础。
2.3 网格特点
研究网格特点可以更好地认识与把握网格的开发应用。网格具有分布共享性、自相似及整体性、动态多样性以及自治虚拟性等特点。
•分布与共享 网格设备(具有唯一IP网络地址的硬件)是地理上分布的,网格资源(可以网格寻址的抽象)也是分布在不同的网格设备上的,因此只能是分布式的计算模式。
虽然网格资源存在分布性,但网格资源也是可以充分共享的,即网格上的任何资源可以提供给网格上的任何用户。分布性网格资源的共享问题是网格的核心问题。通过网络服务协作实现了物理上分布的网格资源的全局共享,这是网格的本质特征。
•自相似性与整体性 网格系统的局部与整体具有一定的相似性,网格局部也是网格,局部组合成整体时,功能与性能超线形增加,体现出“整体大大大于部分和”的特性。
•动态多样性 网格的动态性是指网格设备的增加与减少,不影响网格其它部分的功能与性能,网格可以自动迁徙相关资源或服务到其它部分,不影响网格的应用性能。
网格设备具有多样异构性,网格资源的多样异构性,是网格的本质特征。解决异构资源的集成正是网格的吸引力所在。
•自治性 网格资源是属于资源所有者的,所有者有权决定资源是否向网格开放(出租换钱)以及向谁、怎么公开。网格资源是否为网格接受并被用户租用,要取决于网格及其用户,用户有权决定自己使用谁的网格资源。
2.4 网格体系结构
体系结构是关于计算机系统中各部分组织与集成的方式。
•网格体系结构 网格体系结构就是关于如何建造网格的技术。它给出了网格的基本组成与功能,描述了网格各组成部分的关系以及他们集成的方式或方法,刻画了网格有效运转的机制。
•分析设计方法 设计或分析网格体系结构,要把握“分”与“合”两个方面。网格是一个复杂巨系统的整体概念,网格体系结构的设计就是把网格整体分解为已经实现或容易实现的部分,分解过程一致要持续到足够清晰明了,网格体系结构必须能够对各个部分的功能、目的、特点与作用以及分解与组合的方式方法过程等进行清晰描述。
网格体系结构的“分”是为了把握网格内部功能,“合”是为了把握网格整体特性。只有充分理解分与合两个方面,才能深入具体全面地把握网格概念,设计出有效实用的网格体系结构。
•五层沙漏模型 目前影响比较广泛的网格体系结构是五层沙漏模型和OGSA模型。沙漏模型是Ian Foster等人在最初的时候提出的,自底向上分别是构造层、连接层、资源层、汇聚层、应用层。构造层连接底层的本地资源和上层,主要是用来为上层访问本地资源提供提供统一接口,屏蔽各地资源的异构性;连接层定义了核心网格事务处理所需的通信和认证协议,提供了加密的安全机制,用于识别用户和资源;资源层的协议调用构造层的功能以访问和控制本地资源;汇聚层建立在资源层和连接层形成的协议瓶颈之上,主要负责多种资源的共享;应用层存在于虚拟组织中,是根据任一层次定义的服务构造的。每一层的API都可以看作与特定服务交换协议信息的实现,应用可以调用更高层的框架和API库。
• OGSA模型 OGSA是由GGF的OGSI工作小组于2002年6月制定的开放式架构。OGSA定义了网格的架构和网格服务的编程模型,列出了建造一个网格服务所需组件,同时给出如何通过网格解决方案来实现一个企业类。包括:物理和逻辑资源层、Web服务层、网格服务层、网格应用程序层。其中物理资源包括服务器、存储器和网络,物理资源之上是逻辑资源,它通过虚拟化和聚合物理层的资源来提供额外的功能;所有的网格资源,不论是逻辑的还是物理的,都被建模为服务,主要有程序执行、数据服务和核心服务等,OGSA是面向服务的体系结构(SOA)。在OGSA中一切都表示为一个遵循一套规范的网格服务。
2.5 网格技术
网格技术是推动网格前进的主要力量,本节分别简要介绍网格应用技术、网格编程技术、网格核心管理技术以及网格底层支撑技术。
•网格技术分类 网格问题是以分布为基础的,广泛、方便、灵活,可以支持大规模、大粒度、大范围的资源共享问题。网格概念是由实际应用中的具体网格问题驱动的,为解决这些网格问题而出现的技术就是网格技术。网格技术可以粗略地分为网格应用技术、网格编程技术、网格核心管理技术、网格底层支撑技术。
•网格应用技术 传统网格应用为分布式计算、实时广域分布式仪器、数据密集型计算以及远程沉浸等。事实上网格应用范围比这要广得多。
•网格编程技术 如何在网格上编程,也即如何在网格上进行应用开发,是网格技术需要解决的重要问题。如果没有工具与环境的支持,直接使用“cut-and-paste”[70]开发网格应用,必然是困难、低效且容易出错的。其中的编程支持系统要考虑:(1)简化网格应用开发过程,提高开发效率;(2)高性能,与脱离开发环境直接编写的性能应该接近。
网格编程方法的设计要充分利用并集成已有成熟的商品化技术。
•网格核心服务技术 网格核心服务是连接协调整个网格有效运转的中枢,研究意义重大。包括(1)系统调度技术,调度网格应用与网格资源分配,网格调度要考虑移植性、扩展性、效率、重复性以及网格调度与本地调度的结合等;(2)高吞吐率网格资源管理技术,主要解决整个网格的效用问题;(3)性能数据收集分析与可视化技术;(4)网格安全技术等等。
•网格低层支撑技术 低层支撑技术构建网格的基础,包括(1)网格节点的构建技术,网格节点是网格资源提供者,网格资源服务是网格技术的重要方面;(2)网络是网格的基础;(3)局部节点的操作系统与网格接口也是低层支持技术范畴。
2.6 网格安全
TCP/IP协议群创造了Internet,基于Internet之上的网格面临多方面的安全威胁:
•技术缺陷 复杂信息系统中的任一部分发生问题都会危及整个系统的安全,这要求提高部件的可靠性之外,还需要设计适当措施,确保当系统的某些本分出错或失效时仍能正常运行。
•外界入侵 包括无组织或自发的入侵活动,即黑客和病毒入侵,也包括有组织的敌意入侵,即信息战。还有一类特殊的威胁来自人为“陷阱”,在非自主技术的系统核心中,可能被开设“秘密通道”或埋伏“信息炸弹”,危害相当大。
•内部泄密 要防止内部人员有意无意地外泄机密信息。
现有的网络安全技术包括网络层、传输层和应用层安全技术,主要有安全认证、身份鉴别、通信加密、私钥保护以及安全委托与单点登录技术等,基本上都是“被动”的防范措施。网格必需要有体现网格整体安全的“免疫”性,就象自然界通过保持自然个体遗传物质的特异性来实现个体免疫一样,这是确保自然系统稳定性的客观规律。
2.7 网格技术发展与趋势
网格概念和技术是在问题与应用的推动下不断发展、丰富和完善的。到目前为止,网格的发展基本上可以划分为三个阶段:
•萌芽期:20世纪90年代早期,主要是千兆网的实验床,以及一些元计算实验;
•实验期:20世纪90年代中晚期,比如I-WAY项目,学术性研究Globus、Legion以及一些应用;
•发展期:本世纪以来,出现了大量的网格计算项目,出现了影响很大的组织—全球网格论坛GGF(Global Grid Forum),同时网格计算也不再仅仅局限于科学研究,工业界与学术界联盟,正致力于使网格计算在更广泛的领域得到推广和应用。
发展网格被认为是下一代Internet的核心任务之一,它已经成为各国的研究热点,例如美国有Globus、Legion、Condor、IPG 等,欧洲有CERN DataGrid、UNICORE、MOL 等,澳大利亚有Nimrod/G、EcoGrid 等,日本有Ninf、Bricks 等,中国有国家网格、上海网格等网格研究项目。
网格技术发展的必然趋势是全球范围内的标准化、技术融合和大型化。
•标准化趋势 2004年1月,Web Service标准与OGSA标准的融合—WSRF框架被提出来了,将发展成为未来的网格新标准。
•技术融合趋势 Globus 项目组看到了Web Services 的巨大潜力,在2002 年迅速将Globus Toolkit的开发转向了Web Services 平台,试图用OGSA 在网格世界一统天下。基于OGSA 之后,网格的一切对外功能都以网格服务(Grid Service)来体现,并借助一些现成的、与平台无关的技术,如XML、SOAP、WSDL、UDDI 等,来实现这些服务的描述、查找、访问和信息传输等功能。这样,一切平台及所使用技术的异构性都被屏蔽。用户访问网格服务时,根本就无需关心该服务是 CORBA 提供的,还是.Net 提供的。
•大型化趋势 美国政府单在网格技术的基础研究上,每年投入的经费就高达5 亿美元。IBM 在2001 年8 月宣布,将投入40 多亿美元进行“网格计算创新计划”(Grid Computing Initiative),全面支持网格计算。IBM成为Globus 的首席合作伙伴,还是OGSA 标准的制定者之一。英国政府宣布投资1 亿英镑,用以研发“英国国家网格”(UK National Grid)。我国也拨出了上亿元的资金用于China Grid 相关的研究。
2000年Web Service标准一经提出,就因其广泛的Web工业基础,立刻受到在科研领域网格研究最成功的Globus项目关注,结合为OGSA标准,并逐步演化重构为网格资源框架WSRF[70]于2004年初被提议出来。目前基于其上的研究工作正如火如荼地在全球范围内开展起来。
2.8 Tao Grid的两大标准支撑技术
建造服务资源网格(英文名叫Tao Grid)的两大标准支撑技术是Web Service[17]和WS-Resource Framework[70]。Web Service是一个标准的访问网络服务框架,目前有W3C、OASIS、WS-I等国际标准化组织定义;WS- Resource Framework是一个由OGSI规范[11]发展而来的通过“无状态”的网络服务访问“有状态”的网格资源的新提议。下面分别介绍:
2.8.1 Web Service标准
网络服务(Web Service)的定义如下:一个网络服务就是一个可以被URI识别的软件应用,它的接口和绑定可以被XML(eXtensible Markup Language)描述和发现,并且可以通过基于Internet的协议直接支持与其他基于XML消息的软件应用的交互。网络服务Web Service是W3C的标准,是许多工业提议的基础,如Microsoft的.NET、IBM的“computing on demand”。与网格有关的三个网络服务标准分别为WSDL(Web Service Description Language)、UDDI(Universal Description Discovery and Integration)和SOAP(Simple Object Access Protocol)。其中WSDL是描述网络服务接口与访问方法的XML文档,复杂服务可以由多个服务复合,它是网络服务的接口定义语言。最近成立的WS-I组织将致力于网络服务的互操作机制。
网络服务描述了一种重要的分布式计算技术,与DCE、CORBA、JAVA RMI等方法不同,它更强调基于单个Internet标准,即XML来解决异构分布计算的问题。网络服务定义了一种用于描述被访问的软件组件、访问组件的方法以及找到网络服务提供者的发现方法的技术,网络服务不倾向于任何特定的编程语言、编程模型以及系统软件。网络服务架构还有如下优点:(1)网格环境需要支持服务的动态发现与组织,在异构的动态环境里,这就需要一些必须用于注册和发现接口的定义与端点实现的描述以及基于特定接口绑定动态产生代理的机制。WSDL提供的标准机制支持这种要求,可以将接口定义(,即WSDL文档)与特定绑定的实现(,即实现特定网络服务功能的一段程序代码)分开。(2)广泛接受的Web Service机制意味着基于网络服务的框架可以开发大量的工具和服务应用。
2.8.2 WS-Resource Framework提议
Web 服务资源(WS-Resource,在服务资源网格Tao grid中,我称它为网格资源)结构已经被在2004年初提议用来定义有状态的网格资源和网络服务之间的关系。网络服务资源框架(WS-Resource framework),是根据特定的消息交换和相关的 XML 定义来定义 Web 服务资源(WS-Resource)方法的描述规范。这些规范定义了网络服务和一个或者多个有状态的网格资源之间的关联(association)方法,描述了定义资源状态的视图,以及网络服务与网格资源(WS-Resource)相关联的总的类型定义的方法,描述了如何通过网络服务接口来访问网格资源(WS-Resource)的状态,定义了网格资源(WS-Resource)分组(grouping)和寻址(addressing)相关的机制。它推动、引进并总结了五个独立的规范文档之间的相互关系,它们都是标准化定义,包括:网格资源属性(WS-ResourceProperties)、网格资源生命期管理(WSResourceLifetime)、可更新的网络服务引用(WS-RenewableReferences)、网络服务组(WS-ServiceGroup) 、 基本错误服务(WS-BaseFaults),以及能够如何支持用于异步通知(asynchronous notification)的网络通知服务机制(WS-Notification)。
2.9 现有网格理论与设计的不足
计算机的许多概念是建筑在主观认识的基础之上的,欠缺理论深度[64]。这对于过去解决主要集中于单机系统或局域网环境内相对简单的计算问题,尚不明显,即使Internet和Web系统,也仅是低层次的邮件传输和网页浏览。目前还普遍认为网格是传统计算机观点的延伸,仍然采用传统计算机分析设计技术来解决网格问题,虽然Globus在科学领域应用取得了一定的成功,人们对他们在面向社会网格应用中同样寄予厚望,但他们自己却在不断地改变着,如2003年7月在OGSI规范中把网格抽象为单一元素—网格服务,而2004年1月就在WS-Resource Framework提议中又把网格抽象为网络服务与网格资源两个元素。
而网格是“把整个国际互联网集成为一台巨大的超级计算机,实现全球范围的计算资源、存储资源、数据资源、信息资源、知识资源、专家资源、设备资源的全面共享”,没有完善的理论支撑是不可能理解和把握如此复杂的网格问题的。正因为此,虽然目前网格概念几乎已经路人皆知,但对网格的性质、构成、发展方向以及与现有计算机的关系等基本方面的认识和理解上,仍停留在传统计算机理论认识上,即使专业研究者也还有感到困惑。
在烦琐冗长的WSDL文档的编写问题上,稍微复杂一点的,目前都只能由手工编写。这显然与今天的计算机技术的发展是不相协调的,必须创造新的支撑开发工具。
作为一个“复杂巨系统”,网格除了要考虑现有的“被动”安全防范措施外,还应该根据复杂巨系统自身的特点,从网格整体出发,研究新的安全理念,设计新的安全措施,确保网格整体的可靠性。
为更好地研究和解决网格问题,必须探讨新的认识论工具和理论分析方法。服务资源网格TaoGrid就是我在这一方面所进行的探索。
2.10 Tao网格的主要内容
论文主要研究内容包括:通过建立并分析网格系统理论模型,揭示其本质特征;研究支持“即插即用”网格设备的网格基础设施环境、网格操作系统、网格应用模型及其设计语言;并对关键实现技术网格数据集管理进行详细设计和论证。试图为建设社会网格信息基础设施作比较全面的理论和技术准备。
2.11 Tao网格的理论依据
服务资源网格是我应用中国哲学思想中的“形”“神”论以及袁崇义的《Petri网原理》[64]对“网格社会基础设施及其上的‘即插即用’网格设备与应用”问题所作的论述与设计尝试,因此我称之为道格论,英文Tao Grid,简称Tao。
由于网格问题本身的极端复杂性,又我认识网格问题的肤浅性以及研究网格时间较短等因素,目前理论尚需完善、分析不很彻底,版本为0.5版。
2.11.1 “形”“神”论
中国哲学“形”“神”论的主要思想是:高级事物普遍具有“形”“神”两个方面的规定性。事物的“神”“形”不可分,事物必须“神”“形”具备才能发生作用。“神”是事物内在的本原灵魂,事物的“神”是唯一的,规定着此事物而非彼事物,事物的“神”是统一的整体,当“神”改变时,事物性质发生显著变化;“形”是事物外在的具体表象,表现着事物某一方面的特征,事物的“形”是众多的、分散的、不相干的、具体的、片段的,“形”的改变不影响事物的性质。事物的“神”统一并规定着事物“形”的行为和组合方式。
就拿建造一栋房子来打比方,事物的“神”好比这栋房子的设计图纸,图纸当然是完整的,否则造不出房子来,不同的设计当然造出不同的房子,图纸决定房子。事物的“形”就好比具体的建筑构件,早期建筑时代,建筑构件比较简单,种类较少,造起房子来就比较麻烦,建筑技术成熟时期,标准构件技术发达,种类繁多,造起房子来又快又标准,而且结构更为合理,房子也更加牢固,易于维护。而这个造房子的过程,却是由网格系统自动完成的!或者说是网格机制自动实现的!
从这个比喻可以看出网格的重大意义,以后
展开阅读全文