计算机网络P2P.ppt

The P2P World1.内容概要何为何为P2P 无结构无结构P2P体系体系无结构无结构P2P体系应用实例体系应用实例 混合式混合式P2P体系及应用实例体系及应用实例结构化结构化P2P体系体系2.ARPAnet“阿帕网”于1969年正式启用，当时连接了4台计算机，供科学家们进行计算机联网实验使用。NSFnetInternetNSF在全美国建立了6个超级计算机中心，允许研究人员对Internet进行访问，以使他们能共享研究成果并查找信息。随着NSFnet的建设和开放，网络节点数和用户数迅速增长。许多国家纷纷接入到Internet，使网络上的通信量急剧增大。19691986 19891992 1995年，“联合网络委员会”通过了一项有关决议：将“互联网”定义为全球性的信息系统。InternetNSFnet最初，NSF主干采用的是56Kbps的线路，到1988年7月，它便升级到1.5M bps线路。这个主干网络就是NSFNET。何为P2PInternet兴起3.WebWeb憧憬憧憬WebWeb瓶颈瓶颈Web的突出表现和它在全球范围内的高速扩张，用户可以通过它实现平等的信息共享、信息交流、信息传输，可以用一个拓扑的结构的形式组织全球的资源以实现资源的充分利用和共享。当用户在网上进行互动活动时，电脑会帮助用户分析这些活动，使用户明白自己在做什么，每个人在什么位置，以及如何更好地协同工作。Web的憧憬与梦想可以说是互联网的精神和核心价值。随着对Web的熟悉，用户使用Web虽然可以容易地访问信息，但却无法很容易地发布信息。信息发布者却必须使用服务器、公共网关接口和一些冗长的缩写词和技术术语来实现信息或资源的发布。虽然人们依然喜欢浏览器，并经常惊叹于HTML页面的炫目图像，但普通网络用户使用最多的还是与他们生活关系最密切的电子邮件和在线聊天。电子邮件和在线聊天所使用的正是正宗的P2P应用程序。何为P2PWeb的发展瓶颈4.何为P2PP2P横空出世Peer-to-Peer 伙伴对伙伴、对等关系伙伴对伙伴、对等关系 Web Web使命：平等、共享、协作使命：平等、共享、协作5.何为P2P定义目前，在学术界、工业界对于P2P都没有一个统一的完整定义，通常我们所说的P2P网络有下面两层意思：P2P网络是一种用户之间通过某一相同的网络应用程序联系起来，彼此之间可以相互访问、共享计算机资源的网络。是一种网络概念。P2P网络是一种不通过中央服务器而将一些独立的计算机资源组织起来，通过Internet运行于个人计算机上，以实现共享文件和资源的应用。P2P就是一种网络，一种架构在Internet上的网络技术。其核心思想是没有了中央服务器的概念，将Internet建立在对等互联的基础上以实现最大程度的资源共享。6.P2P特点P2P是对等的资源的发布与接受两个角色合二为一，在生产和消费资源的角色上是对等的P2P是直接的P2P网络中无中介、等级、格式、区域和平台的限制，相互之间直接交换信息和服务P2P是双向的P2P网络中，节点之间是最直接最纯粹双向关系，且实现了资源和服务的交换与共享P2PP2P是动态的是动态的组成P2P网络的节点可以动态地加入或退出，在运行过程中也是动态的提供资源和服务P2P是有效的P2P是及时的无服务器参与空间分配，可提供实时的、可升级的信息可充分利用个人计算机的软硬件设备，信息和服务在节点间传输时交互的对象及接收的目标是确定的、有效的7.P2P发展历史 USENET的出现的出现 Napster的兴起的兴起 最早的最早的P2P思想雏形思想雏形在这个原始系统中，并没有现在网络中的客户机、服务器这种模式，每台主机互联，相互之间都被同等地对待一种分布式远程信息交换和讨论的系统，可帮助用户组织内容并提供一种自组织方法不对外提供应用服务，也不存放任何实体资源，只是作为实体资源的目录或索引而存在8.P2P发展历史 Napster的兴起9.P2P发展历史 Napster的兴起Napster客户端Napster客户端Napster客户端Napster客户端Napster客户端中央索引服务器向索引服务器请求MP3文件返回请求的返回请求的MP3文件文件此主机上有所请求的MP3文件需要下载MP3文件的主机lNapster系统中的文件搜索模型图系统中的文件搜索模型图10.不同类型P2P网络几乎同时出现，无明确界定，大致分类：无结构P2P网络：分布/松散的结构混合式P2P网络：C/S、P2P模式的混合结构化P2P网络：准确、严格的结构P2P网络实质上指TCP/IP模型(四层模型)中应用层的工作方式，包括结点工作模式与计算模式等；下面三层通常采用标准、单一的工作方式，本身并没有集中式与分布式之分，只是为应用层不同的工作方式提供底层的服务支持。P2P网络分类网络分类11.无结构无结构P2P网络的特点网络的特点覆盖网拓扑结构 无结构，指覆盖网没有固定、严格的拓扑结构，而是一个随机生成、松散组织的普通图，但总是符合某种模型的一种结构。a.小世界模型：指任一两个网络节点间的距离很短，并且对每个节点而言，其邻居节点相识（互相连接）的频率很高，所以节点集群现象明显。b.幂律模型：网络中拥有连接数L的结点占网络结点总数的份额正比于L-a,a是取决于网络本身的常数因子，因此网络中大多数结点连接数很少，少数结点连接数很多。12.无结构无结构P2P网络的特点网络的特点点对点之间互有连结资讯，彼此形成无规则网状拓扑结构。需要请求某资源点时，以广播方式寻找，通常会设TTL（生存时间），即使存在也不一定找得到资源。无结构网络没有全局路由表，不可能预先知道要找的数据在哪里，只能随机路由，通常以洪泛法为基础，通过TTL限制搜索半径。洪泛法：路由覆盖范围是以TTL为半径的圆，不保证找到实际存在的文件。13.无结构无结构P2P网络优势和缺陷网络优势和缺陷优势网络拓扑简单易实现容错性、自适应性都好于结构化P2P可以具有很强的安全性和匿名性数据复制方案很多缺陷路由效率低可扩展性差数据无法准确定位14.无结构无结构P2PP2P体系体系概念概念即为计算机的连接及组织所形成的结构，直观上看，就是在计算机网络中传输媒体的互连的各种设备的物理布局，特别是计算机分布的位置及电缆如何通过它们网络拓扑网络拓扑l常见的网络拓扑结构图15.无结构无结构P2PP2P体系体系概念概念拓扑结构拓扑结构拓扑结构拓扑结构P2PP2P结点间拓扑结构是确定系统类型重要依据面临挑战是如何在没有中心服务器的模式下维护网络拓扑结构l集中式拓扑：Napster l全分布式结构化拓扑：l全分布式非结构化拓扑：eMulel混合式拓扑：BT基于拓扑结构的基于拓扑结构的P2PP2P分类分类问题问题216.无结构无结构P2PP2P体系体系 概念概念全分布式全分布式P2P网络结构也被称作广播式的网络结构也被称作广播式的P2P网络结构模型，网络结构模型，它包括两种类型：它包括两种类型：全分布式全分布式结构化结构化P2P网络网络全分布式全分布式非结构化非结构化P2P网络网络全分布式全分布式P2P网络分类：网络分类：17.无结构无结构P2PP2P体系体系概念概念 全分布式无结构化全分布式无结构化P2P网络对信息定位没有网络对信息定位没有严格的限制，信息自由存储。系统构建比较简单严格的限制，信息自由存储。系统构建比较简单随意，在实际应用中适合于信息发布、即时通信随意，在实际应用中适合于信息发布、即时通信等主机随时加入和退出的情况。这种结构的覆盖等主机随时加入和退出的情况。这种结构的覆盖网络一般采用基于完全随机图的组织方式，结点网络一般采用基于完全随机图的组织方式，结点度数服从度数服从Power-law规律（幂次法则），从而能规律（幂次法则），从而能够较快发现目的结点。够较快发现目的结点。18.无结构无结构P2PP2P体系体系应用实例应用实例eMuleeMule2002年年05月月13日，一个叫日，一个叫Merkur的人，基于的人，基于eDonkey2000客户端，开发出客户端，开发出eMule的的P2P软件软件问题问题319.无结构无结构P2PP2P体系体系应用实例应用实例eMuleeMuleu从从eDonkey说起说起eDonkey2000（俗称“电驴）由原先Napster中几个技术人员设计。eDonkey2000的设计者吸取了Napster的教训，在文件共享的时候不作主机，只作索引。eDonkey是建立在P2P技术上的文件共享软件。20.无结构无结构P2PP2P体系体系应用实例应用实例eMuleeMuleueDonkey原理原理21.无结构无结构P2PP2P体系体系应用实例应用实例eMuleeMuleueMule出现出现不需要服务器来存放共享文件，节省服务器架设，海量硬盘，网络带宽搜寻速度快，可搜寻所有共享文件允许传输任何格式的文件提供多路径获取文件，同时从多重地址下载同一个文件支持同步下载与上传，并且具有续传功能22.无结构无结构P2PP2P体系体系应用实例应用实例eMuleeMule下载下载功能功能搜索搜索功能功能免费免费开源开源eMule主要特点主要特点23.无结构无结构P2PP2P体系体系eMuleeMule网络结构网络结构eMule网网络络由由eDonkey2000覆覆盖盖网网络络（eD2k网网络络）和和Kademlia覆盖网络（覆盖网络（Kad网络）组成网络）组成l覆盖网络模型图覆盖网络模型图eD2k：分块下载的双层无结构P2P网络Kad：无服务器网络24.无结构无结构P2PP2P体系体系eMuleeMule网络结构网络结构eDonkey2000网络网络是一种档案分享网络，文件基于点对点原理传输，而不是由中枢服务器提供eDonkey客户端程序连接到eD2k网络中来共享文件。而eDonkey服务器作为一个通信中心，使用户在eD2k网络内查找文件。任何人都可以作为服务器加入这个网络，由于服务器经常变化，客户端经常更新它的服务器列表。25.无结构无结构P2PP2P体系体系eMuleeMule网络结构网络结构eDonkey2000网络网络需要专用服务器以保证网络的运行。依赖于花费大量带宽、CPU时间的用户来运行服务器。理论上，更易受到互联网攻击问问 题题Kad网络网络26.无结构无结构P2PP2P体系体系eMuleeMule网络结构网络结构lKad无中心服务器的网络拓扑结构图Kad是点对点（P2P）重叠网络，以达成非集中式的P2P网络。它规定了网络的结构规范了结点间的通信和交换信息的方式。通过独特的以异或算法为距离度量基础，建立了一种全新DHT（分布式哈希表）拓扑结构，大大提高了路由查询速度。Kad网络网络27.无结构无结构P2PP2P体系体系eMuleeMule网络结构网络结构下载下载速度速度加快加快文件源文件源增加增加搜索搜索文件文件增加增加对于LowID和经常下载源在国外的文件用户，效果明显，不会出现没有源的情况，差别只是源多少问题使用使用Kad好处好处28.无结构无结构P2PP2P体系体系eMuleeMule工作原理工作原理eMule工作原理工作原理对对eMule文件资源搜索文件资源搜索选择下载文件，选择下载文件，eMule记录文件大小、文件名、记录文件大小、文件名、hash值值eMule向所有添加服务器发出请求，要求得到相同向所有添加服务器发出请求，要求得到相同hash值文件值文件eMule直接和拥有该文件的用户沟通，看是否可从其那下载所直接和拥有该文件的用户沟通，看是否可从其那下载所需文件需文件拥有该文件用户不止一个，文件可以以片段形式存在拥有该文件用户不止一个，文件可以以片段形式存在客户端之间进行通信，交互文件内容，也可向其他需要此文客户端之间进行通信，交互文件内容，也可向其他需要此文件客户端上传件客户端上传下载时点对点进行直接对话，期间没有数据流通过服务器下载时点对点进行直接对话，期间没有数据流通过服务器服务器返回持有该文件的用户信息服务器返回持有该文件的用户信息29.混合式混合式P2PP2P体系体系概念概念 在结构化的P2P网络中，随着联网结点的不断增多，网络规模不断扩，通过这种Flooding方式定位对等点的方法将造成网络流量急剧增加，从而导致网络中部分低带宽结点因网络资源过载而失效。由于没有确定拓扑结构的支持，分布式的P2P网络无法保证资源发现的效率，因此发现的准确性和可扩展性是非结构化网络面临的两个重要问题。通过将分布式P2P去中心化和集中式P2P快速查找的优势综合起来，形成半分布式P2P结构（混合式）.30.混合式混合式P2PP2P体系体系原理原理在混合式P2P网络结构中，将整个网络中的结点按能力不同（计算能力、内存大小、连接带宽、网络滞留时间等）区分为普通结点和超级结点两类。超级结点也叫搜索结点，与其临近的若干普通结点之间构成一个小型的、自治的、基于集中式的P2P网络模式。31.混合式混合式P2PP2P体系体系特点特点优势一优势一有效消除纯分布式有效消除纯分布式P2P结构结构中使用泛洪算法带来的网络中使用泛洪算法带来的网络拥塞、搜索迟缓拥塞、搜索迟缓优势二优势二确保些恶意的攻击行为在网确保些恶意的攻击行为在网络中得到局部控制，一定程络中得到局部控制，一定程度提供网络负载平衡度提供网络负载平衡劣势一劣势一对超级结点依赖性大，易于对超级结点依赖性大，易于受到集中攻击，容错性也受受到集中攻击，容错性也受到影响到影响32.混合式混合式P2PP2P体系体系应用实例应用实例BitTorrentBT俗称变态下载，是一个多点下载的源码公开的点对点软件，可以让用户快速地上传和下载有庞大数据量的各类文件。Bram Cohen BT下载创始人33.混合式混合式P2PP2P体系体系应用实例应用实例BitTorrent传统下载方法与传统下载方法与BT下载比较下载比较HTTP、FTP下载原理下载原理BT下载原理下载原理BT下载：作为服务器的下载：作为服务器的Peer把文件传给其他的把文件传给其他的Peer后，各个后，各个Peer之之间也进行交互传。这样，单一的下载源就变成了多个源，间也进行交互传。这样，单一的下载源就变成了多个源，Peer越多，越多，彼此之间交互的范围和数量也就越大，下载速度也就越快。彼此之间交互的范围和数量也就越大，下载速度也就越快。34.混合式混合式P2PP2P体系体系应用实例应用实例BitTorrentBT下载的部署下载的部署要完成一个BT下载过程，至少需要一个静态的“元信息”文件（由发布者建立），一个跟踪（tracker）服务器和终端下载者。这里，终端下载者指的就是用户的PC，也就是BT的下载客户端。35.混合式混合式P2PP2P体系体系应用实例应用实例BitTorrentBT工作原理工作原理BT的工作是从解析元信息文件（的工作是从解析元信息文件（.torrent文件）开始的，从文件）开始的，从.torrent文件里得到文件里得到Tracker信息，然后与信息，然后与Tracker交互得到交互得到Peer信息，在信息，在Peer间进行交互实现下载。间进行交互实现下载。.torrent的作用的作用 开始开始-续传的实现和续传的实现和SHA-1校验校验 得到得到peer主要工作结点主要工作结点主要工作结点主要工作结点 服务器会做什么服务器会做什么36.BT的下载实现的下载实现混合式混合式P2PP2P体系体系应用实例应用实例BitTorrent作为种子的Server，存储有一个完整的文件，这个文件分为四个块，即文件的分片，刚开始，每个Client都得到这个文件其中之一分片得到分片后的4个客户机不再与服务器交互，直接通过ClientClient之间的交互相互之间下载资源37.混合式混合式P2PP2P体系体系应用实例应用实例BitTorrent片段选择片段选择通过BT下载的流程可知，在下载过程中将文件分片是个必须的过程，BT将文件切割为固定大小的片段（典型的大小是256K）。Peers只有在检查了片段的完整性之后，才会通知其他peers拥有这个片段。在BT下载过程中，选择一个好的顺序来下载片段，对提高性能非常重要。一个差的片段选择算法可能导致所有的片段都处于下载中，或者另一种情况，没有任何片段被上传给其他peers。38.混合式混合式P2PP2P体系体系应用实例应用实例BitTorrent片段选择片段选择随机的第一个片段随机的第一个片段最少优先最少优先最后阶段模式最后阶段模式严格的优先级严格的优先级片段选择片段选择ADBC39.混合式混合式P2PP2P体系体系应用实例应用实例BitTorrent阻塞机制概念阻塞机制概念节点间建立连接后，进行内容分发的过程中，一个节点可能会同时收到来自它多个节点的要求下载文件分片的请求。如果本节点同时满足所有这些请求，向所有这些节点发送文件，就可能会造成本节点性能下降以及网络拥塞。为了避免这种情况，对部分节点请求进行阻塞。40.混合式混合式P2PP2P体系体系应用实例应用实例BitTorrentBT系统阻塞算法系统阻塞算法（一）（一）TFT阻塞算法阻塞算法节点以回报的方式，选择当前向自己上传文件速节点以回报的方式，选择当前向自己上传文件速度最快的一定数量的结点作为自己的服务对象度最快的一定数量的结点作为自己的服务对象.（二）乐观阻塞算法（二）乐观阻塞算法从所有向自己发出申请节点里面随机选择一个为从所有向自己发出申请节点里面随机选择一个为其提供上传服务，不管对方当前是否为自己服务其提供上传服务，不管对方当前是否为自己服务（三）种子阻塞算法（三）种子阻塞算法由于种子节点不再需要下载，决定因素是只为由于种子节点不再需要下载，决定因素是只为下载速度最快的那些节点服务，以便最大化上下载速度最快的那些节点服务，以便最大化上传带宽，加快文件的分发传带宽，加快文件的分发41.eMuleeMule与与BTBT的比较的比较不需要服务器来存放共享文件，节省了服务器架不需要服务器来存放共享文件，节省了服务器架设、海量硬盘、网络带宽设、海量硬盘、网络带宽每个用户端节点都同时是文件下载者和提供者每个用户端节点都同时是文件下载者和提供者加入的人越多，下载速度越快，资源越丰富加入的人越多，下载速度越快，资源越丰富共享方便共享方便对硬盘的损害对硬盘的损害严重占用带宽严重占用带宽助长了病毒的传播助长了病毒的传播可能面临着版权侵害的风险可能面临着版权侵害的风险 GoodBad42.结构化结构化P2P网络网络结构化与非结构化模型的区别在于每个节点所维护的邻居是否能够按照某种全局方式组织起来以利于查找。通常采用分布式散列表（DHT）技术实现路由。DHT思想：每条文件索引被表示成一个（key,value）对，key是关键字，可以是文件名的散列值，value是实际存储文件的节点的IP地址。节点查询文件，只要把文件关键字散列成key值，再根据key 查找到对应信息的存储位置，从而快速定位资源。43.结构化结构化P2P网络：网络：分布式散列表DHT分布式散列表DHT是P2P网络中的核心设施，在结构化网络中尤其重要。所有的结构化P2P网络都使用分布式散列表（DHT）来将结点、数据对象映射到覆盖网中为使这种映射唯一、均匀、随机，分布式散列表都使用安全的一致性散列函数，其中最著名、也被大多数P2P系统采用的安全散列函数是SHA-1（安全散列算法），它能产生均匀、随机、与输入无关的160位散列值，并且散列值冲突的概率极小理论上SHA-1等可以破解，但实际很困难，且在P2P网络中替换散列函数并不复杂44.结构化结构化P2P网络网络Chord与CFS：简单、精确的环形P2P网络CAN：简单、容错的多维空间P2P网络Tapestry与OceanStore：广域的超立方体结构P2P网络Pastry：容错的混合式结构P2P网络其他结构化P2P网络：Kademlia，SkipNet，Viceroy，Koorde，Cyloid。45.ChordChord采用带弦环拓扑结构，通过一致性散列函数将结点、数据对象映射到覆盖网上，数据对象（索引）由其后继结点负责，简单、精确正是Chord最大的特点每个Chord结点维护一个很小的路由表，后继关系是Chord定位的基础，路由表可以将定位路径长度缩短为O(logN)跳Chord需要保持两个不变的属性才能正确工作：后继正确、后继对对象的索引正确Chord采用周期性的稳定算法和路由表更新算法检查和修正后继关系及路由表项46.CFS（Cooperative file system）CFS协同文件系统是以Chord为基础的P2P协同只读文件存储系统，文件分块存储CFS由三层构件组成Chord，底层定位散列表：维护路由表，定位数据块所在的服务器DHash，分布式数据块散列表：中间层，分布和缓存数据块以平衡负载，复制数据块以容错，并通过服务器选择来减少时延；使用Chord定位数据块FS，File System，文件系统：高层，从DHash层获得数据块并转换为文件，给更高的应用提供文件系统接口47.CFS文件系统类似UNIX文件目录结构，只是以根块代替根目录、以元数据块代替子目录、以数据块代替文件，而以块标识代替文件地址CFS对Chord的改进：采用前驱列表定位以提高定位容错性，使用服务器选择减少定位时延，对结点ID认证以防止ID伪造和IP虚报CFS对数据块采用后继复制以提高数据可用性，同时减少了客户获取数据的时延；采用路径缓存提高系统工作效率，同时避免热点数据的后继结点负载过重；采用“虚拟结点”和“限额”方法提供负载均衡48.路由和定位路由和定位路由和定位路由和定位的方式通常取决于两个因素覆盖网拓扑结构、路由表结构结构化P2P网络通常都维护一个比较小的路由表，采用分布式、局部性的贪心路由算法，逐步缩小当前结点与目的结点之间的ID差异通常定位效率为O(logN)跳，并且能保证定位成功，单就覆盖网而言，此定位效率接近最优49.路由和定位路由和定位结构化的P2P网络主要的路由方式有：数值邻近路由逐位匹配路由位置邻近路由层次路由混合式路由50.感谢亲观看此幻灯片，此课件部分内容来源于网络，感谢亲观看此幻灯片，此课件部分内容来源于网络，如有侵权请及时联系我们删除，谢谢配合！如有侵权请及时联系我们删除，谢谢配合！