曙光LoongStore集群式文件存储系统.doc

资源描述

曙光LoongStore集群式文件存储系统北京市曙光计算机公司北京龙存科技有限责任公司联合推出 2008 曙光LoongStore集群式文件存储系统 3 系统简介 4 产品构成： 4 功能特点： 4 不适用点： 4 感觉性弱点： 4 适用范围： 5 同现有存储技术比较 6 现有存储解决方案 6 （1）直连存储—DAS 6 （2）网络存储—SAN 7 （3）附网存储－NAS 7 现有存储系统的主要缺陷 8 曙光LoongStore集群存储系统结构介绍 9 概述 9 系统构成 10 元数据服务器集群 11 智能数据存储服务器集群 12 各种存储设备的优缺点比较如下： 14 类似案例--Google-fs 15 Google集群存储与曙光LoongStore集群存储系统参数对比 16 曙光LoongStore集群存储系统总体特性 17 高度灵活的硬件配置 17 高效的海量小文件管理技术 18 高效的并发文件读写技术 18 特有的多数据通道技术 19 全系统规模数据高可用技术 19 全局一致映像，提高应用系统的高可用 20 动态在线扩容 20 动态在线负载均衡 20 在线硬件升级替换 21 曙光LoongStore集群存储系统的使用流程 22 基于曙光LoongStore集群存储系统的使用案例（1） 23 某大型互联网站图片存储解决方案 23 基于曙光LoongStore集群存储系统的使用案例（2） 24 某大型视频存储解决方案 24 曙光LoongStore集群式文件存储系统 --全球第一款多元数据服务器协同工作集群存储系统采用完全自主、业内领先的多元数据服务器技术，可以高效管理几亿至上百亿个文件采用完全自主、业内领先的快速文件查询技术，一个目录下可以高效存放几百万到上千万个文件，并且可以快速查找其中的任何一个文件 --网络存储技术的革命性改变能够提供几十GB至上百GB的聚合数据读写带宽具有极高的并发I/O性能及文件的创建和查询效率（这一点对于Web相关的应用尤其有效）提供全局单一系统映象，所有应用服务器看到相同的视图，可以访问所有的文件 ---全面解决目前文件存储系统中的各种局限通用--应用无需修改或重新编译，提供完全POSIX标准的访问接口，可以对文件进行随机读写和修改，提供简洁统一的配置管理设施，简化文件系统的管理，极大的简化系统部署难度、缩短系统部署周期低成本--可完全通过通用标准部件构建大规模高效率的在线存储系统，可动态按需扩展存储空间和应用服务器，保护用户的投资高效能--可根据用户的实际应用访问模式进行针对性的定制，充分发挥硬件性能，支持应用高效运行高可用--在某些数据存储节点失效的情况下仍然能够访问所有数据高效的自动数据恢复技术，恢复时间只是通用RAID技术的五分之一曙光LoongStore集群式文件存储系统当今网络存储应用的首选技术简化存储系统的管理，降低整体应用部署难度提高对高并发访问的支持能力，提供几十至数百GB的聚合数据带宽采用通用设备和独特的存储机制，在大幅降低系统构建成本的同时，还可提供极高的系统性能，并使存储系统更加安全可靠系统简介产品构成：一套以软件为主，软件加专用服务器及定制存储服务器的软硬件结合产品，可基于用户现有设备改造。功能特点：解决现有文件存储包括以数据库形式管理的文件系统的读写I/O问题，尤其是对大量小文件的并发访问有明显的速度提高；彻底消除存储带宽屏颈；解决数据信息共享问题，完全的全局文件共享，对任一台应用服务器可访问全部文件，所有存储硬盘可视为同一块硬盘；数据安全性问题，任意一块或多块硬盘同时损坏，数据不丢失，并以写盘的速度同步恢复，所有访问应用不中断。解决扩展性问题，应用及存储硬盘线性扩展，可以一块硬盘为单位在线增容。解决应用透明性问题（无关性），使用本技术现有应用完全无需改变，硬件设备基本无需改变。不适用点：目前本解决方案只适用于windows及各种Linux版本，不能直接作用于任何小型机Unix系统，本技术对纯数据库应用如结构化数据存储无效。感觉性弱点：存储硬盘的使用量较现有Raid技术多60%以上，即每100G真实数据需200G以上硬盘容量，但实际用户用现有技术解决方案的存储用量及成本均大于本方案。适用范围： 1、以网站形式开展的各类应用服务，尤其是拥有大量音、影、视文件、图片文件、图书报刊文件的应用场景。典型用户就是：广播电视台新媒体网站、互联网音视频、图片网站，数字图书馆等等；目前已安装使用的此类用户的实际情况反映，本技术几乎有不可替代的效果，较用户之前的投入明显降低、效能明显提高。其中一些用户由于数据量庞大，每日还在大量新增、用户访问量亦同步增加，之前采用的各种国际先进技术均难以支撑服务。此类应用的特征是： 1）文件种类庞杂、多种格式、音频、视频、图片、文件并存 2）上传量、访问量与日俱增，几十T到几百万T的存储量，几千万到几亿的文件量，每日都有大数额增加。 3）因业务快速发展的原因，需不停扩展设备、带宽容量、不断修改应用，充分考虑数据安全性。 2、大文件并行高速访问类应用，主要应用场景为视频监控、视频点播、IP TV、石油、卫星类勘测、生物计算等等场景。此类应用方案另行专题介绍。 3、内部大量综合文件资料的管理、高效访问、共享环境，其应用特征（影像、图片、文档等等）同网站类似，但需依行业及具体用户情况而定解决方案。同现有存储技术比较现有存储解决方案（1）直连存储—DAS –两种架构方式服务器内置磁盘服务器挂接盘阵 –问题扩展性差—一旦服务器上的存储设备空间放满将无法继续写入数据，只能用更大空间的设备替换，并拷贝原设备中的数据可靠性差—一旦某个服务器崩溃或者存储设备故障将造成服务中断或者数据丢失应用构建复杂—必须由应用系统负责数据的分布，增加应用开发的复杂度和难度管理复杂—随着应用规模的增大，管理负担随着激增服务质量无法保证—由于每个服务器独立负责一部分数据服务，很容易造成服务的热点问题（2）网络存储—SAN –基于块的访问接口，应用服务器看到的仍然是一个设备，而不是一个文件系统 –无法直接使用，为每个服务器分配一个独立的卷，通过文件系统或者数据库才能使用 –同一个卷，同一时刻只能有一台应用服务器进行读写访问，无法进行文件数据的实时共享读写，形成信息孤岛 –无法避免DAS所具有的问题 –扩展性有限，无法构建大规模的统一存储系统 –价格昂贵 –产品类型 IP-SAN: iSCSI-SAN FC-SAN IBA-SAN （3）附网存储－NAS –基于通用的文件访问协议 NFS、CIFS –单一服务器，容易成为性能瓶颈 –只能有效支持小规模的应用服务器（几个到十几个） –存储容量很有限，扩展性差 –无法支持大规模、高负载的应用高负载将会中断数据读写过程 –价格昂贵现有存储系统的主要缺陷当今用户对存储性能的需求越来越高，直连存储已经很少有企业选择了。NAS、SAN成为了当前主流的存储方式。但是无论是NAS还是SAN，在系统性能、安全性、可扩展性、成本等各方面都存在无法克服的问题。系统性能：都存在系统瓶颈，对高并发访问请求响应不及时。安全性：存储单元使用RAID技术，这就使得系统的安全性很难保证。在实际应用环境中，如果RAID中有磁盘出现故障，会有几种情况发生： 1. 及时处理，更换故障磁盘，恢复数据，在恢复数据时会导致存储对应用服务器数据请求响应变慢，甚至需要暂停服务。 2. 没有及时更换故障磁盘，并且此时又有磁盘出现故障。或者在更换磁盘、恢复数据的过程中又有磁盘出现故障，这种情况可能导致整个RAID中的数据完全丢失。可扩展性、成本：系统扩展难，并且系统性能并不会随着扩展而提升，都使用专用存储设备，价格高昂。曙光LoongStore集群存储系统结构介绍概述当前主流的存储方式，基本都采用本地文件系统，把文件的元数据和文件数据内容都放在一起，而这种模式存在如下问题： 1.每个应用服务器只能访问属于自己的一个单独的卷，这样如果有100台应用服务器，有1亿个文件，每个应用服务器只能访问到其中的100万个文件，一来增加应用开发的难度，需要由应用自身决定文件存放的位置，二来应用服务架构的安全性和可靠性得不到保障。 2. 每个应用服务器只能通过本地文件系统去管理卷上的文件，现有的本地文件系统无法有效管理海量的文件，比如几千万甚至上亿个文件，主要问题在于要在这么多的文件里面随机查找其中的一个文件会非常慢,延迟很高。 3.文件系统操作的过程中60%都是针对元数据（比如查找文件操作等）的，元数据的数据量比较碎，对磁盘性能的影响很大，对读写数据的流程造成干扰。本系统将文件的元数据和文件数据分开管理，并通过特有的元数据服务器集群技术，彻底的解决以上提到的问题。系统构成 –元数据服务器集群 –智能数据存储服务器集群 –应用服务器集群元数据服务器集群硬件构成：普通服务器作用：存放文件的元数据，管理整个文件系统的名字空间。提供单一的系统映象。特点：多元数据服务器。可快速响应前端应用服务器的文件请求，通过扩展元数据服务器数量可线性的提高存储系统对文件请求的响应速度。各元数据服务器之间互相备份，任何一台元数据服务器出现故障都不会影响系统正常使用。前端应用服务器看到的是同一的命名空间，便于做负载均衡。也使得应用服务器出现故障时可快速恢复服务。智能数据存储服务器集群硬件构成：普通服务器或PC+磁盘（各类型）作用：存储应用文件的数据特点：故障探测、自我修复可使用通用硬件设备构建独特的文件存储与备份机制每个文件被系统分割成多块后按一定规则存放在各存储服务器中，并且每块文件在其他服务器中至少有1份备份（根据安全和性能需求可设定为多份）。性能：前端应用请求一个文件时，各服务器同时提供这个文件的不同“块”，使得整体存储系统具有极高的聚合带宽。并且作为备份的文件块，也可同时为前端应用请求服务。增加文件的备份数，在提高系统安全性的同时，还可以极大的提高系统的性能。存储服务器可以使用多套子网，聚合数据通道，提高系统性。安全性：如其中一台服务器出现故障，那么系统会利用其它服务器中存放的文件块备份，自动的将故障服务器中存放的文件块恢复到其它服务器上，恢复速度为RAID的5倍。并且在恢复过程中无须中断前端应用服务。在故障服务器修复后，或有新的服务器替换后，还会自动的将其原有的内容恢复回来。扩展性：可在线扩容，系统可在运行中加入新服务器，新加入的存储容量会实时更新到前端应用。扩容后，系统会自动按照新的总体容量，将已有的文件块均匀的分配到各服务器，平衡个服务器负载。各种存储设备的优缺点比较如下：主流存储 DAS NAS FC iSCSI 曙光LoongStore集群存储连接方式 SCSI数据线 RJ45 10/100/1000M 光纤传输 RJ4510/100/100M RJ45 10/100/100M 安装难度中复杂复杂复杂容易可扩容程度不可扩容可扩容/成本高/性能降低可扩容/成本高/性能降低可扩容/成本高/性能降低可扩容/成本低/性能提高维护程度简单中复杂中简单文件共享无支持无无支持块存储无无支持支持支持性能低低高中高安全中中中中高成本低高高中低类似案例--Google-fs 目前业界采用类似存储解决方案的只有Google一家 Google Fs是Google公司为了各项业务的海量数据存储需求而开发的集群文件系统，其具备了多项极具特色的功能支撑起了业务数据的高效运转，并极大控制了成本支出，以比竞争对手更具优势的基础架构支撑起各项业务的快速发展，给竞争对手带来了巨大的压力。 Google Fs具有如下几个特点： 1. 高聚合带宽：Google Fs使用了极具伸缩性的集群架构，使用大量的普通服务器同时提供数据存储服务，业务数据分散存储于不同的服务器上，业务可并发的从多台不同的服务器上读写数据，有效支撑了高并发负载时应用的正常运转。 2. 容错功能：Google 认为软硬件故障在现实系统中是正常发生的事件，例如网络中断、磁盘损坏、系统宕机、操作系统崩溃、软件BUG、人为误操作、电源中断等等故障，因此在这套系统中将每一个文件的数据同时存储在三台独立的存储服务器上，同一时刻发生两台存储服务器故障不会影响数据的安全性和完整性，业务也可无间断的运行。该容错功能允许Google庞大的数据中心能够在以最少的管理维护工作之下保持业务长时间稳定运行。 3. 成本控制：完全使用工业标准的通用服务器硬件作为构建单元构建整套集群存储系统，无需购买昂贵的专用存储设备，比如光纤盘阵、光纤交换机等。良好的成本控制让Google能够快速的推出极具竞争力的业务，对其竞争对手带来巨大的压力。 4. 数据处理：Google FS只针对自身“一次写多次读”模式的应用，不能修改已存在文件的内容。 5. 不兼容POSIX：由于Google FS只为了自身业务需要而开发了该套系统，其实现时只遵循了自身业务需要，未提供标准的文件系统接口，不兼容POSIX标准，应用程序为了使用该存储系统必须修改数据读写接口，并重新编译。 Google集群存储与曙光LoongStore集群存储系统参数对比：参数 Google集群存储系统曙光LoongStore集群存储系统容量 PB级 PB级性能随规模扩展而增长随规模扩展而增长硬件兼容性任何工业标准的存储设备任何工业标准的存储设备硬件容错自动处理：网络中断、磁盘损坏、设备故障自动处理，快速恢复：网络中断、磁盘损坏、设备故障可扩展性支持动态扩展支持动态扩展成本低低大文件支持高效高效小文件支持低高效能否修改文件内容否能 POSIX兼容不兼容，需修改应用程序标准，应用无需编译即可运行曙光LoongStore集群存储系统总体特性通用－应用无需修改或重新编译，可直接使用提供全局单一系统映象，所有应用服务器看到相同的视图，可以访问所有的文件对应用透明的高可用技术，在某些数据存储节点失效的情况下仍然能够访问所有数据高效的自动数据恢复技术，恢复时间只是通用RAID技术的五分之一可动态按需扩展存储空间和应用服务器提供简洁统一的配置管理设施，简化文件系统的管理具有极高的并发I/O性能及文件的创建和查询效率（这一点对于Web相关的应用尤其有效）低成本，可完全通过通用标准部件构建大规模高效率的在线存储系统，保护用户的投资可根据用户的实际应用访问模式进行针对性的定制，充分发挥硬件性能，支持应用高效运行提供完全POSIX标准的访问接口，可以对文件进行随机读写和修改高度灵活的硬件配置可以通过通用的硬件设备构建大规模的存储系统 –普通服务器 –通用存储设备：磁盘、盘阵、IP-SAN、FC-SAN等不依赖于任何硬件，与所有通用硬件兼容用户可以根据自身应用需求选择不同档次的硬件设备可以利旧—用户如果已经有部分可用的硬件设备存在也可以用来作为存储系统的构建单元，保护用户的既有投资高效的海量小文件管理技术采用完全自主、业内领先的多元数据服务器技术，可以高效管理几亿至上百亿个文件采用完全自主、业内领先的快速文件查询技术，一个目录下可以高效存放几百万到上千万个文件，并且可以快速查找其中的任何一个文件能够高效支持海量图片存储分享、大容量邮件系统等需要存储和访问海量小文件的应用高效的并发文件读写技术特有的大文件读写加速和聚合技术能够为前端应用提供高效的聚合文件读写性能能够提供几十GB至上百GB的聚合数据读写带宽能够充分发挥后端所有存储服务器上的物理硬件性能能够高效支持高清视频、数字电视、高性能计算等对大文件读写性能要求较高的应用特有的多数据通道技术当前服务器都自带两个以上千兆网络接口曙光LoongStore集群存储多通道技术能够将多个不同的网络通路同时使用起来，提供更高的数据访问性能比现有的网卡绑定技术提高80%的性能全系统规模数据高可用技术自动故障识别 –系统自动快速识别故障存储设备 –系统自动快速识别故障存储服务器自动启动故障恢复流程 –系统一旦识别出故障发生即刻启动故障恢复流程快速故障恢复 –全系统规模的故障恢复技术，恢复效率比现有存储系统快5倍以上 –已有案例：一个存有6TB数据的存储服务器崩溃之后只需要不到两个小时就全部恢复完毕故障识别和恢复过程全部自动进行，无需管理人员的参与，减少了人为错误带来的影响全局一致映像，提高应用系统的高可用所有前端的应用服务器看到完全一致的、标准文件系统视图所有应用服务器可以访问到所有的文件部分应用服务器故障，不会造成服务的中断，提高应用的可用性动态在线扩容动态在线增加存储设备 –允许动态增加单块存储设备 –允许动态增加存储服务器 –用户在使用的过程中随时都可以进行扩容操作扩容过程无需中断应用的正常使用新增容量即插即用为用户规划未来存储空间提供了极大的便利节省了用户的一次性投资规模，真正做到按需扩容动态在线负载均衡存储系统扩容之后存储负载处于极端不平衡状态，无法达到性能与容量的线性增长，因此要求存储系统本身必须具备负载均衡的能力曙光LoongStore集群存储允许用户在任何时刻启动全系统规模的负载均衡 –现有具备负载均衡机制的NAS或者SAN系统增加存储空间之后立即启动负载均衡过程，如果前端应用负载较高将严重影响前端应用的正常数据读写，甚至无法响应应用的请求曙光LoongStore集群存储的负载均衡机制允许用户根据当前负载的情况选择合适的时机触发启动，并且可以随时停止负载均衡过程，具有极高的灵活性负载均衡过程全部在后台进行减小对前端应用的影响特有的全系统规模负载均衡机制，以极高的速度快速完成负载均衡过程，极大降低对应用的影响负载均衡过程同时兼顾数据的活跃性，使得负载均衡结束后热点数据也能够均衡的分布在各个存储服务器上，提高系统的整体效率，达到性能线性增长的效果在线硬件升级替换当系统中的存储服务器硬件无法满足当前及今后应用发展的需求时，可以进行在线硬件升级更换更换流程 –加入新的、满足需求的存储服务器 –依次关闭旧的存储服务器 –系统自动将原有旧服务器上的相关数据快速均匀的迁移到新的存储服务器上整个硬件升级替换流程无需中断前端应用的正常服务曙光LoongStore集群存储系统的使用流程 •与用户一起规划系统配置—规模、服务器个数及硬件配置 •安装操作系统—推荐使用RedHatAS 5.x、CentOS5.x以及OpenSuSE10.x •配置网络—可配置成多套子网 •上传存储可执行代码包 •系统配置—支持远程配置 •启动存储系统 •交付应用使用基于曙光LoongStore集群存储系统的使用案例（1）某大型互联网站图片存储解决方案 –应用特点海量的图片文件，总量可达到几亿至十几亿文件大小从几百字节到几百K字节每天新增图片为几百万张至上千万张每天图片访问量达到几个亿 –使用曙光LoongStore集群存储系统之前的解决方案采用高端的NAS服务器，价格昂贵受NAS所能支持负载的限制，一旦负载比较高，很容易造成前端应用服务器的阻塞甚至崩溃一旦某台NAS服务器故障，将造成大量数据无法访问 –曙光LoongStore集群存储系统解决方案通过曙光LoongStore集群存储系统构建了一个完全统一的存储系统，每一个图片服务器都可以访问到所有的图片文件，为应用服务器端的负载均衡提供充分的条件存储服务器以及磁盘的故障不会对整个系统的正常服务造成影响由于这套方案使用的都是之前其它应用淘汰的设备，因此无需投入任何硬件采购的费用，极大地保护了用户现有的投资，节省了成本系统可以轻易的在线扩容高吞吐率，高并发访问的情况下仍能确保前端应用服务畅通无阻基于曙光LoongStore集群存储系统的使用案例（2）某大型视频存储解决方案 –应用特点大量的视频文件文件大小从几兆至几百兆不等极高的并发请求量 –使用曙光LoongStore集群存储系统之前的解决方案采用高端的SAN，价格昂贵将SAN分卷使用，一台服务器访问一个卷（DAS模式）由应用层通过数据库来管理视频文件的存储位置，数据库容易成为瓶颈视频并发访问效率比较低，负载无法均衡 –曙光LoongStore集群存储系统解决方案由曙光LoongStore集群存储系统统一管理所有的视频文件，每一个视频服务器可以访问到所有的视频文件存储服务器以及磁盘的故障不会对整个系统的正常服务造成影响采用通用的存储服务器构成，极大地降低了成本每个视频服务器可以处理更大量的请求负载存储空间可以动态在线按需扩展北京市曙光计算机公司地址：北京市海淀区西四环北路10号电话：400-7060-198

展开阅读全文