EMC-Isilon横向扩展存储解决方案.ppt

云计算 大数据EMC IsilonEMC Isilon横向扩展存储解决方案横向扩展存储解决方案技术顾问经理：杨峰Y13811460154现有计算环境的挑战n n计算系统以超级计算计算系统以超级计算计算系统以超级计算计算系统以超级计算机、集群或者网格为主机、集群或者网格为主机、集群或者网格为主机、集群或者网格为主n n多核计算迅速发展多核计算迅速发展多核计算迅速发展多核计算迅速发展，物理机能力越来越强，物理机能力越来越强，物理机能力越来越强，物理机能力越来越强，原有的资源管理与调原有的资源管理与调原有的资源管理与调原有的资源管理与调度器基于度器基于度器基于度器基于物理机，对于调度准确度要求更高物理机，对于调度准确度要求更高物理机，对于调度准确度要求更高物理机，对于调度准确度要求更高 静态调度静态调度静态调度静态调度：基于系统负载状态和作业信息将调度作业到物理机器上：基于系统负载状态和作业信息将调度作业到物理机器上：基于系统负载状态和作业信息将调度作业到物理机器上：基于系统负载状态和作业信息将调度作业到物理机器上 难以满足突发难以满足突发难以满足突发难以满足突发、批处理、批处理、批处理、批处理、CPUCPU密集型、数据密集型等不同类型的作业密集型、数据密集型等不同类型的作业密集型、数据密集型等不同类型的作业密集型、数据密集型等不同类型的作业对于对于对于对于不同的物理资源的需求如果作业类型与机器资不同的物理资源的需求如果作业类型与机器资不同的物理资源的需求如果作业类型与机器资不同的物理资源的需求如果作业类型与机器资源不匹配，会导致源不匹配，会导致源不匹配，会导致源不匹配，会导致作业运行效率低作业运行效率低作业运行效率低作业运行效率低。如果采用多队列调度如果采用多队列调度如果采用多队列调度如果采用多队列调度，又会导致队列之间的共享问题，又会导致队列之间的共享问题，又会导致队列之间的共享问题，又会导致队列之间的共享问题n n计算应计算应计算应计算应用越来越多样化，但是传统调度系统的接口单一、不易扩用越来越多样化，但是传统调度系统的接口单一、不易扩用越来越多样化，但是传统调度系统的接口单一、不易扩用越来越多样化，但是传统调度系统的接口单一、不易扩展，展，展，展，严重限制了应用推广严重限制了应用推广严重限制了应用推广严重限制了应用推广n n基于集群基于集群基于集群基于集群或者网格构建分布式或者网格构建分布式或者网格构建分布式或者网格构建分布式“私有云私有云私有云私有云”，以按需定制的模式提，以按需定制的模式提，以按需定制的模式提，以按需定制的模式提供服务，供服务，供服务，供服务，可满足应可满足应可满足应可满足应用日益增长的多样性和广泛性的需求用日益增长的多样性和广泛性的需求用日益增长的多样性和广泛性的需求用日益增长的多样性和广泛性的需求n n遗留程序遗留程序遗留程序遗留程序越来越多，老操作系统和软件与新硬件无法配合，越来越多，老操作系统和软件与新硬件无法配合，越来越多，老操作系统和软件与新硬件无法配合，越来越多，老操作系统和软件与新硬件无法配合，全部全部全部全部移植几乎移植几乎移植几乎移植几乎不可能不可能不可能不可能 如如如如不能兼容，原有宝贵的数据无法读取和分析不能兼容，原有宝贵的数据无法读取和分析不能兼容，原有宝贵的数据无法读取和分析不能兼容，原有宝贵的数据无法读取和分析n n引入虚拟化技术引入虚拟化技术引入虚拟化技术引入虚拟化技术现有存储环境的挑战n n存储以高性能并行文件系统为存储以高性能并行文件系统为存储以高性能并行文件系统为存储以高性能并行文件系统为主主主主n n容量容量容量容量管理管理管理管理 PBPB成为基本配置，成为基本配置，成为基本配置，成为基本配置，10PB-20PB10PB-20PB已经非常常见已经非常常见已经非常常见已经非常常见n n文文文文件管理件管理件管理件管理 文文文文件数量越来越多，数千万至件数量越来越多，数千万至件数量越来越多，数千万至件数量越来越多，数千万至1010亿级别亿级别亿级别亿级别n n设备设备设备设备老化老化老化老化 硬盘硬盘硬盘硬盘、电源等部件频繁出错，导致服务中断、电源等部件频繁出错，导致服务中断、电源等部件频繁出错，导致服务中断、电源等部件频繁出错，导致服务中断n n元数据问题元数据问题元数据问题元数据问题 可靠可靠可靠可靠性性性性 性能瓶颈性能瓶颈性能瓶颈性能瓶颈n n扩容问题扩容问题扩容问题扩容问题 大规模数据迁大规模数据迁大规模数据迁大规模数据迁移移移移n n引入云存储技术！引入云存储技术！引入云存储技术！引入云存储技术！EMC IsilonEMC Isilon对云存储的需求n n海量数据存储海量数据存储，轻松管理，轻松管理PB级乃至数十级乃至数十PB的存的存储空间储空间n n全局命名空间全局命名空间，所有应用看到统一的文件系统视，所有应用看到统一的文件系统视图图n n支持标准接支持标准接口，应用无需修改直接运行口，应用无需修改直接运行n n读读写性能优异，聚合带宽高达数写性能优异，聚合带宽高达数GB乃至数十乃至数十GBn n易于管理维护易于管理维护，无需中断业务即可轻松实现动态，无需中断业务即可轻松实现动态扩展扩展n n基于开放架构基于开放架构，可以运行于任何开放架构的硬件，可以运行于任何开放架构的硬件之上之上n n多级数据冗余多级数据冗余，支持硬件与软件冗余保护，数据，支持硬件与软件冗余保护，数据高可靠高可靠n n多级存储备份多级存储备份，灵活支持，灵活支持SSD、SAS、SATA、磁带库统一管理磁带库统一管理提纲EMC IsilonEMC Isilon产产品介品介绍绍EMC IsilonEMC Isilon存存储储解决方案解决方案总结总结内容概括您将从中了解：n nEMC Isilon产品技术特性n n如果您的业务系统需要使用横向扩展架构，Isilon哪个型号/功能是您所需要的大数据时代已经到来地球物理勘探医学成像视频监视移动传感器视频渲染基因测序智能电网社交网络电子支付大数据时代的横向扩展架构 VS 纵向扩展架构纵向扩展架构横向扩展架构Faster.Slower.TRAIN STOPS!TRAIN KEEPS GOING!OneFS 操作系统最佳的企业级大数据存储最佳的企业级大数据存储OneFS 7.0 2012/11/26 GAOneFS 7.0 2012/11/26 GA超大容量（20PB+）安全性高卓越性能数据保护可预期的性能互操作性操作简便应对快速增长EnterpriseSCALE-OUTCore InnovationIsilon OneFS Scale-Out Isilon OneFS Scale-Out 系统系统单一文件系统，单一磁盘卷，最大支持20PB+大于80%的存储利用率高性能，全对称的集群系统易管理，易扩展Multi-tier 单一文件系统/单一集群 Scale-Out NAS PerformanceOneFS 7.0 OneFS 7.0 性能新特性性能新特性106GB/s 并发吞吐并发吞吐降低降低50%延迟延迟724MB/s 单流Enterprise IT Enterprise IT 性能考量性能考量随机随机/IO 密集型密集型Big Big DataData 性能考量性能考量吞吐吞吐1.6M IO/sSPECsfs2008 benchmark线性扩展性 20 PB 单一文件系统(144 nodes，4TB SATA盘)最大并发吞吐性能=106 GB/secIsilon典型架构NFS,CIFS,FTP,HTTP客户端/应用端层标准的网络层千兆/万兆Isilon 集群存储层集群存储内部通讯InfiniBand 层WindowsUNIX/LINUXMAC(optional 2nd switch for additional subnet)(optional 2nd switch for high availability)Isilon产品家族Scale-out NAS product familyScale-out NAS product family性能和容量同时线性扩展适用于IOPS密集型应用的高性能解决方案S200高并发高吞吐的解决方案X200X400成本优化的大容量扩展解决方案NL400S-SeriesX-SeriesNL-SeriesIsilon S200 配置可选项2RU2.5”10K RPM SAS HDDDual IB Ports2x10GE Card2x1GE portsVGA(HD15)IPMI Service PortConsole Port(DB9)USB(x2)Power ReceptaclesIsilon S200 前后视图Isilon X200 可选项配置:2RU3.5”7.2K RPM SATA HDDDual IB Ports2x10GE Card2x1GE portsVGA(HD15)Power Receptacles(Nema 5-15R)IPMI Service PortConsole Port(DB9)USB(x2)Isilon X200 前后视图Isilon X400 可选项配置:Isilon X400 后视图1243567812435678Power suppliesBatteriesPower switchUSB portsSerial portGigabit Ethernet external network portsOptional external network portsInfiniband internal network portsIsilon NL400 可选项配置:Isilon Platform 扩展节点性能加速器加速器2颗4核 CPU8/32GB 内存无硬盘2个万兆高速端口或2个千兆端口加入集群时间低于15秒用于增加集群对外服务的吞吐/IOPSIsilon Platform 扩展节点备份加速器加速器2颗4核 CPU8GB 内存无硬盘4个4Gb FC端口支持NDMP V3/V4提供可高达1.7TB/小时的备份速度Isilon OneFS 产品架构n nOneFS OneFS 为为EMC IsilonEMC Isilon专利的操作系统，负专利的操作系统，负责责IOIO调度，集群管理调度，集群管理n nSmartconnectSmartconnect提供应用访问负载均衡和提供应用访问负载均衡和容错容错n nSmartPools SmartPools 提供自动分层功能提供自动分层功能n nSnapshotIQSnapshotIQ提供本地数据保护提供本地数据保护/恢复恢复n nSyncIQ SyncIQ 提供存储间的数据复制（本地提供存储间的数据复制（本地/异地），保证业务连续性异地），保证业务连续性SmartQuotas 报告/管理存储资源的使用，同时拥有精简供应功能SmartLock提供 WORM技术InsightIQ提供存储性能报表和使用趋势分析HDFS特性支持Hadoop大数据应用Aspera for Isilon适用于远程数据复制，提高链路带宽利用率强大但简易Scale-out60 60 秒完成扩展秒完成扩展 无停机时间无停机时间Isilon 线性,可预期的可扩展性n n根据需求增长容量和性根据需求增长容量和性能能 无需超量购买无需超量购买n n存储增加无需增加管理存储增加无需增加管理的时间和精力的时间和精力 减少管理时间和成本减少管理时间和成本 高效的业务的成果高效的业务的成果 n n无需数据移植无需数据移植 单一单一,可扩展的卷可扩展的卷可预期的SLAThe Anatomy of a WriteServers(optional 2nd switch)NFS,SMB,HDFSFTP,HTTPServersServersRAM(Cache)Write CoalescerL2 CacheNV RAMInfinibandHard DriveWrites are cacheduntil write coalesceris full,time limit reached,or protocol requestsconfirmation of deliveryAt the same time,data blocks assignedto other nodes gothrough IB into their L2 cacheOnce all nodes have allthe data and parity blocksin NVRAM,confirmation from all nodes is sent to the node being written to,and a commit is returned to the clientData is then writtenonto the spindlesWrite plan andparity calculatedData block(s)assignedto this node staycached in L2 for futurereads of that fileData is then copied into batterysupplied NVRAMfrom L2 CacheThe Anatomy of a ReadServers(optional 2nd switch)NFS,SMB,HDFSFTP,HTTPServersServersRAM(Cache)L1 CacheL2 CacheNV RAMInfinibandHard DriveIf data isnt already inL2 cache,data block iscopied from the HDDinto L2 cache,then Into L1 cacheData is then reconstructedIn L1 cacheRAM(Cache)L1 CacheL2 CacheNV RAMInfinibandHard DriveIn this example though,sincewe recently wrote the data,itwas already in L2 cache.We dont need to load it from the HDD.It just loads in from theL2 cache into the L1 cacheNode1Node2Node3Data Layout Detailn nExample:3 Node,N+1,1024KB file,Example:3 Node,N+1,1024KB file,ConcurrentConcurrent1024KB File128KB128KB128KB128KB128KB128KB128KB128KB128KB128KB128KB2+1 FECProtection Groups(Stripes)128KB128k Data Stripe Unit128k Protection Stripe UnitNode1Node2Node3Data Layout Detailn nExample:3 Node,N+1,1024KB file,Example:3 Node,N+1,1024KB file,StreamingStreaming1024KB File128KB128KB128KB128KB128KB128KB128KB128KB128KB128KB128KB2+1 FECProtection Groups(Stripes)128KB128k Data Stripe Unit128k Protection Stripe UnitNode1Node2Node3Data Layout Detailn nExample:3 Node,N+2:1,1024KB file,Example:3 Node,N+2:1,1024KB file,ConcurrentConcurrent1024KB File128KB128KB128KB128KB128KB128KB128KB128KB128KB128KB128KB2+1 FECProtection Groups(Stripes)128KBStripe depth is doubledBlocks within the same Stripe now are written to separate drives on each node128k Data Stripe Unit128k Protection Stripe UnitOneFS FlexProtect 磁盘重构n n数据数据ECCECC校验码分布在各个节点的各个磁盘中校验码分布在各个节点的各个磁盘中n n相对传统存储，横向扩展架构有更多的相对传统存储，横向扩展架构有更多的CPUCPU和磁盘参与数据和磁盘参与数据重构重构Isilon传统存储传统存储16 hour rebuild1 hour rebuild最可靠的存储系统FlexP10 GigE dedicatedAccelerator X nodesNFS Failover requiredProcessingITFull access,maintenance interfaceCorporate DNS,no SCStatic(well-known)IPs requiredBizzDRenamed sub-domainCIFS clients(static IP)10.10EShared subnetSeparate sub-domainNFS FVLAN(confidential traffic,isolated)Same physical LAN10.30FStorage nodesNFS clients,no failoverEditors10.20Service IPDNSDelegationRecordIsilonNodeIPBalancePSmartConnectzone Dynamic IPs10.20.25.12510.20.25.12610.20.25.12710.20.25.12810.20.25.12910.20.25.13010.20.25.13110.20.25.13210.20.25.126X1 GigE10 GigE应用负载均衡Smart Connect数据分层存放FAST_POOLOLD_DATASSD/SAS DiskpoolSATA Diskpool数据分层存放新文件写入存储30 天之后文件分布到FAST_POOL数据块自动迁移到OLD_POOL37配额管理及精简供应SmartQuotas基于目录的Quota基于用户的Quota基于组的QuotaThin ProvisionSnapshotIQ SnapshotIQ 快照快照/恢复恢复快速快速有效有效简单简单业务连续性解决方案SnapshotIQ病毒病毒意外删除意外删除(optional 2nd switch)ServersNFS,CIFS,FTP,HTTP(optional 2nd switch)ServersServers备份服务器SAN交换机磁带机FC Accelerator备份服务器上可运行的备份软件业务连续性解决方案NDMP备份业务连续性解决方案SyncIQ北京上海本地/远程数据复制基于IP链路改善数据链路复制效率一对多/多对一方式增强RPO/RTO异步复制方式正向/反向复制SIMPLE多认证域的支持n n例如：整合法律部和财例如：整合法律部和财务部务部;n n财务部拥护登录到财务部拥护登录到LDAP1LDAP1；n n法律部拥护登录到法律部拥护登录到LDAP3LDAP3；n n存储端数据各自独立，存储端数据各自独立，互相无法访问；互相无法访问；SmartConnectZone 1System ZoneSmartConnectZone 2LDAP1Active Directory2LDAP3NISNISLocal UserGroup DatabaseAuth Zone 1Auth Zone 2FinanceLegalLDAP2Active Directory1Group Database对虚拟化的支持对虚拟化的支持CIFSNFSFTPHTTPHDFS(Hadoop)OneFS APIVAAI Vstorage APIs For Array IntegrationVASA Vsphere APIs For Storage Awareness可写虚机克隆网络延迟大大减小与与Vmware完美整合完美整合 简单Platform OneFS REST API 管理和整合更加容易统一化管理和整合第三方应用灵活Hadoop VS.Googlen n技术架构的比较技术架构的比较 数据结构化管理组件：数据结构化管理组件：HbaseBigTableHbaseBigTable 并行计算模型：并行计算模型：MapReduceMapReduceMapReduceMapReduce 分布式文件系统：分布式文件系统：HDFSGFSHDFSGFS HadoopHadoop缺少分布式锁服务缺少分布式锁服务ChubbyChubby ZookeeperZookeeper是是ChubbyChubby的克隆，为的克隆，为HadoopHadoop高可用性服务提供保障高可用性服务提供保障.HBaseMapReduceHDFSBigTableMapReduceGFSHadoop云计算应用ChubbyGoogle云计算应用StorageMapReduce Compute业界唯一的内嵌HDFS的横向扩展存储解决方案 内嵌支持内嵌支持HDFSHDFS 管理管理简单简单 HDFSHDFSTechnology Challenges of HadoopHadoop DAS Environment1Dedicated Storage InfrastructureOne-off for Hadoop only2Single Point of FailureNameNode3Lacking Enterprise Data ProtectionNo Snapshots,replication,backup4Poor Storage Efficiency3X mirroring5Fixed ScalabilityRigid compute to storage ratio6Manual Import/ExportNo protocol supportNameNodeTechnology Challenges of HadoopHadoop DAS Environment1Dedicated Storage InfrastructureOne-off for Hadoop only2Single Point of FailureNameNode3Lacking Enterprise Data ProtectionNo Snapshots,replication,backup4Poor Storage Efficiency3X mirroring5Fixed ScalabilityRigid compute to storage ratio6Manual Import/ExportNo protocol support1x1x2x2x3x2x3x3x1xNameNode1Scale-Out Storage PlatformMultiple applications&workflows2No Single Point of FailureDistributed NameNode3End-to-End Data ProtectionSnapshotIQ,SyncIQ,NDMP Backup4Industry-Leading Storage Efficiency80%Storage Utilization5Independent ScalabilityAdd compute&storage separately6Multi-ProtocolIndustry standard protocolsNFS,CIFS,FTP,HTTP,HDFSHDFSHDFSEMC Isilon Hadoop解决方案提纲EMC IsilonEMC Isilon产产品介品介绍绍EMC IsilonEMC Isilon垂直行垂直行业业解决方案介解决方案介绍绍总结总结能源行业Upstream Processes and Industry Application PartnersUpstream Processes and Industry Application PartnersExplorationDevelopmentProduction EngineeringSeismic acquisitionSeismic processingSeismic&Geological interpretationReservoir ModelingDrilling&testing Production Development and OptimizationReservoir SimulationFacilities&Reservoir EngineeringDrilling programProduction LandmarkProMAX SeisSpaceLDIParadigmEchosSchlumbergerOmegaLandmarkR5000SeisWorksStratWorksGeoProbeDecisionSpaceParadigmSeisEarthStratEarthSchlumbergerPetrelGeoFrameSMTKingdom LandmarkNexusPowerGridVIPParadigmSKUASchlumbergerEclipseIntersectPetrel LandmarkCompassAssetPlannerWellbore PlannerParadigmSysdrillSchlumbergerPetrel DrillingLandmarkOpenWellsSperry DrillingParadigmSysdrillSchlumbergerOsprey Operation LandmarkDecision Space for ProductionTOWSchlumbergerAvocetAutomated Intelligent Data TieringEMC Exploration SolutionsEMC Exploration SolutionsSeismic processingSeismic InterpretationGeological InterpretationReservoir ModelingReservoir SimulationPetroVault:Intelligent Scale-out Tier 2 Storage for Archive and StagingStorage Solutions for Seismic ProcessingIntelligent Scale-out Tier 1 Storage for Interpretation and ModelingMake snapshots easy Use the FUSE IM plug-in to create Petrel snapshots from the simple-to-use Ocean user interfaceAccess a Snapshot Library Browse your library of snapshots:Inside Petrel or within a web-browser By project chronologySelect a snapshot to see:Detailed project attributesStatistics and historical information Only EMC offers a Snapshot Library Feature with the Petrel Snapshot plug-in 云存储+EMC ISILON SCALE-OUT NASJeetu Patel,Syncplicity GM,VPJeff Schultz,Syncplicity,MarketingVinod Muralidhar,Isilon Product Mgmt10 December 2012Streaming recording link:https:/ recording link:https:/ FIREWALLIPHONEANDROIDIPADIPADMACBOOK AIRIPHONEACROSS ALL DEVICESSYNC FILESIT Security and ControlSyncAny FolderSYNCPLICITY DIFFERENCEDISTRIBUTIONGROUP FILEIT Security and ControlSync and NotificationsRead Only PermissionsSYNCPLICITY DIFFERENCEISILONTOMORROW:Cloud Service/On Prem StorageFILESAUTHENTICATIONSyncplicity”Orchestration”AuthenticationMeta DataEncryption KeysSyncplicity”Storage and Compute”FilesON-PREMISECLOUD媒体Typical Architecture BroadcastTypical Architecture BroadcastMedia&EntertainmentTypical Architecture Origin Storage for Content Typical Architecture Origin Storage for Content DeliveryDeliveryMedia&Entertainment Streaming Typical Architecture Film-scan for Archival and Typical Architecture Film-scan for Archival and BroadcastBroadcastMedia&Entertainment1.Scan from Film2.Edit/prepare content 3.Transcode to various formats1.Play out to video tapeTypical Architecture Digital CinematographyTypical Architecture Digital CinematographyMedia&Entertainment1.Transfer from camera source2.Edit content at offline resolution 1.Color correct at full resolution1.Transfer to VFX facilityTypical Architecture Tape to Digital ArchiveTypical Architecture Tape to Digital ArchiveMedia&Entertainment1.Ingest from tape1.Transcode to various formats for VOD or HTTP download1.Store nearline or archive to Backup tape视频监控Video Surveillance Requirement(3)NVR architectureNVR architectureTechnical Requirement全数字网络视频监控系统，全数字网络视频监控系统，满足满足系统开放性、稳系统开放性、稳定性、高扩展性、易维护性、高性价比定性、高扩展性、易维护性、高性价比等要求等要求集中集中存储存储，Scale-out结构结构Applications&Technical北京互信互通北京互信互通Video Surveillance 系统系统-400+HD cameras数据保留数据保留30天天数据年增长量约数据年增长量约20%Isilon Configuration 4 NL400-72TB 节点，节点，200TB 可用容量可用容量集中视频存放，先考虑一期集中视频存放，先考虑一期200TB容量容量支持支持NFS协议协议满足满足HP监控管理服务器监控管理服务器并发访问并发访问Why Isilon基于分布式文件系统的高性能基于分布式文件系统的高性能IP集群存储架构，保集群存储架构，保证视频应用系统并发使用的高性能要求证视频应用系统并发使用的高性能要求单一文件系统，用户操作和管理及其简便单一文件系统，用户操作和管理及其简便 scale-out架构，架构，保证了今后扩容需要保证了今后扩容需要Impact of ChangeImpactEnvironment新疆中泰化学米新疆中泰化学米东工工业园园视频监控系控系统Isilon Scale-out NAS vs.IBM/HPTopo Architecture提纲EMC IsilonEMC Isilon产产品介品介绍绍EMC IsilonEMC Isilon垂直行垂直行业业解决方案介解决方案介绍绍总结总结总结通过本次交流，您已经可以通过本次交流，您已经可以:对对EMC IsilonEMC Isilon存储产品技术特性存储产品技术特性/解决方案有所了解决方案有所了解解n n找出身边具备大数据特性的应用，并提前部署对应的架构找出身边具备大数据特性的应用，并提前部署对应的架构后续如果您准备应对身边的大数据，可以如果您准备应对身边的大数据，可以:n n联系联系EMCEMC技术顾问进一步交流具体解决方案技术顾问进一步交流具体解决方案/案例案例n n更多资料：更多资料：http:/ http:/ CONFIDENTIALINTERNAL USE ONLY2012 APJ Presales Conference Roadshow