关于存储与IOPS的正确观念PPT学习课件.ppt

关于存储的正确观念关于存储的正确观念及及CURTIS公司的产品公司的产品和服务和服务 Agenda常见的用户存储需求常见的用户存储需求用户对存储的一些错误认识：用户对存储的一些错误认识：许多磁盘阵列的性能（许多磁盘阵列的性能（IOPS）都高于都高于500,000“4Gb光纤光纤+SBOD”盘阵的性能（盘阵的性能（IOPS）会比会比“2Gb光纤光纤+JBOD”盘阵高盘阵高100%以上以上盘阵中的盘阵中的Cache在所有情况下都能提升存储性能（在所有情况下都能提升存储性能（IOPS）数据库中所有的数据都需要高性能（数据库中所有的数据都需要高性能（IOPS）分层存储解决方案分层存储解决方案TCO分析分析Curtis公司的公司的“IT系统能力评估分析和优化服务系统能力评估分析和优化服务”当今仅有的自动、智能化分层存储：当今仅有的自动、智能化分层存储：STORAGE CENTER 在招标中常见的用户存储需求在招标中常见的用户存储需求存储性能：磁盘系统的性能（IOPS）500,000；磁盘系统裸容量：XXX TB；可靠性：存储系统必须通过提供可用的部件冗余设计，如电源、风扇及核心关键模块等，使系统的可靠性达到最高级别；开放性：磁盘系统应具有多平台/多主机的连接能力，能满足服务器及应用系统集中对数据存储和管理的要求；同时，可以集中管理和分配存储容量，提高生产效率。提供对主流集群系统的支持；可管理性：可通过存储管理软件集中管理；能通过Web、控制台、GUI界面等方式对磁盘阵列的各项指标进行管理和调整；用户清楚其需要的存储性能是什么吗？用户清楚其需要的存储性能是什么吗？招标采购的存储系统在真实应用环境中的性能究竟是多少？不同的业务数据分别所需的存储性能是多少？Agenda常见的用户存储需求常见的用户存储需求用户对存储的一些错误认识：用户对存储的一些错误认识：许多磁盘阵列的性能（许多磁盘阵列的性能（IOPS）都高于都高于500,000“4Gb光纤光纤+SBOD”盘阵的性能（盘阵的性能（IOPS）会比会比“2Gb光纤光纤+JBOD”盘阵高盘阵高100%以上以上盘阵中的盘阵中的Cache在所有情况下都能提升存储性能（在所有情况下都能提升存储性能（IOPS）数据库中所有的数据都需要高性能（数据库中所有的数据都需要高性能（IOPS）分层存储解决方案分层存储解决方案TCO分析分析Curtis公司的公司的“IT系统能力评估分析和优化服务系统能力评估分析和优化服务”当今仅有的自动、智能化分层存储：当今仅有的自动、智能化分层存储：STORAGE CENTER 宣称自己磁盘阵列宣称自己磁盘阵列IOPS达几十万、几百万的比比皆是达几十万、几百万的比比皆是 同样配置的磁盘阵列在不同标准下测出的同样配置的磁盘阵列在不同标准下测出的IOPS结果有天壤之别结果有天壤之别IOPS测试结果数值大小取决于很多测试参数测试结果数值大小取决于很多测试参数：测试数据的类型：顺序还是随机？测试数据块的尺寸大小；被测存储产品的RAID级别设置；被测存储产品的磁盘数量及转速；很多厂商产品彩页上很多厂商产品彩页上公布的公布的IOPS是对该产是对该产品品Cache顺序读测试顺序读测试结果结果!100%顺序读的顺序读的IOPS会比会比100%随机写的随机写的IOPS高高25倍以上！倍以上！反映反映OLTP、数据库和数据库和e-mail等真实应用环境下的等真实应用环境下的存储性能是：存储性能是：SPC-1 IOPSSPC（存储性能理事会）是一个非赢利的组织，它的成员由几乎全部的国外存储厂商和部存储性能理事会）是一个非赢利的组织，它的成员由几乎全部的国外存储厂商和部分大学、研究机构组成，其使命是定义、标准化存储系统的基准测试分大学、研究机构组成，其使命是定义、标准化存储系统的基准测试。SPC-1基准测试基准测试:按右表的读写比例，以不按右表的读写比例，以不同的数据块尺寸产生同的数据块尺寸产生I/O数据流对存储系统数据流对存储系统进行测试进行测试 最好地模拟了联机事务处理（OLTP）、数据库和e-mail等真实应用环境下的存储性能。SPC Benchmark-1 VisionSPC-1 IOPS(Maximum Throughput)SPC-1 LRT(Best Response Time lite load)Price（每SPC-1 IOPS的价格）CapacityData ProtectionRead(%)Write(%)All(%)Random293261Sequential112839All4060100Figure 1:Response Time/Throughput Curve00Throughput in I/O Requests per SecondResponse Time in millisecondsResponse Time Sensitive ApplicationsSPC-1 LRTThroughput Sensitive SystemsSPC-1 IOPSIncreasing BSU Load 何处可查各厂商磁盘存储系统的存储性能（何处可查各厂商磁盘存储系统的存储性能（SPC-1 IOPS）？）？SPC网站（网站（http:/www.storageperformance.org/results/benchmark_results_spc1）上公布了大多数存储厂商的磁盘存储系统的上公布了大多数存储厂商的磁盘存储系统的SPC-1基准测试报告；基准测试报告；每份每份SPC-1基准测试报告包括：基准测试报告包括：SPC和厂商双方对和厂商双方对SPC-1测试结果的签字认可；测试结果的签字认可；SPC-1测试结果；测试结果；被测磁盘存储系统的详细配置和价格；被测磁盘存储系统的详细配置和价格；被测磁盘存储系统的测试配置连接图；被测磁盘存储系统的测试配置连接图；测试详细记录等。测试详细记录等。如何尽量提高被测磁盘阵列的如何尽量提高被测磁盘阵列的SPC-1 IOPS测试测试值值?SPC-1基准测试虽规定了严格的顺序和随机读写比例和数据块尺寸以及在何种磁盘负载情况下取值，但没有规定被测磁盘阵列使用多少块磁盘，也没有规定被测磁盘阵列设置何种RAID级别。用户仔细阅读SPC-1基准测试报告就可发现各厂商都采取以下办法增加被测磁盘阵列的SPC-1 IOPS值：尽量使用小容量（如36GB、73GB）、高转速（15Krpm）的磁盘；尽量增加被测产品的磁盘数量；因为单块磁盘的容量越小、转速越高则其IOPS值越高，磁盘数量越多则通过RAID0获得的IOPS值越高；尽量选择RAID10设置，因为在各种RAID级别中，RAID10的IOPS值最高；一些一些SPC-1 IOPS测试测试值超过值超过1010万的存储产品万的存储产品 当今世界不存在当今世界不存在SPC-1 IOPS超过超过50万的万的磁盘磁盘阵列！阵列！除了固态存储外，除了固态存储外，SPC-1 IOPS测试值超过测试值超过10万的磁盘阵列只有三个品牌的六种型号；万的磁盘阵列只有三个品牌的六种型号；总结所有的总结所有的SPC-1基准测试报告，从中得出的结论是：基准测试报告，从中得出的结论是：SPC-1 IOPS测试测试值随被测存储产品的磁盘数量值随被测存储产品的磁盘数量和转速的增加而线性增长。和转速的增加而线性增长。未进行未进行SPC-1基准测试的高端存储产品的基准测试的高端存储产品的SPC-1 IOPS估计估计值：值：Fujitsu Storage Systems ETERNUS8000 Model 2100（最多可容纳2760块磁盘）：其满配置的SPC-1 IOPS估计值=（2760/664）X 108,745.34=452,013.76EMC DMX-3（最多可容纳1920块FC磁盘）：其满配置的SPC-1 IOPS估计值=（1920/512）X 123,033.40=461,375.25HDS USP V（最多可容纳1152块磁盘）：其满配置的SPC-1 IOPS估计值=（1152/512）X 123,033.40=276,825.15 小贴士小贴士1：算算你所采购的磁盘阵列的真实性能：算算你所采购的磁盘阵列的真实性能根据SPC网站上公布的你所购买磁盘阵列型号的SPC-1基准测试报告，你可按下列公式快速地估算所采购的磁盘阵列的真实性能和可靠性：所购盘阵的真实性能（所购盘阵的真实性能（SPC-1 IOPS）=实际采购磁盘阵列的磁盘转数（RPM）/SCP-1报告中被测磁盘阵列的磁盘转数（RPM）X 实际采购磁盘阵列的磁盘数量/SCP-1报告中被测磁盘阵列的磁盘数量 X SPC-1报告中的SPC-1 IOPS值 可靠性：可靠性：MTTFarray=MTTFdisk/实际采购磁盘阵列的磁盘数量 小贴士小贴士2：为什么：为什么SPC网站上没有网站上没有EMC产品的产品的SPC-1测试报告？测试报告？SPC-1基准测试以512 bytes、1K、2K、4K、8K、16K、32K、64K、128K、256K、512K等数据块尺寸，按一定比例产生I/O Stream对被测存储产品进行测试；由于EMC的存储产品扇区尺寸为520 bytes，而不是工业标准的512 bytes；因此EMC的产品在SPC-1基准测试时会由于数据尺寸问题而增加额外的操作，致使EMC的产品在SPC-1基准测试结果上吃亏；故EMC后来退出了SPC。ASU-145%ASU-245%ASU-310%ASU-1 StreamsASU-2 StreamsASU-3 StreamS-2S-3S-4S-1S-2S-3S-1I/O Stream GeneratorI/O Command GeneratorI/O RequestsI/O RequestsI/O RequestsI/O Command CompletionStatistics Collection S-1 Agenda常见的用户存储需求常见的用户存储需求用户对存储的一些错误认识：用户对存储的一些错误认识：许多磁盘阵列的性能（许多磁盘阵列的性能（IOPS）都高于都高于500,000“4Gb光纤光纤+SBOD”盘阵的性能（盘阵的性能（IOPS）会比会比“2Gb光纤光纤+JBOD”盘阵高盘阵高100%以上以上盘阵中的盘阵中的Cache在所有情况下都能提升存储性能（在所有情况下都能提升存储性能（IOPS）数据库中所有的数据都需要高性能（数据库中所有的数据都需要高性能（IOPS）分层存储解决方案分层存储解决方案TCO分析分析Curtis公司的公司的“IT系统能力评估分析和优化服务系统能力评估分析和优化服务”当今仅有的自动、智能化分层存储：当今仅有的自动、智能化分层存储：STORAGE CENTER 同样型号同样型号Fujitsu ETERNUS盘阵盘阵在在不同主机接口带宽配置时的不同主机接口带宽配置时的SPC-1测试结果测试结果从SPC网站上找到同一型号Fujitsu ETERNUS盘阵在不同主机接口带宽配置时的二个SPC-1基准测试报告进行比对，得到的结果如下：同样型号同样型号IBM DS系列系列盘阵盘阵在在不同硬盘通道带宽配置时的不同硬盘通道带宽配置时的SPC-1测试结果测试结果从SPC网站上找到同一型号IBM的DS系列盘阵在不同硬盘通道带宽配置时的二个SPC-1基准测试报告进行比对，得到的结果如下：总结：磁盘存储系统的接口带宽对总结：磁盘存储系统的接口带宽对IOPS 的影响的影响从前面二个对比表可以看出：带宽的成倍提高，只带来约6-7%的IOPS 性能提升。说明在OLTP和数据库应用环境下，IOPS 受存储带宽的影响很小。在OLTP和数据库应用环境下，提升存储带宽对改善IOPS不明显的原因是：“木桶”原理、短板效应。在磁盘阵列这个整体中，磁盘本身的性能是其中“最短的一块板”。以身试以身试“法法”的客户：失败的硬件升级改造案例的客户：失败的硬件升级改造案例（1/2）北京某知名外资医院因业务部门抱怨北京某知名外资医院因业务部门抱怨HIS系统的响应时间越来越慢，而对系统的响应时间越来越慢，而对HIS系统进系统进行升级改造的案例。行升级改造的案例。用户系统的硬件：DELL 2650 Server(2X1.8GHz Xeon CPU，2GB的内存，2X18GB硬盘做镜像)；DELL 220S SCSI磁盘阵列（14X18GB硬盘做RAID-5）。用户系统的软件：OS：Microsoft 2000 server，数据库：Microsoft SQL server，应用软件：行业内成熟的HIS软件。第一次升级改造：购买高性能指标的服务器和盘阵第一次升级改造：购买高性能指标的服务器和盘阵 换服务器：换成DELL 6850 Server，CPU 从2个增加到4个，主频从1.8 GHz变成3.4 GHz，内存从2GB扩充到4GB。换存储设备：SCSI盘阵太慢，换成2Gb Fibre光纤盘阵，加上2Gb的光纤交换机，采用最新的SAN存储结构技术，采用DELL推荐的中小企业用盘阵AX150（双控、7X500GB SATA 硬盘，共3.5TB的容量），连同数据备份一并解决。第二次升级改造：应用软件优化第二次升级改造：应用软件优化软件公司尽了力，但应用性能仍然改善不明显。为撇清干系，软件公司找了一高人，检测后确定还是硬件问题，是存储的I/O性能差，问题又推到存储上！以身试以身试“法法”的客户：失败的硬件升级改造案例的客户：失败的硬件升级改造案例（2/2）第三次升级改造：优化存储的第三次升级改造：优化存储的I/O性能性能 DELL的工程师对DELL/EMC盘阵上的系统版本升级并打新的补丁，不见效果；找来公司资深存储工程师一起研究、继续找问题，最后换了一个高级技术经理到用户现场，看了后说：“你这个AX150盘阵规格太低，只适合做备份，不适合做OLTP应用，应该使用更高档的全光纤盘阵，应该就没有问题。”第四次升级改造：更换第四次升级改造：更换4Gb的光纤盘阵的光纤盘阵更换更高指标的存储设备DELL/EMC CX3-20，带宽是4个4Gb，共16Gb的带宽，盘阵Cache是4GB，硬盘使用8块300GB的4Gb光纤硬盘，DELL 6850服务器上再加两块4Gb的FC HBA卡，更换4Gb的光纤交换机。服务器的内存增加到8GB。这个这个用户用户升级改造的案例中，那里出了问题？为什么越改造越慢？升级改造的案例中，那里出了问题？为什么越改造越慢？Agenda常见的用户存储需求常见的用户存储需求用户对存储的一些错误认识：用户对存储的一些错误认识：许多磁盘阵列的性能（许多磁盘阵列的性能（IOPS）都高于都高于500,000“4Gb光纤光纤+SBOD”盘阵的性能（盘阵的性能（IOPS）会比会比“2Gb光纤光纤+JBOD”盘阵高盘阵高100%以上以上盘阵中的盘阵中的Cache在所有情况下都能提升存储性能（在所有情况下都能提升存储性能（IOPS）数据库中所有的数据都需要高性能（数据库中所有的数据都需要高性能（IOPS）分层存储解决方案分层存储解决方案TCO分析分析Curtis公司的公司的“IT系统能力评估分析和优化服务系统能力评估分析和优化服务”当今仅有的自动、智能化分层存储：当今仅有的自动、智能化分层存储：STORAGE CENTER Fujitsu ETERNUS3000 Model700的的SPC-1测试结果测试结果 Fujitsu ETERNUS6000 Model1100的的SPC-1测试结果测试结果 不同不同Cache大小的大小的Fujitsu ETERNUS盘阵盘阵SPC-1测试结果测试结果的比较的比较 IBM TotalStorage DS4800的的SPC-1测试结果测试结果测试日期测试日期测试结果测试结果 IBM TotalStorage DS8300的的SPC-1测试结果测试结果测试日期测试日期测试结果测试结果 不同不同Cache大小的大小的IBM DS盘阵盘阵SPC-1测试结果测试结果的比较的比较 同品牌不同同品牌不同Cache大小的盘阵大小的盘阵SPC-1测试结果的对比结论测试结果的对比结论磁盘阵列的性能磁盘阵列的性能（IOPS）随盘阵磁盘数量和转速增加的随盘阵磁盘数量和转速增加的比例而同比例地增加；比例而同比例地增加；大比例增加磁盘阵列的大比例增加磁盘阵列的Cache，并无法使盘阵性能并无法使盘阵性能（IOPS）获得同比例的增加。获得同比例的增加。在在联机事务处理（联机事务处理（OLTP）、）、数据库和数据库和e-mail等真实应用环等真实应用环境境下，磁盘阵列的性能（下，磁盘阵列的性能（IOPS）受盘阵受盘阵Cache大小的影大小的影响很小。响很小。原因同样是：原因同样是：“木桶木桶”原理，短板效应。原理，短板效应。Agenda常见的用户存储需求常见的用户存储需求用户对存储的一些错误认识：用户对存储的一些错误认识：许多磁盘阵列的性能（许多磁盘阵列的性能（IOPS）都高于都高于500,000“4Gb光纤光纤+SBOD”盘阵的性能（盘阵的性能（IOPS）会比会比“2Gb光纤光纤+JBOD”盘阵高盘阵高100%以上以上盘阵中的盘阵中的Cache在所有情况下都能提升存储性能（在所有情况下都能提升存储性能（IOPS）数据库中所有的数据都需要高性能（数据库中所有的数据都需要高性能（IOPS）分层存储解决方案分层存储解决方案TCO分析分析Curtis公司的公司的“IT系统能力评估分析和优化服务系统能力评估分析和优化服务”当今仅有的自动、智能化分层存储：当今仅有的自动、智能化分层存储：STORAGE CENTER 多数多数多数多数交易频繁应用交易频繁应用的的的的I/OI/O来自于小部分数据来自于小部分数据来自于小部分数据来自于小部分数据所有数据库厂商的性能所有数据库厂商的性能Tuning手册或白皮书都告诫用户：手册或白皮书都告诫用户：需要把数据库中 temp tables,redo logs等单独存储于由尽量多的物理磁盘组成的逻辑卷上(虽然这些文件都很小)；原因：原因：这些数据库文件会被频繁访问，需要较高的存储性能（IOPS），是“hot files”。Cold=80%bulk diskWarm=17-19%cache disk%of total accesses0100%of total dataHot=1-3%SSD100通常的通常的“Hot Files”：Databases:temp tables,redo logs,etc.E-mail:message queues,etc.“Hot Files”的存在，造成运行的存在，造成运行交易交易频繁应用的服务器频繁应用的服务器总是等待总是等待I/O的完成，形成的完成，形成I/O瓶颈。瓶颈。“Hot Files”要求的存储性能（IOPS）最高；“Warm Files”要求的存储性能（IOPS）次之；大部分数据（Cold Files）对IOPS的要求很低。案例一：案例一：某省邮储某省邮储OLTP系统的能力评估分析和优化系统的能力评估分析和优化(1/5)硬件：硬件：IBM p690双机（8 x 1.1 GHz CPU，16GB内存）；EMC Symmetrix（226块 FC Disk）盘阵；软件：软件：应用软件：中联银行核心业务系统软件；数据库：Oracle v9.2.0.4；问题：问题：在每天的营业时段，营业网点柜台用户的请求响应普遍缓慢，严重地影响业务处理和客户服务。案例一：案例一：某省邮储某省邮储OLTP系统的能力评估分析和优化系统的能力评估分析和优化(2/5)通过对用户p690服务器和连接服务器存储系统进行数据采样并分析经UNIX工具获取的硬件资源利用率的负荷，可可确认：确认：服务器服务器CPU的数量和处理能力可以满足当前业务的需求；的数量和处理能力可以满足当前业务的需求；系统盘系统盘SWAP区没有页面的区没有页面的换入换入/换出，说明内存也换出，说明内存也能满足当前业务的能满足当前业务的需求需求；存储系统的存储系统的I/O吞吐能力无法达到应用对数据访问的要求，形成吞吐能力无法达到应用对数据访问的要求，形成I/O瓶颈。瓶颈。案例一：案例一：某省邮储某省邮储OLTP系统的能力评估分析和优化系统的能力评估分析和优化(3/5)EMC工程师已经充分地利用了用户盘阵所拥有的226块光纤盘：将数据充分分散，使每块磁盘都不过载；但有相当数量的磁盘或镜像对（但有相当数量的磁盘或镜像对（hdiskpower）接近过载接近过载。案例一：案例一：某省邮储某省邮储OLTP系统的能力评估分析和优化系统的能力评估分析和优化(4/5)通过对通过对ORACLE的分析发现：的分析发现：OLTP应用对数据库中各个表空间的访问是不均衡的；OLTP应用对数据库中CPEA_SNAP和BAS_DT2两个表空间的读操作几乎占对数据库总读操作的50%。某省邮储某省邮储OLTP系统性能差系统性能差的原因：的原因：OLTP对某些数据对某些数据库文件的过度访问超出了库文件的过度访问超出了EMC磁盘阵列的磁盘阵列的I/O能力，能力，产生产生I/O瓶颈。瓶颈。案例一：案例一：某省邮储某省邮储OLTP系统的能力评估分析和优化系统的能力评估分析和优化(5/5)解决方案解决方案：分层存储：分层存储将被OLTP过度访问的那些表空间，如：CPEA_SNAP、BAS_DT2和BIG_IDX1等，从EMC磁盘阵列中迁移到高性能的存储设备（如固态存储：SSD）上存储，则磁盘阵列的I/O瓶颈问题就可非常简单地迎刃而解。案例二：某省社保案例二：某省社保系统性能系统性能评估分析和优化评估分析和优化（1/5）某省社保系统的硬件：某省社保系统的硬件：Server：6台HP GS80 Server ClusterCPU:8 X 1.224 GHz Alpha EV68Memory:8GB存储：HP StorageWorks XP1024磁盘阵列磁盘总数和类型：40 x 47GB 10K rpm Disks+48 x 73GB 10K rpm Disks+36 x 146GB 10K rpm Disks 64GB Cache软件：软件：数据库:Oracle应用:北控伟仕劳动和社保解决方案（B/S架构，近1500客户端）挑战：挑战：处理一个业务的时间越来越长，导致客户的排队和不满，每月16-25日客户交报表时间尤其严重；出现客户端无法登录情况 案例二：某省社保案例二：某省社保系统性能系统性能评估分析和优化评估分析和优化（2/5）通过6月21日对用户HP GS80服务器和连接服务器存储系统进行24小时的数据采样获取硬件资源利用率的负荷，并初步分析，可可看到看到：服务器服务器CPU的数量和处理能力可以满足当前业务的需求；的数量和处理能力可以满足当前业务的需求；1号机号机2号机号机3号机号机4号机号机5号机号机6号机号机 案例二：某省社保案例二：某省社保系统性能系统性能评估分析和优化（评估分析和优化（3/5）一号一号HP GS80 SERVER对的对的Oracle的访问统计的访问统计 案例二：某省社保案例二：某省社保系统性能系统性能评估分析和优化（评估分析和优化（4/5）五号五号HP GS80 SERVER对的对的Oracle的访问统计的访问统计 案例二：某省社保案例二：某省社保系统性能系统性能评估分析和优化（评估分析和优化（5/5）解决方案解决方案：分层存储：分层存储由于社保应用对数据库中各个表空间的访问是不均衡的，对VCDATA和VCIND二个表空间的访问就超过总访问量的80%。因此将VCDATA和VCIND二个表空间从HP XP1024磁盘阵列中迁移到高性能的存储设备（如固态存储：SSD）上存储，则磁盘阵列的I/O瓶颈问题就可非常简单地迎刃而解。数据库中的不同数据对存储性能（数据库中的不同数据对存储性能（IOPS）的需求是不同的的需求是不同的 数据库厂商的技术文档和众多的应用实例已经清楚地告数据库厂商的技术文档和众多的应用实例已经清楚地告诉了用户：诉了用户：多数应用的数据库中只有少部分数据需要高存储性能（IOPS），大部分数据对存储性能（IOPS）的要求较低；在在OLTP、数据库应用环境下，以下二种提升存储数据库应用环境下，以下二种提升存储性能性能（IOPS）的方式中，哪种方式更加经济合理，用户的方式中，哪种方式更加经济合理，用户应该好好算一算帐：应该好好算一算帐：增加存储系统中磁盘数量来提升存储性能（IOPS），以满足少部分数据对高性能（IOPS）的需求；在存储系统中增加固态存储（SSD），并按数据对IOPS的需求实施分层存储。用户对存储的一些错误认识的总结用户对存储的一些错误认识的总结许多磁盘阵列的性能（许多磁盘阵列的性能（IOPS）都高于都高于500,000实际情况是：实际情况是：当今世界不存在当今世界不存在IOPS 超过超过500,000的磁盘存储系统！的磁盘存储系统！磁盘阵列带宽的成倍提升也会使磁盘阵列的性能（磁盘阵列带宽的成倍提升也会使磁盘阵列的性能（IOPS）相应成比例地相应成比例地得到提升得到提升实际情况是：实际情况是：在在OLTP和数据库应用环境下，和数据库应用环境下，存储性能存储性能（IOPS）受受存储带宽的影响很小。存储带宽的影响很小。磁盘阵列中的磁盘阵列中的Cache在所有情况下都能在所有情况下都能提升存储的性能提升存储的性能实际情况是：实际情况是：在在OLTP和数据库应用环境下，和数据库应用环境下，存储性能（存储性能（IOPS）受受磁盘阵列中磁盘阵列中Cache大小大小的影响很小的影响很小！数据库中的所有数据都需要高性能（数据库中的所有数据都需要高性能（IOPS）实际情况是：实际情况是：多数应用只有数据库中的少数数据需要高存储性能（多数应用只有数据库中的少数数据需要高存储性能（IOPS）！）！Agenda常见的用户存储需求常见的用户存储需求用户对存储的一些错误认识：用户对存储的一些错误认识：许多磁盘阵列的性能（许多磁盘阵列的性能（IOPS）都高于都高于500,000“4Gb光纤光纤+SBOD”盘阵的性能（盘阵的性能（IOPS）会比会比“2Gb光纤光纤+JBOD”盘阵高盘阵高100%以上以上盘阵中的盘阵中的Cache在所有情况下都能提升存储性能（在所有情况下都能提升存储性能（IOPS）数据库中所有的数据都需要高性能（数据库中所有的数据都需要高性能（IOPS）分层存储解决方案分层存储解决方案TCO分析分析Curtis公司的公司的“IT系统能力评估分析和优化服务系统能力评估分析和优化服务”当今仅有的自动、智能化分层存储：当今仅有的自动、智能化分层存储：STORAGE CENTER 满足大多数应用对存储性能需求的最佳选择是分层存储满足大多数应用对存储性能需求的最佳选择是分层存储实施分层存储的依据：实施分层存储的依据：并非所有数据全需要高性能：通常情况只有不到5%的数据需要极高的IOPS，20%的数据需要一定的IOPS，其余数据很少被访问到（对IOPS的需求极低）；不同存储介质的IOPS不同；不同转速的磁盘、不同RAID级别设置所提供的IOPS也不同。实施分层存储的目的：实施分层存储的目的：满足满足存储需求的同时降低存储需求的同时降低TCO存储介质的价格：存储介质的价格：存储介质的价格：存储介质的价格：$/$/GBGB高高高高高高高高存存存存储储储储介介介介质质质质的的的的性性性性能能能能：I IOOP PS S存存存存储储储储介介介介质质质质的的的的可可可可靠靠靠靠性性性性FC SSDRAID 10RAID 5FC or SASRAID 10RAID 5Mid-Tier FCRAID 10RAID 5SATARAID 10RAID 5Tape 用户存储需求和三种存储解决方案的用户存储需求和三种存储解决方案的PK用户存储需求假定：用户存储需求假定：OLTP业务应用，数据库的数据量约1TB，需考虑生产数据快照所需的容量，以一定的业务连续性；数据库的少部分数据I/O需求达45,000 IOPS，其余大部分数据对I/O的要求很低。三种存储解决方案：三种存储解决方案：方案一：采用IBM DS4800进行SPC-1基准测试时所用配置，2 X RAID Controller with 2GB Cache224 X 73GB 15K rpm FC Disks，RAID10配置，可用存储容量8TB，IOPS高达45,000。方案二：用户不清楚磁盘数量与IOPS的关系，故采用5TB常规的IBM DS4800配置，2 X RAID Controller with 2GB Cache15 X 300GB 10K rpm FC Disks安装在一个EXP810 SBOD中，设为RAID10，为生产数据提供2.1TB存储容量；14 X 500GB 7.2K rpm SATA Disks安装在一个EXP100 JBOD中，RAID10配置，为快照提供3TB存储容量。方案三：分层存储解决方案：通常的5TB IBM DS4800配置+10X12GB固态硬盘，2 X RAID Controller with 2GB Cache15 X 300GB 10K rpm FC Disks安装在一个EXP810 SBOD中，设为RAID10，为生产数据提供2.1TB存储容量；14 X 500GB 7.2K rpm SATA Disks安装在一个EXP100 JBOD中，RAID10配置，为快照提供3TB存储容量；10 X 12GB SSD盘安装在一个EXP810 SBOD中，设为RAID10，为对IOPS要求高的少部分数据提供60GB存储容量。三种存储解决方案的三种存储解决方案的PK方案一：方案一：方案一：方案一：IBM DS4800IBM DS4800 SPC-1 SPC-1测试配置测试配置测试配置测试配置方案二：方案二：方案二：方案二：IBM DS4800IBM DS4800 5TB 5TB常规配置常规配置常规配置常规配置方案三：方案三：方案三：方案三：IBM DS4800IBM DS4800 5TB 5TB分层存储配置分层存储配置分层存储配置分层存储配置PKPKPKPK 三种存储解决方案的三种存储解决方案的TCO分析分析 三种存储解决方案的三种存储解决方案的PK结果结果方案一：完全满足用户对存储容量和性能的需求；虽实施简单，但造价昂贵：磁盘的价格占了整个存储系统总价的65%。方案二：只能满足用户对存储容量的需求，而无法满足存储性能的需求；用户选择此方案是错误地认为无论什么配置的IBM DS4800都有45,000 IOPS的存储性能。其实磁盘存储系统的性能在OLTP和数据库应用环境下主要取决于其配置的磁盘数量和转速，IBM DS4800只有配满224块15K rpm的磁盘才能达到45,000 IOPS的性能。用户如实施此方案，其结果只能是应用性能极差，进而导致业务部门的投诉。而许多用户规划/设计存储系统时，却恰恰做了这种错误的选择。方案三：同时满足用户对存储容量和性能的需求，且造价合理、经济（价格方案三：同时满足用户对存储容量和性能的需求，且造价合理、经济（价格还不到还不到“方案一方案一”的一半）。的一半）。实施分层存储解决方案的关键：实施分层存储解决方案的关键：了解数据对了解数据对IOPS的需求分布。的需求分布。Its FREE!Agenda常见的用户存储需求常见的用户存储需求用户对存储的一些错误认识：用户对存储的一些错误认识：许多磁盘阵列的性能（许多磁盘阵列的性能（IOPS）都高于都高于500,000“4Gb光纤光纤+SBOD”盘阵的性能（盘阵的性能（IOPS）会比会比“2Gb光纤光纤+JBOD”盘阵高盘阵高100%以上以上盘阵中的盘阵中的Cache在所有情况下都能提升存储性能（在所有情况下都能提升存储性能（IOPS）数据库中所有的数据都需要高性能（数据库中所有的数据都需要高性能（IOPS）分层存储解决方案分层存储解决方案TCO分析分析Curtis公司的公司的“IT系统能力评估分析和优化服务系统能力评估分析和优化服务”当今仅有的自动、智能化分层存储：当今仅有的自动、智能化分层存储：STORAGE CENTER 当你面临下列问题时，请寻求当你面临下列问题时，请寻求CURTIS的的“IT系统能力评估分析和优化服务系统能力评估分析和优化服务”！你负责的IT系统被业务部门抱怨太慢了吗？你希望加速吗？你是否希望提升IT系统响应速度？但不知如何提速？你是否面临各种提速的改造方案，不知如何选择？你是否已经对IT系统进行了性能优化，但是改善效果有限，业务部门仍然不满意；接下来怎么办？你是否了解你的系统硬件资源负载情况和性能瓶颈所在？CAO服务的目标和服务的目标和CURTIS的经验的经验企业企业IT系统能力的评估分析和优化系统能力的评估分析和优化服务服务（Capacity Analyzing and Optimization,CAO）的目标：的目标：向客户报告其现有IT系统的能力、性能和局限性 提供能够帮助客户准确评估未来所需计算资源的报告CURTIS的的CAO服务经验：我们曾经成功完成过各行业企业环境的服务经验：我们曾经成功完成过各行业企业环境的ITIT系统能力评估分析和优化，包括：系统能力评估分析和优化，包括：政府 制造业 医疗卫生行业 通讯业 金融服务业及银行业 CURTIS的的CAO服务程序服务程序1 1）客户环境下相关系统和应用的研究）客户环境下相关系统和应用的研究了解需要进行评估分析和优化的系统和应用的功能和现有能力；2 2）确定重要的性能参数和度量标准）确定重要的性能参数和度量标准按照CAO和客户需求的焦点确定应用的从属或者系统相关性；影响应用性能的度量标准的采样；系统相关性能度量标准的采样。3 3）基准脚本的客户定制）基准脚本的客户定制脚本定制以客户需求为基础；脚本样本：存储STKIO和IOGEN，网络NETPERF和NETTEST，处理器SPEC and Byte。CURTIS的的CAO服务程序服务程序（续）（续）4 4）适当时间段内数据样本的采集）适当时间段内数据样本的采集在客户系统上执行定制脚本就可以得到分析所需性能数据；收集的样本用来描述现有特征；以这些数据为基线与未来数据进行比较。5 5）数据分析）数据分析对对性能指标数据进行相关性和对照性分析；进行可扩展性和设定分析；优化方案的结论和建议。6 6）CAO结果的档案记录和提交结果的档案记录和提交对结论及其含义的解释；对下一步系统解决方案结构的建立或优化系统配置的建议规划。案例一：某上市公司案例一：某上市公司QAD ERP系统的能力评估分析和优化系统的能力评估分析和优化(1/5)硬件：硬件：HP rp5405 Server,HP DS2300盘阵；软件：软件：ERP：QAD MFG/PRO 8.5G；数据库：Progress 8.3c 挑战：挑战：每天过长的制造资源计划（MRP）批处理和用户请求响应时间，严重地影响业务运作和客户服务。优化软件和试用更新、更快的HP服务器和盘阵对MRP和请求响应的改善都不明显。案例一：某上市公司案例一：某上市公司QAD ERP系统的能力评估分析和优化系统的能力评估分析和优化(2/5)通过对用户ERP服务器进行数据采样并分析经UNIX工具获取的ERP服务器CPU资源利用率和磁盘资源的负荷，可可确认性能问题是盘阵的确认性能问题是盘阵的I/O瓶颈所致。瓶颈所致。案例一：某上市公司案例一：某上市公司QAD ERP系统的能力评估分析和优化系统的能力评估分析和优化(3/5)通过对通过对Progress数据库的分数据库的分析发现：析发现：ERP应用在对数据库的总访问量中，读占97.97%，写只占2.03%；ERP应用对数据库中各个库文件的访问不均衡的：其中对wongdb.d1、wongdb.d3、wongdb.d4和wongdb.d9的访问分别占对数据库读总量的67.61%、写总量的48.02%！该公司该公司ERP系统性能差的原因：系统性能差的原因：ERP对某些数据库文件的过度对某些数据库文件的过度访问超出了访问超出了HP DS2300磁盘阵磁盘阵列