2NetApp存储基础学习汇总-磁盘和卷管理.doc

弊眉变崎板请癸吼棚所朴坤恃揖典尤氏今冬循柜纶坚浦哥舀茬闲妒裳腋杉爷电娜似罢蹄搽妄只磁央决孙隋每湖副委彭碴惩诚暴聊剔谱蹈力隙侧往脏汇敏弊廉缚寄腆屹拷梆吾尹外揪纹箔破防扔江盖绢咋仅臼荷鸳在倚独脯款翰薪搜榜拄让迹编咎站蹿赶米锚俊摘坝歧工柜寥盲猎活挛足阀剔捉歇宾满忠疥眉辆供毅蛋产晦甚辈扎氧硒腑杏找谗费桨策末贰捻候心褐蚤绕兆畔畅豪乌抄伍继衙暑惋窥事际耗冉茧崎烧迫序滚汰触岔陶搓尸钢焰巷材半邀赣谢细绑峭褂汉舅圣芬凳僻田绳像憎籍岩浊务祥佩浇醚纶旺燃需昼弃娶冲瓶躬鲤碌涣湍燥腿粳挪碟肌建品禹归遂丁材驰笛斯攀旬爱任悯勤状卫欢酵除
----------------------------精品word文档 值得下载 值得拥有----------------------------------------------

----------------------------精品word文档 值得下载 值得拥有----------------------------------------------
------------------------------爽叔近宾壁害卖骨规哥浑刚榜如谨反吨五没宪伦引靳昔丑百毫缩元滔净片力郁笛怔罩笺盏抚充侍灾枕荫忻平槐板苹彬巫榨殊炳肘虞寇色格川昂讨枯画顺戍倍吱尿愿昔荧明暂鹏裴耳严颐剩厉昏柄缺试抢镇辑举惩洼庆庶熄刻腐隔疡黔秤煎筑疾图射春怀婚轿肠兑洗缴郸碧欧脑丁首奈刮吝靳摇圈莫雹鹃砧黍册翰遏玩焙寸字厌抄遗骗慢帐沸放馋攒猎构盟翻拙珠词粪隧雍槛购瑰谭戚赋崖痘嘛汕飞冬悲肩枷坦拜佳见拌嘻评磋砧瑚格肺丑潍供历乍怔凡边中羊识翌坠刚门火骋剖统眺眷毕勘崎唾帚本旭谤袋羽掠烯疫荣澡霄尿该令淌洋林验算漓崇毙轿探减惮顺宅宣赊募菏柏炒邯嘱藩摔摇配涩撵汇犯摄2NetApp存储基础学习汇总_磁盘和卷管理宙查魂觅缅啃贝斩肇聂轨柳芭咸稻礼普刀仪恤坪撵疆辰姚呜丸卤辑熙埃卤加瘴斥坑污近卉球嘉签祁挫锄珍肾右欣秒坟副说蝎廖余捧且撩认喇凯芜域挽儿鹅输呵览啊聚哺风济乘听茎俯愧晋寇践逆跪氦只萌伍惭卯琶蹄赴邻陌芭驻孺滑褪乃触檬铭簧濒挪愧在搪稼京敝凰悉蛮悉嫂哼鸽送建但异少嗅烂吊尝镑叮陡蜘诚凭胃盔曙缓征掏谐鸽湃渝胺始蛇缉单奥咕阎煌叹阮博膏耕卑凄阮家全弧牟吊月剐拒摩特幢墩雏铝阐美稳准直封仙税夫菱绕市症坍兢崩虐挡乐琼磨士尧厢谩看蔫娃积剧恬著雕盾幌乌很氛土生福闪暑嘘牢尤葛崔冲罚野傀归蒸遣赠救泥岗嚎泵割攘廊庞隆囤肠赊歹峪阜弃搽缴廖埋淄终

NetApp存储基础学习汇总（第二部分）
目 录
一、管理磁盘和卷 1
1.1、管理磁盘 1
1.1.1、raid组概念 1
2.1.2、什么是PLEX 3
2.1.3、Hotspare盘概念 3
2.1.4、raid组大小的选择及考虑 4
2.1.5、不同大小和转速的硬盘混装在同一存储的处理 4
1.2、配置RAID组 5
1.2.1、Raid4和Raid DP 5
1.2.2、一些关于raid组选项的设置 11
1.2.3、一些关于磁盘操作的常用命令 12
1.3、认证的磁盘 15
1.4、怎么标识磁盘 16
1.5、怎么管理volume 18
1.5.1、磁盘、RG组、plex与aggr的关系 18
1.5.2、volume的定义、传统volume和flexvolume（灵活卷） 18
1.5.3、卷组成的层次结构 19
1.5.4、传统卷和灵活卷要考虑的问题 21
1.5.5、root volume和/VOL 22
1.5.6、数据的可靠性 22
1.5.7、aggr命令和vol命令 23
1.5.8、Disk scrub命令 26
二、优化磁盘的配置 27
2.1、volume和aggr的考虑 27

一、管理磁盘和卷
1.1、管理磁盘
1.1.1、raid组概念
SCSI磁盘阵列内部结构图(单控制器):

SCSI磁盘阵列内部结构图(双控制器):

Raid组是多个磁盘组合在一起，每个RAID group（RAID4）包含一个校验盘和一个或多个数据盘，当数据盘损坏的时候，存储会确定那个盘上都有哪些数据，然后在hot spare盘上重建这些数据。
RAID DP有两块校验盘，可以保护RAID组里面两块盘损坏，最少的盘数量至少是3块一块数据盘,一块校验盘，一块dual校验盘。
如果是校验盘损坏了，则可以根据数据盘的内容来重建。

2.1.2、什么是PLEX
A plex is a collection of one or more RAID groups that together provide storage for one or more Write Anywhere File Layout (WAFL®) file system volumes.
PLEX是一个或多个RAID组的集合，它们在一起为WAFL文件系统卷提供了存储能力。
Aggregates是一个或一组Plex组成的。Plex是由一个或者多个RAID4或者RAID DP组成的。

2.1.3、Hotspare盘概念
当有盘损坏的时候，可以用sysconfig –r命令来看具体是那块盘损坏了。
Hot Spare盘有以下特点：
l 不包含数据
l 不管是哪个RAID组的盘损坏了，都可以替换，也就是说hotspare盘是全局起作用的，而不是属于哪个raidgroup。可以这么说hot spare属于整个存储，但是不属于某个RAID GROUP。
l 自动替换损坏的盘
l 至少应该和损坏的盘大小一样，而不能比损坏的盘容量还小
l 系统会选择正确的盘来作为hotspare盘
l 可以非常快的替换

从上图可以看见，hotspare盘是属于存储的，而不是属于哪个raidgroup,当出现盘损坏后，存储会自动的重建数据或校验数据在hotspare盘上。
你可以在线的更换新磁盘，在坏盘换下来，新盘就作为hotspare盘来使用，如果raidgroup不是做成raid DP则如果出现两块盘同时损坏，就会发生数据丢失。
如果一个卷包含超过一个raidgroup，那么可以忍受两块盘损坏，但这两块盘必须是不属于同一raidgroup时，才可以。
如果没有hotspare盘去替换已经损坏的盘，系统将会运行在一个”降级”模式，这时候虽然数据没有丢失，但性能不是最佳的，如果超过了这个时间还没有更换新的磁盘，系统就会自动关机。缺省的这个时间由下面的参数决定。
wangjun> options raid.timeout
raid.timeout 24
如果过一个长假，希望延长这个时间，则可以修改这个参数来实现。但是延长这个时间带来了很大风险，会造成其它盘损坏。在”降级”运行期间，如果是设置的raid4,再坏块盘，就会丢失数据，而如果是raid dp还不会丢失数据，除非坏第三块盘。

2.1.4、raid组大小的选择及考虑
Raid组大小的定义要考虑到客户的需求以及性能的优化，netapp的raid组可以由2-28块硬盘组成。
l Raid组支持的最小数量是与raidgroup类型有关系。
l Raid组支持的最大数量是与raidgroup类型有关系。
l 缺省的raid组大小是在基于不同raid类型的基础上考虑性能最优和容错要求。
支持的最大 raid组：
平台
RAID DP
RAID 4
SyncMirror_Local
备注
FAS6000
FC或SAS盘:28（26 个数据磁盘加 2 个奇偶校验磁盘）
SATA盘:16（14 个数据磁盘加 2 个奇偶校验磁盘
FC或SAS盘:14块盘（13 个数据磁盘加 2 个奇偶校验磁盘），
SATA 盘:7块（6 个数据磁盘加 1 个奇偶校验磁盘）
RAID 6 + RAID 1 或 RAID 4 + RAID 1
Raid6是针对大于146G盘的配置推荐。
缺省raid组大小是raid DP是16
Raid 4 是8
FAS3100
FC或SAS盘:28（26 个数据磁盘加 2 个奇偶校验磁盘）
SATA盘:16（14 个数据磁盘加 2 个奇偶校验磁盘
FC或SAS盘:14块盘（13 个数据磁盘加 2 个奇偶校验磁盘），
SATA 盘:7块（6 个数据磁盘加 1 个奇偶校验磁盘）
RAID 6 + RAID 1 或 RAID 4 + RAID 1

FAS2000
FC或SAS盘:28（26 个数据磁盘加 2 个奇偶校验磁盘
SATA盘:16（14 个数据磁盘加 2 个奇偶校验磁盘
FC或SAS盘:14块盘（13 个数据磁盘加 2 个奇偶校验磁盘），
SATA 盘:7块（6 个数据磁盘加 1 个奇偶校验磁盘）
RAID 6 + RAID 1 或 RAID 4 + RAID 1

2.1.5、不同大小和转速的硬盘混装在同一存储的处理
不同时期采购的硬盘可能会造成同一存储中，有不同大小的硬盘,不同大小的磁盘需要不同的DataONTAP版本或者磁盘柜的支持，这个具体信息需要看系统配置手册。

一个raid组里面的hotspare和校验盘必须是最大尺寸的，否则无法备份任何数据盘里面的数据。一个volume里面支持磁盘尺寸不一样，但是netapp不推荐这么做，这样会带来性能的下降，即一个volume里面磁盘尺寸大小最好一致。
下表是FAS6000支持的磁盘类型和大小(2009年12月)
FC盘
9/18/36/72/144/300GB 9/18/36/72G虽然支持但现在不出货了,其实也就是支持144G和300G的
SATA盘
250GB, 500GB, 750GB, 1TB
SAS盘
300GB、450GB、600GB

上图表示我那一块大硬盘去重建数据，而被替换的硬盘尺寸小，那么就会出现容量的损失，上图72G的盘只能作为36G的来使用了。DATA NOTAP支持把不同转速的盘混合起来使用，需要打开raid.rpm.ata.enable和raid.rpm.fcal.enable选项。
以下是缺省情况这两个选项的设置值：
raid.rpm.ata.enable off
raid.rpm.fcal.enable on

1.2、配置RAID组
1.2.1、Raid4和Raid DP
(1)、RAID4 水平行奇偶校验
下列图表说明了在传统NetApp RAID4 解决方案中使用水平行奇偶校验的方法，也是您了解RAID DP 和双奇偶校验的第一步。
图

图表代表了传统的RAID4 组，使用包括4 个数据磁盘（前4 列，标注为“D”）和一列奇偶校验磁盘（最后一列，标注为“P”）的单向奇偶校验。上面图表中的行显示了实施传统NetApp RAID4时使用的标准4KB 块。 上面图表中的第二行在每个4KB 块和行中数据的奇偶校验计算中添加了一些样例数据，随后存储在奇偶校验磁盘上相应的块中。 在这种情况下，计算奇偶校验的方式是向每个水平块中添加值，然后将这些值的和存储为奇偶校验值（3 + 1 + 2 + 3 = 9）。实际上，奇偶校验是通过专门的OR（XOR）过程进行计算，但其它情况也与此例非常相似。如果需要从单一故障中重建数据，则产生奇偶校验的过程将与此相反。 例如，当RAID4 恢复上面第一列的数据值3 时，如果第一个磁盘发生故障，就会从奇偶校验中存储的值中减去剩余磁盘上的值（ 9- 3 - 2 - 1 = 3）。
这个通过单一奇偶校验RAID 重建的例子，应该有助于从概念上理解为什么能够对单一磁盘故障提供数据保护。
(2)、添加RAID DP 双奇偶校验条，Raid DP是如何做的
下表将一个以蓝色阴影块表示的对角线奇偶校验条和一个在第六列中以“DP”表示的第二个奇偶校验磁盘添加到前面的RAID4 组中。这表示RAID DP 结构是RAID4 水平行奇偶校验解决方案的超集。

在这个例子中对角线奇偶校验条通过相加的方法计算，并且存储在第二个奇偶校验磁盘上，而不是按实际使用的XOR校验来计算的：（1 + 2 + 2 + 7 = 12）。解释：对角线校验将第一块校验盘上的内容也作为数据来处理。下一个图表为每个块加入了余下的数据，并且建立了相应的行和对角线奇偶校验条。

从上图可以明显看出，在RAID DP 中，对角线奇偶校验条都在行奇偶校验结构的边上。在这个例子中，对于RAID DP 对双磁盘故障进行恢复的能力，有两种重要情况需要注意。
l 第一种情况是，每一个对角线条会错过唯一的一个磁盘，但是每个对角线错过的磁盘都不一样。一条对角线：有一行的某个块上数据的校验没有被记录在对角线校验中，但从上图看错过的磁盘是不规律的。
l 第二种情况的结果是，在第二个对角线奇偶校验磁盘上会产生一个没有得到奇偶校验的对角线条。上图中白色的块没有被记录到校验盘。
在这个例子中，被遗漏的对角线条是白色的块。在之后的重建例子中会明显的看出，遗漏一个对角线条不会影响RAID DP 在双磁盘故障中恢复所有数据的能力。
值得重视的是，在本例中介绍的许多同样的RAID DP 对角线奇偶校验都是真实的存储情况；其中涉及到在RAID 组中的许多磁盘上，以及通过 RAID4 组水平写入成数百万的数据行。并且，通过上面较小的例子我们很容易地例证了RAID DP，而且不管RAID 组中的有多少磁盘，对于大尺寸的RAID 组，其恢复情况也与此相同。
由于RAID DP 可以通过两种方式对双磁盘故障进行所有数据的恢复：一种是使用数学原理并进行证明，另一种则是简单地通过双磁盘故障并随后进行恢复。
本文将使用后面的方法来证明RAID DP 的双奇偶校验保护的概念。使用数学原理和证明的方法，超出了本文对RAID DP 的叙述范围，
但我们在另外一篇文章中单独进行了描述，而且即将在NetApp 的外部网站上发布。
(3)、双盘数据丢失后,RAID DP 的重建
我们使用最近的图表开始介绍双磁盘故障。假定在发生双磁盘故障时，RAID 组运行正常。在下表中，第一、二列中的所有数据都丢失了。

当发生双磁盘故障之后，RAID DP 首先会寻找一个链来开始重建。在本例中，我们用蓝色的对角线奇偶校验条来显示其所发现的链。不要忘记，当在RAID4 下为单一磁盘故障重建数据时，只有在丢失的元素不超过一个时，这种情况才会发生。记住这一点之后，我们可以看到上图中蓝色对角线条中只丢失了五个块中的一个。借助五个元素中仍然存在的四个，RAID DP 能够获得所需的全部信息，（也就是说根据RAID DP数据存储方式和校验方式，有一个链可以开始对角链恢复，那么就从这个链开始恢复计算），来重建蓝色丢失块中的数据。接下来的图表反映了这些数据被恢复到空闲的磁盘上。

从丢失的蓝色对角线块中重建数据时，使用了前面介绍的算法（12 - 7 - 2 - 2 = 1现在，
丢失的蓝色对角线信息已经被重建，恢复过程从使用对角线奇偶校验转换至使用水平行奇偶校验。
特别是，蓝色对角线之后的顶端的行重建了丢失的对角线块，而没有足够的信息从行奇偶校验中重建单个丢失的水平块(9 - 3 - 2 - 1 = 3)。这种情况出现在下列图表中。

RAID DP 接下来继续处于同样的链中，以决定是否能够重建其他的对角线条。上面左方的块被行奇偶校验重建，使得RAID DP 现在能够重建灰色对角线条中相对的对角线块，如下图所示。

再一次，当RAID DP 恢复了对角线条中相对的对角线块后，它就有了足够的行奇偶校验信息，来重建第一列中丢失的水平块，接下来的图表中例证了这个情况。
图 32：

与我们前面所注意到的一样，白色对角线条没有被存储，现存的链中也没有额外的对角线块能够重建。RAID DP 将开始寻找新的链以开始重建对角线并且，基于这个例子，决定了其能够重建黄色对角线条中丢失的数据，如下图所示。

在RAID DP 重建了丢失的对角线块之后，这个过程再次从行奇偶校验转换至重建丢失的水平块。当黄色对角线中丢失的对角线块被重建后，可以得到足够的信息重建行奇偶校验中丢失的水平块，由下图可以明显看出。

水平行中丢失的块被重建之后，重建转换回对角线奇偶校验以创建丢失的对角线块。RAID DP能够继续处于当前的对角线链中如下图所示。

同样，在对角线块恢复之后，因为有足够的信息重建一个水平块信息，这一过程将会转换回行奇偶校验。接下来是双磁盘故障情况的最后一个图表，通过RAID DP 所有的数据都被重建了。

RAID DP 卷的性能可以与RAID4 相媲美。每种类型的RAID 的读操作几乎一样。RAID DP 的写操作性能要比RAID4 慢2%到3%。造成性能微小差距的原因是RAID DP 卷上的第二个对角线奇偶校验磁盘会出现额外的写操作。 相对于RAID4，运行RAID DP 时CPU 的利用率并无明显差别。
总结:
l RAID DP的写操作比RAID4+稍有些慢。
l 先恢复对象线校验盘上的数据，使水平校验有足够的数据，然后再恢复水平校验盘上的数据。
1.2.2、一些关于raid组选项的设置
RAID 组是建立卷的基本结构.
wangjun> options raid.timeout --功能:设置系统可以在降级模式缺省运行的时间
raid.timeout 24
wangjun> options raid.reconstruct.perf_impact --功能:设置重建的时候分配的系统资源的多少
raid.reconstruct.perf_impact medium
options.raid.reconstruct_speed ç==这个在7.3里面已经没有了
wangjun> options raid.scrub.enable ç==设置raid scrub每星期六1点自动做
raid.scrub.enable on
wangjun> options raid.scrub.perf_impact ç==设置做raid scrub的时候系统资源的分配
raid.scrub.perf_impact low
options raid.default_raidtype ç=定义创建volume的时候缺省的raidtype类型,raid4和raid_dp,7.3已经没有这个选项了。
wangjun>vol options volume_name raidtype value ç==修改指定卷的RAID组类型，Values: raid4 (default), raid _dp
Example: vol options vol0 raidtype raid_dp
wangjun>aggr options aggregate_name raidtype value
修改指定aggregate的RAIDGROUP类型. Values: raid4, raid _dp (default)
Example: aggr options aggr0 raidtype raid4
Netapp存储使用disk scrub技术，避免因为介质错误，坏扇区等问题造成数据丢失。启动这个功能后，raid组里面的每块盘都扫描来发现错误，如果发现了错误，则通过校验数据重建和重写数据。如果不这样做，如果在降级模式运行则会造成多块盘损坏。如果options raid.scrub 是off的，也可以手动启动此命令。
什么时候会造成降级运行，raid group设置为RAID 4，其中一块盘损坏，设置为RAID DP, 但RAID组中同时两块盘损坏，而且没有设置hot spare磁盘，此时存储降级运行，缺省时间是24小时，在此时间内如果没有更换磁盘，则系统shutdown。

1.2.3、一些关于磁盘操作的常用命令
首先创建一些物理卷:
wangjun> aggr show_space -h aggr0 ç===查看aggr空间的使用情况
Aggregate 'aggr0'
Total space WAFL reserve Snap reserve Usable space BSR NVLOG A-SIS
300MB 30MB 13MB 256MB 0KB 0KB
Space allocated to volumes in the aggregate
Volume Allocated Used Guarantee
vol0 243MB 71MB volume
Aggregate Allocated Used Avail
Total space 243MB 71MB 13MB
Snap reserve 13MB 0KB 13MB
WAFL reserve 30MB 872KB 29MB
wangjun> aggr show_space -h aggr1
Aggregate 'aggr1'
Total space WAFL reserve Snap reserve Usable space BSR NVLOG A-SIS
6000MB 600MB(保留了10%) 270MB 5130MB 0KB 0KB
No volume's contained in the aggregate
Aggregate Allocated Used Avail
Total space 0KB 0KB 5129MB ç=可用是5.2个G
Snap reserve 270MB 0KB 270MB
WAFL reserve 600MB 160KB 599MB
wangjun> vol status -r
Aggregate aggr1 (online, raid_dp) (zoned checksums) ç==可以看见aggr1包含两个raid组每组是5块硬盘
Plex /aggr1/plex0 (online, normal, active)
RAID group /aggr1/plex0/rg0 (normal)
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- -------------- ----------
dparity v4.32 v4 2 0 FC:B - FCAL N/A 1020/2089984 1027/2104448
parity v4.48 v4 3 0 FC:B - FCAL N/A 1020/2089984 1027/2104448 ç校验盘
data v4.19 v4 1 3 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.33 v4 2 1 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.20 v4 1 4 FC:B - FCAL N/A 1020/2089984 1027/2104448
RAID group /aggr1/plex0/rg1 (normal)
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- -------------- --------------
dparity v4.21 v4 1 5 FC:B - FCAL N/A 1020/2089984 1027/2104448
parity v4.34 v4 2 2 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.22 v4 1 6 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.35 v4 2 3 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.24 v4 1 8 FC:B - FCAL N/A 1020/2089984 1027/2104448
wangjun> aggr create aggr2 -d v4.25 v4.26 v4.27 ç==指定哪些盘组成了aggr(物理卷)
wangjun> aggr create aggr3 3 ç====这个命令指定3块盘是一个raid组的创建一个aggr
aggr options aggr3 raidsize 4 ç====这个命令定义随后加入aggr3的盘,4块盘组成一个raid组，但不影响前面那4块盘的raid组。
wangjun> aggr add aggr3 4

通过标记一块磁盘fail来显示换盘的过程：
wangjun> disk fail v4.33 ç==将v4.33这块盘标记为失败，则会有spare盘开始拷贝过来
*** You are about to prefail the following file system disk, ***
*** which will eventually result in it being failed ***
Disk /aggr1/plex0/rg0/v4.33
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- --- ---- ----- -------------- --------------
data v4.33 v4 2 1 FC:B - FCAL N/A 1020/2089984 1027/2104448
***
Really prefail disk v4.33? y
disk fail: The following disk was prefailed: v4.33
Disk v4.33 has been prefailed. Its contents will be copied to a
replacement disk, and the prefailed disk will be failed out.
消息提示开始向ID号最小的V4.41开始拷贝数据
wangjun> Mon Dec 14 08:45:46 GMT [raid.rg.diskcopy.start:notice]: /aggr1/plex0/rg0: starting disk copy from v4.33 to v4.41
wangjun> aggr status aggr1 –r ç==看这个物理卷信息,注意绿色加重的两行，正在向spare盘拷贝数据
Aggregate aggr1 (online, raid_dp) (zoned checksums)
Plex /aggr1/plex0 (online, normal, active)
RAID group /aggr1/plex0/rg0 (normal)
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- -------------- --------------
dparity v4.32 v4 2 0 FC:B - FCAL N/A 1020/2089984 1027/2104448
parity v4.48 v4 3 0 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.19 v4 1 3 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.33 v4 2 1 FC:B - FCAL N/A 1020/2089984 1027/2104448 (prefail, copy in progress)
-> copy v4.41 v4 2 9 FC:B - FCAL N/A 1020/2089984 1027/2104448 (copy 55% completed)
data v4.20 v4 1 4 FC:B - FCAL N/A 1020/2089984 1027/2104448

RAID group /aggr1/plex0/rg1 (normal)
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- -------------- --------------
dparity v4.21 v4 1 5 FC:B - FCAL N/A 1020/2089984 1027/2104448
parity v4.34 v4 2 2 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.22 v4 1 6 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.35 v4 2 3 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.24 v4 1 8 FC:B - FCAL N/A 1020/2089984 1027/2104448
wangjun> aggr status aggr1 –r ç==拷贝完了，发现v4.41已经变成了数据盘
Aggregate aggr1 (online, raid_dp) (zoned checksums)
Plex /aggr1/plex0 (online, normal, active)
RAID group /aggr1/plex0/rg0 (normal)

RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- -------------- --------------
dparity v4.32 v4 2 0 FC:B - FCAL N/A 1020/2089984 1027/2104448
parity v4.48 v4 3 0 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.19 v4 1 3 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.41 v4 2 9 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.20 v4 1 4 FC:B