设备配置安装手册.doc

分行IT基础设施资源整合项目文档编号CCBSFB001密级分行IT基础设施资源整合项目Cisco MDS 9513设备配置安装手册VER 1.0中国建设银行信息技术管理部SFB项目组 2023年7月文档信息文挡名称初稿作者审核建立日期Cisco MDS 9513 installation guide.docAlex FengJuly 26, 2023文档修订记录章节编号章节名称修订内容简述修订日期修订前版本号目录第1章功能概述31.1Cisco MDS 9513 构建存储网络方案31.2Cisco MDS 9513 设备简介6第2章场地规定152.1电源和冷却装置152.2机房环境规定152.3物理规格152.4设备承重规定15第3章组件说明163.1Cisco MDS 9513资源列表163.2Cisco MDS 9513端口列表183.3Blade server 连接18第4章组件安装214.1Cisco MDS 9513安装配置原则214.2Cisco MDS 9513 配置操作环节2221第5章运营维护38375.1Cisco MDS 9513 软件版本升级38375.2电源和风扇状态说明38375.3线卡工作状态说明38375.4引擎工作状态说明39385.5Cisco MDS 9513 常用功能排错39385.6Cisco MDS 9513排错工具排错4039第1章 功能概述1.1 Cisco MDS 9513 构建存储网络方案数据中心的SAN网络采用Cisco MDS 9513互换机构架存储网络，连接后端存储盘阵和主机、服务器及磁带库系统。Cisco公司的MDS9513设备为模块化、高密度、高性价比的智能多层存储网络光纤互换机，每台互换机提供可根据需要配置24端口或48端口1/2/4Gb FC板卡，MDS9513单机箱最达提供528个模块化配置的FC端口。极具竞争力的经济性：Cisco MDS 9513 设备采用优化的端口连接设计，可提供4G 2G、1G 速率自适应FC端口。Cisco MDS 9513多层光纤通道互换机所提供的先进的管理工具可以最大限度地减少总体拥有成本（TCO）。Cisco MDS 9513采用了虚拟SAN（VSAN）技术，这种技术可以在一个单一的物理结构中建立多个基于硬件的独立环境，以便安全地共享物理基础设施，从而进一步减少TCO。智能化网络服务：Cisco MDS 9513采用了VSAN技术，用于基于硬件的智能化帧解决的访问控制列表（ACL），以及各种先进的流量管理功能，例如转发拥塞控制（FCC）等和覆盖整个互换结构的QoS，从而让用户可以方便地从各个独立的SAN孤岛移植到覆盖整个公司的存储网络。全面的安全框架：Cisco MDS 9513支持RADIUS身份认证、SNMPv3、角色访问控制、SSH、SFTP、FC-SP、VSAN、硬件分区、LUN分区和ACL。完善的诊断功能：提供了业界第一套智能化诊断、协议解码和网络分析工具，以及集成的“Call Home”（自动通报）功能，从而可以提高可靠性，加快解决问题的速度，减少服务成本。统一的存储管理：Cisco MDS 9513内置了丰富的存储网络管理功能，所有功能都可以通过CLI命令行界面或者图形界面Cisco Fabric Manager获得。Cisco Fabric Manager是一个集中式的管理工具，可以简化多个光纤通道互换机的管理。业界性能最高的互换机间链路（ISL）：Cisco MDS 9513在一个PortChannel端口通道中可以支持多达16个链路链路的逻辑捆绑，从而可以提高可扩展性和恢复能力。在数据中心配置2组Cisco MDS 9513 互换机。服务器和提供存储的磁盘阵列，分别以双链路冗余方式交叉连接到2组互换机的 FC端口，同时若需要和现有系统中的光纤互换机互连，可通过ISL链路和MDS9500以互连模式进行互连。设计示意图如下：运用Cisco光纤互换机独有的VSAN技术可以将一个物理的互换矩阵分割成不同的逻辑的互换矩阵而达成不同的应用在互换矩阵上互相隔离,保障不同应用的安全，同时由两台互换机的双冗余设计代替多个物理互换矩阵即多互换机的结构，可极大的减少运维的成本。具体的设计可根据具体的应用环境进行考虑，仅举例如下图：在VSAN1和VSAN2 的通信上还可采用inter-VSAN Routing(IVR)，类似于广域网上，VLAN和VLAN之间采用路由协议进行互通。在各自不同的应用不同的VSAN中可再采用分区（Zoning）的方式来拟定主机对存储的访问。根据实际的应用环境可采用硬件或软件的分区，即硬分区和软分区。分区可以按照以下的方式来进行设立，并且是可以以混合方式进行设立：- 根据终端设备的WWN来设立；- 根据终端设备的FC-ID来设立；- 根据互换机的端口F_Port来设立；- 根据所发现的存储空间所定义的SCSI LUN来设立。MDS9500在安装过程中或故障诊断时可采用FCPing 和FC Trace来拟定FC光纤互换机的主机和存储所连接的FC端口是否连通1.2 Cisco MDS 9513 设备简介作为Cisco MDS 9500系列的旗舰产品， Cisco MDS 9513多层导向器 (图 1)提高了导向器级互换机的标准。凭借业界领先的可用性、可扩展性、安全和管理功能，Cisco MDS 9513可以以极低的总拥有成本(TCO)部署高性能存储局域网(SAN)。Cisco MDS 9513将丰富的智能特性集成到一个高性能、独立于协议的互换阵列中，因而可以满足大型数据中心存储环境的严格规定：杰出的高可用性、安全性、可扩展性、易管理性，并能透明集成新技术，从而构建一个极其灵活的数据中心SAN解决方案。由于与第一、二代Cisco MDS 9000系列互换模块兼容，Cisco MDS 9513可以提供先进的功能和前所未有的投资保护，任何Cisco MDS 9000系列互换模块都能在这一高度可扩展的系统中使用。关键特性和优势Cisco MDS 9513多层导向器提供了下列特性：业界领先的可扩展性和可用性Cisco MDS 9513把无中断软件升级、状态化进程重启/故障切换以及所有重要组件的完全冗余性结合在一起，提供了杰出的高可用性。每个机箱能支持多达528个光纤通道端口，每个机架最多能支持1584个光纤通道端口，系统带宽2.2Tbps，Cisco MDS 9513在可扩展性方面居业界领先地位，可以满足最大型的数据中心存储环境的规定。 1/2/4-Gbps和10-Gbps光纤通道互换，带全带宽冗余提供了具最高可用性的光纤通道性能和全冗余带宽。每个交叉矩阵模块都提供了完整的系统带宽，因此，丢失或拆卸一个交叉矩阵模块不会影响系统性能。即使发生交叉矩阵模块故障，也能保证100%的系统吞吐量。 灵活性和投资保护Cisco MDS 9513多层导向器可以支持第一、二代Cisco MDS 9000系列互换模块的任意组合，提供了向后兼容性和前所未有的投资保护功能。 基于TCO的设计提供了先进的管理工具，能最大限度减少TCO。它采用了思科虚拟SAN（VSAN）技术，这种技术能在一个单一的物理阵列中建立多个基于硬件的独立环境，以便安全地共享物理基础设施，从而进一步减少TCO。 多协议和多传输架构Cisco MDS 9000系列的多层架构能在一个独立于协议的互换阵列上提供一套统一的功能集。Cisco MDS 9513可以在一个系统中透明地集成光纤通道、FICON 、iSCSI和FCIP。 智能化网络服务提供了对于VSAN技术的集成支持、用于基于硬件的智能化帧解决的访问控制列表（ACL），以及各种先进的流量管理功能，例如光纤通道拥塞控制（FCC）和阵列级服务质量QoS，从而让用户能方便地从各个独立的SAN孤岛迁移到覆盖整个公司的存储网络。 用于智能化存储服务的开放式平台为主导和/或加速各种存储应用（例如基于网络的卷管理、数据迁移和备份）提供必要的智能服务。 集成化基于硬件的VSAN和VSAN间路由(IVR)支持大规模多站点和异构SAN拓扑的部署。由于集成入端口级硬件，因此，系统或阵列中的任意端口都能划分到任意VSAN。集成的基于硬件的VSAN间路由技术提供了系统或阵列内任意端口间的线速路由功能，无需外部路由设备。 高级FICON服务支持1/2/4-Gbps和10-Gbps FICON环境，涉及级联FICON阵列、支持VSAN的大型机和开放式系统混合环境，以及用于大型机Linux分区的N端口ID虚拟化。CUP (控制单元端口)支持使用户能从大型机管理控制台对Cisco MDS 9000系列互换机进行带内管理。 全面的安全框架支持RADIUS和TACACS+、FC-SP、SFTP、SSH协议和SNMPv3，它们采用了高级加密标准（AES）、VSAN、硬件分区、ACL以及可以和VSAN关联的基于角色的访问控制功能。 先进的诊断提供了智能诊断、协议解码、网络分析工具，以及集成call-home功能，可以提高可靠性，加速问题解决，并减少服务成本。 统一的SAN管理Cisco MDS 9000系列涉及内置存储网络管理功能，其所有特性都是通过命令行界面(CLI)或思科光纤阵列管理器提供，思科光纤阵列管理器是一种集中管理工具，可以简化多个互换机和阵列的管理。通过与第三方存储管理平台集成，实现了与现有管理工具的无缝集成。 产品规格表1列举了Cisco MDS 9000系列4-Gbps光纤通道互换模块的产品规格。表1. 技术规格特性说明产品兼容性Cisco MDS 9000系列 软件兼容性 Cisco MDS SAN-OS版本3.0(1)或更高版本 协议 光纤通道标准 FC-PH, Revision 4.3 (ANSI/INCITS 230-1994) FC-PH, Amendment 1 (ANSI/INCITS 230-1994/AM1 1996) FC-PH, Amendment 2 (ANSI/INCITS 230-1994/AM2-1999) FC-PH-2, Revision 7.4 (ANSI/INCITS 297-1997) FC-PH-3, Revision 9.4 (ANSI/INCITS 303-1998) FC-PI, Revision 13 (ANSI/INCITS 352-2023) FC-PI-2, Revision 10 (ANSI/INCITS 404-2023) FC-FS, Revision 1.9 (ANSI/INCITS 373-2023) FC-FS-2, Revision 0.91 FC-LS, Revision 1.2 FC-AL, Revision 4.5 (ANSI/INCITS 272-1996) FC-AL-2, Revision 7.0 (ANSI/INCITS 332-1999) FC-AL-2, Amendment 1 (ANSI/INCITS 332-1999/AM1-2023) FC-AL-2, Amendment 2 (ANSI/INCITS 332-1999/AM2-2023) FC-SW-2, Revision 5.3 (ANSI/INCITS 355-2023) FC-SW-3, Revision 6.6 (ANSI/INCITS 384-2023) FC-SW-4, Revision 7.5 (ANSI/INCITS 418-2023) FC-GS-3, Revision 7.01 (ANSI/INCITS 348-2023) FC-GS-4, Revision 7.91 (ANSI/INCITS 387-2023) FC-GS-5, Revision 8.2 FC-BB, Revision 4.7 (ANSI/INCITS 342-2023) FC-BB-2, Revision 6.0 (ANSI/INCITS 372-2023) FC-BB-3, Revision 6.8 (ANSI/INCITS 414-2023) FCP, Revision 12 (ANSI/INCITS 269-1996) FCP-2, Revision 8 (ANSI/INCITS 350-2023) FCP-3, Revision 4 (ANSI/INCITS 416-2023) FC-SB-2, Revision 2.1 (ANSI/INCITS 349-2023) FC-SB-3, Revision 1.6 (ANSI/INCITS 374-2023) FC-VI, Revision 1.84 (ANSI/INCITS 357-2023) FC-FLA, Revision 2.7 (INCITS TR-20-1998) FC-PLDA, Revision 2.1 (INCITS TR-19-1998) FC-Tape, Revision 1.17 (INCITS TR-24-1999) FC-MI, Revision 1.92 (INCITS TR-30-2023) FC-MI-2, Revision 2.6 (INCITS TR-39-2023) FC-SP, Revision 1.6 FC-DA, Revision 3.1 (INCITS TR-36-2023) FAIS, Revision 0.7 IP over 光纤通道(RFC 2625) IPv6, IPv4和ARP over FC (RFC 4338) 广泛的基于IETF标准的TCP/IP、SNMPv3和RMON MIB 服务类别：Class 2, Class 3, Class F 光纤通道标准端口类型：E, F, FL, B 光纤通道增强端口类型：SD, ST, TE 机箱插槽配置 线卡插槽：11个 控制引擎插槽：2个 交叉矩阵互换阵列插槽：2个 风扇架：前端风扇架，后端风扇架 电源架：2个 时钟模块插槽：2个 性能可扩展性 2.2-Tbps内部互换带宽 支持的光纤通道端口速度 1/2-Gbps自检测，可有选择地配置 1/2/4-Gbps自检测，可有选择地配置 10-Gbps固定速率 支持的以太网端口速度 Gbps固定速率 缓存信用点：16端口和32端口模块 每端口最多255个 缓存信用点：多协议服务模块 每个标准光纤通道端口最多255个 可选公司许可证激活的端口最多3500个 缓存信用点：12端口、24端口和48端口模块 每个标准端口最多250个 可选公司许可证激活的端口最多4095个 每个机箱的端口数 12到528个1/2/4-Gbps光纤通道端口 4到44个10-Gbps光纤通道端口 4到60个1-Gbps以太网端口 每个机架的端口数 最多1584个1/2/4-Gbps光纤通道端口 最多132个10-Gbps光纤通道端口 最多180个1-Gbps以太网端口 PortChannel：最多16个端口（通道可以使用机箱中任何模块上的任何速度匹配端口） 特性和功能阵列服务 Name Server 注册状态变更告知（RSCN） Login service Fabric Configuration Server(FCS) Public Loop 广播 In-order delivery 高级功能 VSAN IVR PortChannel，带多途径负载均衡 QoS基于流量、基于分区 光纤通道拥塞控制(FCC) N端口ID虚拟 诊断和排障工具 POST诊断 在线诊断 内部端口回环 SPAN和RSPAN 光纤通道路由跟踪 Traceroute 光纤通道 Ping 光纤通道调试（debug） 思科光纤阵列分析工具 系统日记 在线系统健康状态 端口级记录 实时协议调试 网络安全 VSAN ACL 每VSAN的基于角色的访问控制 光纤通道分区 N端口WWN N端口FC-ID Fx端口WWN Fx端口WWN和接口索引 Fx端口域ID和接口索引 Fx端口域ID和端标语 LUN 只读 广播 FC-SP DH-CHAP互换机间验证 DH-CHAP主机-互换机验证 端口安全和阵列捆绑 管理访问 实行AES的SSHv2 实行AES的SNMPv3 SFTP FICON 符合FC-SB-3 级联FICON阵列 FICON和光纤通道FCP流量的混合 CUP管理界面 可维护性 配置文献管理 光纤通道接口的无中断软件升级 Call home 电源管理LED Port beaconing 系统LED SNMP报警捕获 网络启动 可用性和可靠性 在线无中断软件升级 状态化无中断控制引擎模块故障切换 可热插拔的冗余控制引擎模块 可热插拔的冗余交叉矩阵模块 可热插拔的冗余时钟模块 可热插拔的1+1冗余电源 可热插拔的风扇架，集成了温度和电源管理功能 可热插拔的小型可插拔(SFP)光纤(1/2/4 Gbps) 可热插拔的小型可插拔(X2)光纤(10 Gbps) 可热插拔的互换模块 状态化进程重启 在任何模块、任何端口上配置PortChannel 基于阵列的多途径 针对每个VSAN的阵列服务 联机诊断 端口跟踪 用于管理的虚拟路由冗余协议(VRRP) 网络管理 经由Cisco MDS 9500系列Supervisor-2模块的访问方式 带外10/100/1000以太网端口 RS-232串行控制台端口 带内光纤通道IP端口 DB-9 COM端口 经由Cisco MDS 9000系列光纤通道互换模块的访问方式 带内光纤通道FICON CUP 访问协议 CLI通过控制台和以太网端口 SNMPv3通过以太网端口和带内光纤通道IP访问 SNIA SMI-S FICON CUP 分布式设备别名服务 网络安全 运用基于RADIUS和TACACS+的验证、授权和记帐（AAA）功能，提供基于角色的每VSAN访问控制 SFTP 实行AES的SSHv2 实行AES的SNMPv3 管理应用 Cisco MDS 9000系列CLI 思科光纤阵列管理器 思科设备管理器 CiscoWorks Resource Manager Essentials (RME)和设备故障管理器 (DFM第2章 场地规定2.1 电源和冷却装置电源 (6000W AC) 输入：额定电压100-240VAC（范围10%）；最大电流 16A；额定频率 50-60Hz（范围3Hz） 输出：2900W (100V AC16A); 6000W (200V AC16A) 气流 300lfm，通过系统风扇组件 思科建议您在墙壁和机箱气孔之间保存至少2.5英寸（6.4厘米）的空隙，并在两个机箱之间保存至少6英寸（15.2厘米）的间距，以防止过热。 2.2 机房环境规定周边环境工作温度：32到104F (0到40C) 周边环境非工作和存储温度：40到167F (40到75C) 周边环境（非冷凝）工作湿度：10到90% 周边环境（非冷凝）非工作和存储湿度：10到95% 工作高度：197到6500英尺 (60到2023米)2.3 物理规格尺寸（高宽长）： 24.5 x 17.37 x 28.0英寸 (62.3 x 44.1 x 71.1厘米)14 RU2.4 设备承重规定机箱(涉及风扇和时钟模块)：100.0磅 (45.4公斤) 电源(6000W AC)：32.5磅 (14.7公斤) 阵列模块：5.75磅(2.6公斤) Supervisor-2模块：7.2磅 (3.3 公斤)MDS95133块板卡配置总重89.2公斤。第3章 组件说明3.1 Cisco MDS 9513资源列表端口资源划分的初步原则： 绿色区域分派给磁盘阵列，黄色区域分派给磁带库，粉色区域分派给主机服务器，蓝色区域分派作为ISL连接。3.1.1 Cisco MDS 9513 144 端口配置资源表 3.1.2 Cisco MDS 9513 192端口配置资源表3.3.3 Cisco MDS 9513 256端口配置资源表设备名称MDS 9513 01槽位/端口VSAN Zone/Zoneset端口描述物理端口类型FC端口类型主机连接存储连接WWN1/11Test/testsetport description .LC/MME portYes/xxx.xxx.xxx.xxx1/21Test/testsetport description .LC/SMF_portYes/xxx.xxx.xxx.xxx1/31/41/51/63.2 Cisco MDS 9513端口列表3.3 Blade server 连接 如图所示： 由于Blade Server 内部也是SAN switch， 在连接的时候要考虑采用ISL，E_port连接到MDS9513互换机，配置interop mode，配置指定的domain ID,在MDS 9513上配置zone和zoneset，zone member采用Blade Server内部的独立blade 的PWWN地址，根据应用的需求将不同的Blade分派到不同的zone，Active的zoneset会传递到Blade server内部的SAN switch上，实现zone的划分。 由于本次采购的Blade Server缺省配置为Brocade SAN 模块，实现与Cisco MDS9513互联要注意以下的限制：: Brocade SAN module 的微码版本应当在 Fabric OS 2.4 或之上。 Interop 模式会影响Brocade SAN module，因此Brocade SAN module 因该配置interop mode enabled. Brocade SAN module 配置interop mode enable会reboot之后配置生效. Zoning 的划分只能采用pWWN作为 zone member. 不能采用端标语或者nWWN. Domain IDs 限制在97 到 127 之间。 只有Active 的zoneset会传递从CiscoMDS9513传递到Brocade SAN module中。 在实现Blade server Brocade SAN module 与Cisco MDS 9513互联后，以下的Fabric service 不被支持： The Alias Server Secure Fabric OS Management Server以下的服务被严禁： Virtual Channels Quickloop QuickLoop Fabric Assist zones以下的服务不生效： Broadcast zones Domain/port representation in zones Trunking第4章 组件安装4.1 Cisco MDS 9513安装配置原则 采用WWN作为zone member ，便于统一业界标准，便于不同厂商互操作,问题在于后续的系统维护相对复杂，如不考虑不同厂商互联则推荐采用基于端口的zone member划分原则，理解简朴，维护简朴。 端口划分的分区（zone）原则，划清主机接入区，和存储接入区，便于未来管理。 由于采用dual fabric 结构设计，充足考虑两个独立fabric中存储互换机端口zoning以及VSAN划分的对称性。 推荐采用基于HTTP界面的OOB 管理方式，OOB的以太网连接和ip地址规划规定符合Dual Fabric 冗余特性。 配置FCID persistent 在每台互换机上， 防止HP-UX主机在更换HBA或者互换机换端口，重新启动的时候需要重新扫描磁盘。 4.2 Cisco MDS 9513 光纤布线配置操作环节不同模块在不同层面汇聚到Cable Giude支架，互相不交叉；换模块不会影响其它模块；FC光纤、管理以太网线和电源线互相分开从不同方向分布，避免互相干扰。 Cisco MDS 9513 配置操作环节 在这一章里，具体介绍了思科MDS9000存储互换机有关VSAN和zone的配置方法，用户可以通过对VSAN和zone的配置增强SAN环境下的存储资源的安全访问能力，灵活访问控制能力，充足满足用户的需求。 通过配置，用户可以建立VSAN，zones，zoneset ，建立zone和VSAN之间的联系。4.2.1 设备安装 Cisco MDS 9513 的安装过程如下： Step 1 安装MDS9513机架托件 Step 2 将MDS9513机框安顿在架托架上，并安装线缆管理器。 Step 3 将MDS9513板卡安装在相应位置。4.2.2 配置前的准备工作Step 1 将console电缆连接到MDS9513的console口，设立终端的参数为（9600 Bits， 数据位8， 效验 none ，停止位 1，流控none）Step 2 将Console 的另一端连接到PC机的串口，并启动终端软件。Step 3将PC机的以太口与MDS 9513的管理端口连接在网络中，建议在同一子网。 准备加电进行初始化配置。 4.2.3 初始化配置 通过Console接入MDS9513，加电，CLI配置如下:- Basic System Configuration Dialog -This setup utility will guide you through the basic configuration of the system. Setup configures only enough connectivity for management of the system.Press Enter in case you want to skip any dialog. Use ctrl-c at anytime to skip away remaining dialogs.Would you like to enter the basic configuration dialog (yes/no): yEnter the password for admin : adminCreate another login account (yes/no) n: nConfigure SNMPv3 Management parameters (yes/no) y: ySNMPv3 user name admin: adminSNMPv3 user authentication password : admin123 admin的口令，在启动Fabric Manager时需要。The same password will be used for SNMPv3 privacy as well.Configure read-only SNMP community string (yes/no) n: Configure read-write SNMP community string (yes/no) n: Enter the switch name: mds9NNN- MDS9513的主机名Continue with Out-of-band (mgmt0) management configuration? (yes/no) y: yMgmt0 IP address : 10.0.X.Y Mgmt0 IP netmask : 255.255.255.0 建议该地址与管理的PC机在同一网段；Continue with In-band (vsan1) management configuration? (yes/no) n: Enable the ip routing capabilities? (yes/no) y: yConfigure static route? (yes/no) y: nConfigure the default network? (yes/no) y: nConfigure the default gateway? (yes/no) y: IP address of the default gateway : 10.0.X.254 Configure the DNS IP address? (yes/no) n: Configure the default domain name? (yes/no) n: Enable the telnet service? (yes/no) y: Enable the ssh service? (yes/no) n: Configure the ntp server? (yes/no) n: Configure default switchport interface state (shut/noshut) shut: Configure default switchport trunk mode (on/off/auto) on: Configure default zone policy (permit/deny) deny: Enable full zoneset distribution (yes/no) n: Enable FCID Persistence globally (yes/no) n: y FCID绑定WWNA summary of the configuration will be displayed:The following configuration will be applied:username admin password admin role network-adminsnmp-server user admin network-admin auth md5 admin123 priv admin123switchname mds9216-16interface mgmt0ip address 10.0.16.3 255.255.255.0no shutdownip default-gateway 10.0.16.254telnet server enableno ssh server enablesystem default switchport shutdownsystem default switchport trunk mode onno zone default-zone permit vsan 1-4093no zoneset distribute full vsan 1-4093Press Enter twice to save the configuration.Would you like to edit the configuration? (yes/no) n: Use this configuration and save it? (yes/no) y: After the configuration is saved, hit 4.2.3 安装Fabric Manager和Device ManagerStep 1启动Intern