Brocade博科SAN网络设计专项方案.docx

Brocade网络项目
设计方案

Contents
一. 文档目标 3
二. SAN网络设计标准 3
三. SAN网络架构拓扑提议 4
四. SAN总体架构介绍 5
五. 设备选型 6
六. 交换机高端功效介绍 7
七. 数据中心SAN组成及扩展 8
八. SAN网络配置规范 10
九. FIRMWARE提议 12

一. 文档目标
为了配合 数据扩展特制订本技术指导。本指导将会包含以下内容：
• 愈加好地计划、合理地使用SAN架构及相关资源
• 针对 未来业务发展带来SAN架构扩展提出标准
• 对现有设备端口资源和未来可能投入新资源进行合理配置计划
• 对SAN设备相关安全策略和监控管理提出对应规范

二. SAN网络设计标准
对于金融服务环境等要求最高可靠性、性能和弹性任何基础架构来说，存放网络架构全部是基础组成要素。事实数次证实，假如在这些方面投机取巧走捷径，那么未来发生本可避免故障时，企业将付出更大代价。一旦产生故障除了极高宕机成本以外，还会造成生产率下降、法律和监管合规性影响、信心和信任度下降、市场声誉受损等后果。
所以博科对于SAN网络架构很重视，依据博科20多年存放网络经验，提议按以下标准设计存放网络。
1. 最小化所管理Fabric架构数量 - Fabric架构越少就越轻易管理。
2. 最小化每个Fabric架构中交换机数 - 使用如大型导向器可简化管理，将可能Fabric架构中止情况降至最低。
3. 限制Fabric架构规模 - Fabric架构规模应加以限制
4. 使用高可用性高交换机 - 即使SAN拥有冗余架构可用于故障切换，也没有些人期望其中一条数据路径出现问题。
5. 避免大负载比，预防造成拥塞或性能降低 - 任何负载比全部应合适地加以设计。
6. 大型环境采取关键-边缘模式 - 关键-边缘设计模式可支持更大型多Fabric架构创建，有利于简化日常管理任务，便于处理问题。
7. 针对存放流量进行设计 - 在SAN环境中响应时间是以毫秒甚至纳秒及进行衡量，牢靠SAN设计必需提供可靠且一致I/O响应。
8. 资源就近访问标准 - 主机访问存放或存放间访问因采取就近标准，即使用尽可能少跳数完成访问。

三. SAN网络架构拓扑提议
SAN 网络架构拓扑包含网络边缘设备、网络关键交换机和将它们连接起来线缆。拓扑结构通常依据交换机互连方法进行描述，如环状、关键-边缘、边缘-关键-边缘或全网状。
4.1 边缘-关键拓扑
边缘-关键拓扑将 Initiator（服务器）布署在边缘层，将存放（目标）布署在关键层。服务器和存放设备在不一样交换机上，这种拓扑可提供管理简便性和出色性能，从边缘到关键流量只经过一跳。

4.2 边缘-关键-边缘拓扑
边缘-关键-边缘拓扑将 Initiator 布署在一个边缘层，将存放设备布署在另一个边缘层，将关键用于交换机互连或连接全网络范围设备，这种架构许可独立扩展计算和存放资源，流量只需要经过两跳就能够从边缘经过关键传输到另一个边缘设备。

4.3 全网状拓扑
全网状拓扑能够将服务器和存放设备布署在任何地方，因为任意源和目标地之间通信只需要一跳。
Brocade推荐 使用关键-边缘拓扑。这种拓扑提供了以存放为中心可扩展基础设施，Fabric关键端通常是由一个或更多导向器级交换机组成，提供了集中化存放连接。边缘端是由Fabric架构交换机或导向器组成，经过ISL连接到关键端。见下图：

图所表示，存放端口是由关键导向器提供支持，同时边缘交换机提供多台服务器到关键资源扇入。这种设计许可路径上不一样等级服务器进行连接，满足了不一样应用带宽需求。
架构特点：
• 主机访问存放跳数为1跳，延时较低
• 可实现按需横向扩展（Core或边缘）
• 存放可接入在不一样关键上，实现最大负载均衡
• 流量分布在不一样关键及边缘降低级联线需求，有效提升了ISL使用效率
• 网络中无单点交换机故障

四. SAN总体架构介绍
为了适应新一代业务增加，在新一代SAN架构设计时，以确保未来五年内业务增加为前提，为 企业定下了关键-边缘SAN架构，同时兼顾未来同城灾备中心，为未来扩展奠定基础。
目前架构为双机房架构，其中A机房和B机房又分布在同一楼层，存放会分布在2个机房内。
5.1 数据中心SAN网络架构
生产SAN网络架构为 关键架构，目前使用设备为博科6510交换机且为单机应用，不管从性能还是功效上均无法满足用户业务增加需求。
依据最好实践，Brocade提出以关键-边缘建设生产数据中心SAN网络，以满足 业务扩展，见以下拓扑图（单边）：

从整个拓扑来看，关键-边缘架构在提供了极佳应用冗余性外，SAN网络同时实现了集中存放到应用体系转换，使主机和存放各自设计和扩展变相对独立。
五. 设备选型
鉴于机房设备布局及业务需求， 决定使用6520来作为整个SAN网络关键交换机。
• 6520硬件
Brocade 6520 交换机可交付市场领先 16 Gbps 光纤通道技术和支持高度虚拟化环境优异功效，进而满足超大规模私有云存放环境需求。 Brocade 6510设计用于实现最高灵活性和最有效投资保护，支持48，62，96 端口配置，而且可在高效 2U 高度下支持 2、 4、 8、 10 或 16 Gbps 速度。

六. 交换机高端功效介绍
生产设备将会分布在A机房和B机房，所以数据传输可靠性尤为关键，Brocade传输功效确保数据快速正确在数据中心中传输，业界首屈一指Fabric Vision功效提供了多个工具确保双数据中心SAN网络监控及管理更简单，更智能，更有效，确保数据安全无忧。
• Fabric Vision
SAN管理目标是期望构建灵活存放区域网络，灵活满足高密度虚拟化、闪存和云基础架构动态多变可扩展性和性能要求。为实现这些目标，需要全新工具来帮助确保不停机运行，快速识别潜在拥塞点，最大程度地提升应用性能并简化管理。Brocade Fabric Vision技术是对第五代光纤通道技术扩展，可提供无和伦比存放网络洞察力和可视性，利用强大内置监控、管理和诊疗工具帮助企业。
• 提供强大内置监控、管理和诊疗工具，简化管理、延长正常运行时间并降低成本
• 经过One Touch方法利用SAN最好实践经验，借助预先定义基于阀值规则、操作和策略简化监控处理方案布署
• 利用主动监控和高级诊疗工具避免50%常见网络故障。
• 经过自动化测试和诊疗工具消除近50%维护成本。
• 经过内置监控和诊疗功效消除对昂贵第三方工具需求，帮助节省大量资本支出。

七. 数据中心SAN组成及扩展
7.1 SAN网络组成
SAN架构由关键（Core）交换机、边缘（Edge）交换机及相关线路组成。
依据最好实践，我们先定义每个SAN网络遵照规模限制：
• 交换机个数<=10
• 端口数<=
SAN网络规模限制是为了确保网络稳定性和愈加好进行运维管理服务。

7.2 SAN网络扩展性
下图是现在设计单边SAN网络内最大规模交换机数连接示意图，能够看到：网络内交换机采取冗余链路设计，每个SAN网络最大有2台关键Core交换机（按需扩展）和8台边缘Edge交换机（按需扩展）。

7.3 SAN网络扩展标准
SAN设计是按5-7年设计，不过SAN建设是按需扩展，伴随未来业务发展可能会带来SAN网络扩展需求，对此Brocade有着以下定义：在既定SAN网络内某体系需要扩展时，假如某SAN网络仍有对应扩展空间则进行纵向扩展；如某SAN网络已达规模上限时则采取横向扩展。
以下为扩展基础标准即步骤图：

7.4 总结
依据以上内容，以下是对SAN网络扩展总结：
• 当端口需要扩展时，依据接入设备（存放/主机）选择接入关键还是边缘交换机。
• 当关键/边缘交换机端口不足时首先选择扩展板卡方法进行扩展
• 当关键/边缘交换机无纵向扩展选择时，经过横向扩展方法进行扩展，即新增交换机。
• 全部关键/边缘交换机接入需采取双路冗余接入方法。

八. SAN网络配置规范
8.1 管理网络界定
为了统一起见，我们对管理网络进行以下界定：
1. 管理网络是指专门开辟一个用于管理网络，关键用于SAN网络设备管理和调试、SAN存放设备管理和调试等,包含BNA SAN网络管理系统均使用管理网络，地址段为X.X.X.X某个网段。
2. 管理网络区能够设置有多个网段。SAN网络设备管理和调试、SAN存放设备管理和调试、BNA SAN网络管理系统能够分别使用不一样网段。
3. 假如网段之间设备需要相互通信，则需要相关网段能互连互通。

8.2 SAN网络设备管理IP地址计划
推荐以下管理IP地址计划：
1. 在同一个SAN网中光纤交换机管理端口设在同一个网段内。
2. 使用SAN网当地私有管理网络IP地址，地址段为X.X.X.X某个网段。
3. 对于一般SAN交换机，一台交换机分配1个管理IP地址；对于导向器设备，每台导向器需要3个管理IP地址，2个分配给CP板，1个分配给chassis。在导向器实际管理中，我们使用分配给chassisIP地址作为管理地址。

8.3 SAN 交换机级联端口利用计划
SAN交换机端口连接计划需要充足考虑过载比和实际使用环境。所谓过载比，是指边缘交换机所连接服务器数量和边缘交换机到关键交换机ISL数量比值，简称ISL过载比，或边缘交换机所连接服务器带宽综合和边缘交换机到关键交换机ISL带宽总和比值，简称为带宽过载比，还有一个过载比是服务器和存放端口数量比值。下面我们以ISL过载比进行SAN交换机端口连接计划。
1. 通常情况下，边缘交换机到关键交换机之间按7:1过载比进行计划。对通常数据库和应用服务器和文件服务器等，其过载比通常提议7:1。
2. 带宽要求不高按15:1过载比进行计划，通常服务器和使用FC用户端，15：1通常全部能 胜任。
3. 部分带宽要求较高按3:1过载比进行计划，比如关键数据库和存放端口过载比通常提议3:1。

8.4 别名计划
1. 为了日常管理清楚和方便推荐使用别名
2. 给予别名名称一定含义，如服务器SVR,存放SG，物理磁带库LIB等
3. 别名名称要求和ZONE名称要求相同

8.5 ZONE 计划
以下是依据ZONE划分最好实践提出以下ZONE设置规范：
1. 对于每台主机（initiator） 1个端口，对应1个或数个存放端口（target）一起组成1个ZONE。
2. 采取硬件分区技术， ZONE组员要么全部是PWWN，要么全部是FC 端口(Domain ID, Port Index)。
3. 推荐在关键交换机上配置ZONE。
4. 推荐FOS（Fabric OS）版本最高交换机上配置ZONE。
5. 不一样Fabric ZONE配置信息能够相同，相互独立。
6. 推荐将交换机Default ZONE设置成NoAccess。
7. 博科交换机ZONE命名为英文字母、阿拉伯数字和下划线，必需以英文字母开头，总长度不能超出64位，要区分英文字母大小写。
ZONE命名标准以下：
Zone名称由前端设备名称别名、后端设备名称2部分组成。名称依次连接，不留空格，其表示形式为：
XXXX_XXXXX_XXXX
_XXXXX_XXXXX_XXXX
前段设备名称
后端设备名称

例1：XZ_db1_hba1_XZ_hpxp24000_S1P3解读以下:
字段
XZ_DB1_HBA1
_XZ_HPXP24000_S1P3
类别
前段设备名称
后端设备名称

九. Firmware提议
Brocade企业每十二个月均会对交换机微码进行完善和增加对应新功效，现在交换机最新版本微码为v8.0，鉴于业界微码选择标准和Brocade在实施过程经验，推荐使用次新版本Firmware。