大型数据中心(IDC)建设及低PUE数据中心一点思路.doc

大型数据中心（IDC）的建设和低PUE数据中心的一点思路
2011年

一、大型数据中心（IDC）的建设
大型数据中心（IDC）的建设是一项非常庞大的工程，涉及网络整体架构、选址、能源供应、机房架构、设备、基础建设、建造费用、运行成本、升级改造、维护等多个层次。每个层次的专业技术要求都很高高、技术门类跨度大，而且各个层次都相互影响和制约。
想要做到完美设计，不仅要整个系统架构设计合理，还要各个子系统的合理配合，最重要的是要有一个完美团队。每个子系统团队不仅在各自领域要有精深的专业知识，还要有全局视野和知识面。

本文不涉及网络整体架构，仅仅谈及独立数据中心建设思路，仅做技术交流之用。

1. 选址
（1） 整体架构布局决定大的地理位置
（2） 气候环境决定机房散热解决方案
（3） 具体位置还要考虑能源供应、土地成本、特殊的散热方案需求等

2. 能源供应
（1） 充足、可靠、廉价的能源供应是至关重要的，关系到数据中心运行的可靠性和运行成本
（2） 包括常规能源、新能源以及备用能源供应的综合设计
（3） 一般来讲充足性>稳定性>成本，但是从企业自身角度考虑，运行费用（OPEX）也非常重要，考虑不同类型的数据中心有时候成本的权重会适当增加

3. 机房架构
（1） 机房架构涉及机房的各个功能模块：设备布局、能源供应、配电、消防、综合布线、散热、系统监控、防雷接地等
（2） 结构的模块化应该成为基本的设计理念。模块化设计的理念应是整体和各个子系统中非常重要和不可或缺的，可以说无论软硬件的架构设计，不是模块化的设计都不能说是一种好的设计
（3） 独立数据中心架构的模块化设计起码考虑15年以上的需求，要考虑现有需求和扩容需求。现有的集装箱机房很多仅仅是结构的模块化，并不一定满足整体的模块化设计。
（4） 外围还要考虑能源供应、外部围护结构、位置空间等

4. 设备
（1） 各类数据中心主设备的尺寸、功率、工作环境温度、散热方式、热密度等都有不同，而且随着科技发展，各种参数都会发生改变
（2） 特别是配电、散热方案一定是针对具体的设备类型、布局和环境要求进行
（3） 对设备各种参数的了解是最起码的，各方面都必须要兼顾整体和个体需求

5. 基础建设
（1） 传统的办公大楼肯定是过时的，基础建设的不合理，后续设计只会削足适履
（2） 一定是从内到外，各个子系统的模块化设计，合理布局，从而得到设计完美的外部建筑结构
（3） 基础建设的几个主要的关键点是：内部布局结构、承重、防雷接地、消防、围护结构、材料性能，还有就是安全
……在此针对消防提出个人的一点看法，部分机房，如果设备元器件、设备框架、电线电缆、其它内部设备及维护环境，均已做到不燃或难燃级别，消防要求是否可以考虑做相应的调整，降低消防投入成本。

6. 建造费用
（1）建造费用主要是土地成本、基建成本、设备成本等
（2）跟具体位置、大小等相关

7. 运行成本
（1） 设备能耗——优选低能耗设备
（2） 散热能耗——优选低能耗散热方案
（3） 电力成本——优选价格低廉的电力供应或时段

8. 升级改造和维护
（1） 设计和建设做好了，后续就简单，费用就低
（2） 设计不仅要着眼现在，更要了解未来技术趋势，适当考虑即可

以上任何一步都非常重要而且相互关联和影响，任何一项都需要很深的专业知识和设计，全局考虑有所取舍。任何一项展开来说都是长篇大论，很多都非我能力所及，因此不再深入。

二、低PUE数据中心的一点思路

目前，国内大型IDC机房建设的主要不足（参考网络文章）：
（1） 设计标准落后，基础研究空白，缺乏统计数据。国内的相关设计，建设标准是过于陈旧，用于指导电信行业的TIA-942规范并不一定对所有用户适用
（2） IDC机房所要支持的业务系统的要求，企业IT架构设计与具体的基础设施设计严重脱节
（3） 设计、建造过多依靠经验，缺乏科学的方法和工具。现有机房工程公司已难以支持，而国内的专业建筑设计院过去很少接触IDC机房设计
（4） 技术经济指标，节能措施缺乏计算和考虑，效率低下
（5） 缺乏专业的工程管理
（6） 设计、建设、运维各个阶段脱节---整体设计理念和全局的视野是系统工程项目的关键
以上的总结非常准确，本人对每一项都深有体会。

以下主要针对怎样建设低PUE数据中心给出一点分析和思路，权当抛砖。

1. 现有数据中心的高PUE值的现象或因素
（1） 基本均为空调制冷散热，制冷能效低
（2） 风道设计不合理，或风道设计错误
（3） 空调设计配套冗余过度
（4） 机房内温湿度设计不合理，空调加湿除湿同时进行
（5） 机房内温度过低
（6） 围护结构设计不合理或无设计
（7） 无空调制冷控制，空调无效运行时间长
（8） 环境温度不同的设备同一空间放置，设置低温环境
……
根据本人经验，合理的风道设计和空调运行控制，就可以降低现有大部分机房空调电费的30%以上。

2. 现有低PUE数据中心的一些方法
（1） 合理的风道设计---最基本的
（2） 设置合理的环境温度，无需过低的环境温度
（3） 空调的合理控制，减少空调的无效运行，增加空调的使用寿命
（4） 选取气候低温地区，利用自然冷源——自然冷风、加湿冷风、冷风热交换等，亦可提高空调能效比
……google等欧美自建机房公司是低PUE机房的建设的先行者，因为运行成本降低节省的是真金白银。
（5） 定点送风，直接将冷量送到设备或器件处，提高散热效率
（6） 室外水冷散热，提高空调能效比

3. 建设低PUE和低OPEX数据中心的一些方法
（1） 设计先行——选用先进可靠的设计方案
（2） 利用现有低PUE数据中心的一些方法
（3） 选用新型的设备——选用高性能高容量设备（降低机房空间需求）、水冷机柜（散热效率高）、工作环境温度高的设备（提高环境温度）等
（4） 利用廉价的自然冷源——优先低温地区选址、利用江河湖海的散热、选取低温干燥地区采用水分蒸发降低空气温度
------比如在水电站附近建设机房，不仅可以就近使用水电，而且可以利用水流和热交换器进行散热
（5） 利用蓄冷技术，增加气温低时空调运行时间（提高空调运行能效），或在电费较低时运行空调（降低运行电费，最好事先跟电力公司签订一个长期低价时段电费的合同）
（6） 随着新能源的技术进步，合理利用低价的太阳能和风能
（7） 根据业务类型建立不同级别的数据中心，亦可有效降低成本和运行费用

4. 建设低PUE建设的难度和障碍
（1） 国内没有专业的IDC整体设计的设计单位，且对低PUE技术方案研究不足
（2） 客户对新技术新方案持有怀疑态度，对可靠性稳定性节能率没有实际数据参考
（3） 国内数据中心运营商绝大部分处于垄断行业，成本转嫁能力强，节能动力不足
……靠行政垄断的企业在技术革新和节能减排方面都没有多少动力可言，但是它们又是节能减排最大的客户和群体，往往这些垄断企业做节能减排会造成更大的浪费。
（4） 或许是提供新型方案的国外设计公司所需费用昂贵
（5） 国内还没有成熟配套设备的提供商，研发和定制费用高

5. 低能耗数据中心的发展趋势
（1） 主设备向器件级散热发展，自身散热能力提高，对环境温度要求降低
（2） 利用自然冷源的技术和设备趋向成熟
（3） 空调、通风、热交换等各种散热设备自身的能效比提高
（4） 大型企业自建机房对低PUE数据中心的需求意愿提高（降低运行电费）
（5） 数据中心建设公司为提高竞争力，主动开发设计和提供系统解决方案和设备研制

6. 新型数据中心的完美设计
（1） 整体和各层架构合理
（2） 低PUE，高可靠性
（3） 远程及实施监控，统一平台管理，立体显示
（4） 模块化程度高，可靠性高维护简单
（5） 更重要的是一个完美的技术团队

技术交流QQ（和邮箱）：24600593