详解高级格式化4K扇区硬盘.doc

什么是高级格式化？
    最近不少硬盘产品都戴上了高级格式化的帽子，比如西部数据的1TB绿盘、希捷2TB Barracuda Green低功耗硬盘和希捷最大标准厚度的750GB Momentus笔记本硬盘等等，那么究竟什么事高级格式化硬盘呢？
什么是高级格式化？
    高级格式化是国际硬盘设备与材料协会（International Disk Drive Equipment and Materials Association，IDEMA）为新型数据结构格式所采用的名称，它定义了硬盘介质上所用基本扇区大小的增长量级。新的IDEMA标准规定，硬盘扇区大小将从512字节变为4096（4K）字节。
    硬盘行业正在经历一次变革。近年内，在存储密度大幅增长的同时，作为硬盘设计最主要因素之一的逻辑块格式化大小（也称为扇区）却仍然没有变化。
    自2009年发轫，2010年加速，2011年力争成为主流，硬盘公司正在从传统的 512 字节扇区迁移到更大、更高效的4096字节扇区（一般称为4K扇区），国际硬盘设备与材料协会（International Disk Drive Equipment and Materials Association，IDEMA）将之称为高级格式化。
背景
    30多年来，硬盘上储存的数据都要格式化到小的逻辑块中，这种逻辑块称为扇区。传统的扇区大小是512字节。实际上，现代计算机系统很多的设计方面仍假设硬盘扇区采用此基础格式标准。

硬盘介质上的传统扇区布局
    传统扇区格式中包含间隙（Gap）、同步（Sync）和地址标记（Address Mark）、数据和纠错代码（EEC）部分。
    上图Gap、Sync、Address Mark、ECC的含义是什么？
间隙（Gap）部分：间隙，用于分隔扇区。
同步（Sync）部分：同步标记，用于表示扇区开始处并提供计时对齐。
地址标记（Address Mark）部分：地址标记，包含可识别扇区号和位置的数据。还可提供扇区本身的状态。
数据部分：数据，包含所有用户数据。
EEC部分：ECC部分包含用于修复或复原读写过程可能受损的数据的纠错代码。
产品：Barracuda Green 2TB 5900转 64MB SATA接口（ST2000DL003） 希捷 硬盘 
为何要采用高级格式化
    多年来，硬盘行业一直采用这种低级别的格式。然而，随着硬盘容量的不断增长，扇区大小日渐成为提高硬盘容量和纠错效率方面的限制性设计因素。例如，将以前的扇区大小和总容量的比率与最近硬盘的扇区大小和总容量的比率相对比就可以发现，扇区分辨率已变得非常低。扇区分辨率（扇区大小和总存储大小的百分比）已经非常低，几乎可以忽略不计。

总容量度量的扇区分辨率
    管理小型离散数据时，分辨率越低越好。但是，现代计算系统中的常用应用管理的都是大型数据块，实际上远比传统 512 字节扇区大小要大得多。
    另外，随着区域密度的增加，小型 512 字节扇区在硬盘表面上占用的空间也将越来越小。从纠错和介质缺陷风险方面看，更小的空间也会引发问题。如图 2 所示，硬盘扇区中的数据占据的空间越小，错误纠正就会变得越困难，因为同样大小的介质缺陷对总体数据负载损害的百分比更高，因此需要更大的纠错强度。

介质缺陷和区域密度
    512字节扇区一般可纠正高达50字节长度的缺陷。现在，硬盘开始通过先进的区域密度来提高错误纠正的上限。因此，为了改善错误纠正和实现格式化效率，迁移到较大扇区是硬盘行业内的基本要求。
    数年来，存储行业一直在通力协作，致力于向较大扇区硬盘格式过渡；至少 5 年以前，希捷以及硬盘行业内的同行就已开始努力，并获得了卓越的成果（见图 3）。2009 年 12 月，经过与 IDEMA 的通力合作，将高级格式化提名作为 4K 字节扇区标准的名称，并获得批准。此外，所有硬盘制造商还承诺，自 2011 年 1 月开始，所发行的台式机和笔记本电脑产品的新型硬盘平台都采用高级格式化扇区格式。在此之前，高级格式化硬盘将开始逐步进入市场。从 2009 年 12 月起，西部数据就开始推出了高级格式化硬盘；有段时间，希捷也为 OEM 客户和品牌零售产品中提供过大扇区硬盘，其中值得关注的是 USB 连接外置硬盘，如 Seagate FreeAgent 系列。

高级格式化标准发展的重要里程碑
产品：Barracuda Green 2TB 5900转 64MB SATA接口（ST2000DL003） 希捷 硬盘 
采用4K扇区的长期利益
4K扇区的长期利益
    所有硬盘制造商一致同意，到2011年1月，实现向高级格式化扇区设计的过渡，因此，硬盘行业需要适应并采用此更改，以最小化潜在负面副作用。短期内，最终用户不会明显感受到硬盘容量的增长。但是，迁移到4K大小扇区后，肯定能为实现更高的区域密度、硬盘容量和更强大的纠错功能提供一条捷径。

传统的512字节扇区布局
    上图显示了传统的512字节扇区布局。其中，在每个512字节扇区中，都留有 50 字节与数据无关的开销用于EEC，以及另外15字节的开销用于间隙（Gap）、同步（Sync）和地址标记(Address Mark)部分。这样就造成扇区化1格式化效率仅约为88%（512/（512 + 65））。

新的高级格式化标准
    新的高级格式化标准使得4K字节扇区有了不小进步，在4K字节扇区中，8个传统512字节扇区合并为一个4K字节扇区（见上图）。
    高级格式化标准用于间隙（Gap）、同步（Sync）和地址标记 (Address Mark) 的字节数与传统扇区相同，但将 EEC 字段增加至 100 字节。这样，扇区化1格式化效率达到了97%（4096/(4096 + 115）），比传统扇区提高了将近10%。这些格式化效率将逐渐发挥作用，有助于产生更高的容量和改善数据完整性。
可靠性和错误纠正
    硬盘扇区的物理大小在不断缩减，所占空间也越来越少，但介质缺陷却没有同时减少。下图中显示了我们认为很小的物体的图像。但与硬盘读/写磁头的飞行高度相对而言，这些物体显得非常庞大。比图中显示物体更小的微小颗粒也会造成硬盘的介质缺陷。

磁头飞行高度的小比例对比演示
    高级格式化标准中的较大 4K 扇区可将 EEC 块大小增加一倍2，从 50 字节增加到100字节，能够针对颗粒和介质缺陷为错误纠正效率和稳健性带来必要的改进。
    从改进的格式化效率和更加强大的纠错功能的综合优势来看，向4K扇区的过渡很值得。如何管理这种过渡，以最小的副作用获取长期利益，是硬盘行业的重点所在。
了解过渡到4K的影响
    前面提到，在现代计算系统中，很多方面仍然假设扇区都是512字节。要将整个行业过渡到新的4K标准，同时希望所有原来的假设一下子适应这种改变是不现实的。随着原生4K扇区的实施，主机和硬盘会逐渐以4K块来交换数据。那时，硬盘制造商将通过称为“512 字节扇区模拟”的技术实现到4K扇区的过渡。
产品Barracuda Green 2TB 5900转 64MB SATA接口（ST2000DL003） 希捷 硬盘 
模拟硬盘读写全过程

512字节扇区模拟
    4K大小扇区的引入将主要依赖于 512 字节扇区模拟。这个术语是指，将高级格式化中所用4K物理扇区转换为主机计算系统预期使用的传统 512 字节扇区的过程。
    由于512字节模拟不会强制在传统计算系统中进行复杂的改变，因而是可行的。但是这种模拟会对硬盘性能带来潜在的负面影响，特别是写入的数据与 8 个转换的传统扇区不对应时。考虑到512字节模拟所需的读写过程，这种影响很明显。
模拟读写过程
    以512模拟方式来读取 4K 扇区格式化硬盘中数据的过程非常直接，如下图所示。

模拟读写过程
    可以在硬盘 DRAM 内存中读取 4K 数据块以及格式化主机所需的特定 512 字节虚拟扇区，因此这个过程不会明显影响到性能。

模拟读写过程
    写过程更为复杂一些，特别是主机尝试写入的数据为4K物理扇区的子集时。这时，硬盘必须首先读取包含主机写入请求目标位置的整个4K扇区，合并现有数据与新数据，然后重新写入整个4K扇区。

    在此情况下，硬盘必须执行额外的机械步骤：读取4K扇区数据、修改其内容，然后重新写入数据。此过程称为“读取-修改-写入”（read-modify-write）循环，但这个过程不够理想，因为它会对硬盘性能造成负面影响。将“读取-修改-写入”情况的几率和频率降到最低是顺利无忧过渡到4K扇区的最重要因素。
“读取-修改-写入”预防
    如前所述，在数据块小于或未对齐到4k扇区时，硬盘会为此数据块发出写入命令，此时会发生“读取-修改-写入”的情况。这种小于4K的写入请求称为超短帧。512字节模拟中出现超短帧的根本原因有两个。
1.由于逻辑分区和物理分区未对齐，导致写入请求不对齐。
2.写入请求的数据小于4K
产品：Barracuda Green 2TB 5900转 64MB SATA接口（ST2000DL003） 希捷 硬盘 
对齐硬盘分区和未对齐硬盘分区差别
对齐硬盘分区和未对齐硬盘分区
    到目前为止，我们尚未讨论主机系统和硬盘如何针对介质上的扇区位置进行通信。我们现在就来介绍一下逻辑块地址（Logical Block Address，LBA）。每个512字节扇区都分配了唯一的LBA，根据硬盘大小，数字可以是从0到所需的数
字。主机会使用分配的LBA来请求特定的数据块。主机请求写入数据时，会在写入结束时会返回一个LBA地址，告知主机数据的位置。这对于4K扇区的过渡非常重要，因为主机LBA起点位置可以有八种可能性。
    当LBA 0与4K物理扇区中的第一个512字节虚拟块对齐时，512字节模拟的逻辑块到物理块对齐情况称为Alignment 0。另一种可能出现的对齐情况是，LBA 0与4K物理扇区中第二个512字节虚拟块对齐。这种情况称为 Alignment 1，下图比较了Alignment 1 Alignment 0 两种对齐情况。另外，还有六种可能出现的分区不对齐情况，会引起与Alignment 1情况相似的“读取-修改-写入”事件。

    Alignment 0情况与高级格式化标准中新的4K扇区完全符合。因为硬盘能够轻松将8个相邻的512字节扇区映射到一个4K扇区。实现此映射的方法是，将512字节的写入请求储存在硬盘的缓存中，等接收到8个连续的512字节数据块时再将其写入到4K扇区（8个连续的512字节块刚好构成一个4K扇区）。由于现代计算应用要处理大量的数据，这些数据一般都超过4K，因此很少发生“超短帧”的情况。但是，Alignment 1却是完全不同的状况。
    当创建的硬盘分区出现不对齐（如图 9 所示）的情况时，会引起“读取-修改-写入”循环，影响硬盘性能。这是在实现高级格式化硬盘的过程中应主要避免的情况，我们稍后对此进行讨论。
小型写入
    现代计算应用中的数据一般都大大超过512字节，如文档、图片和视频流等。因此，硬盘会将这些写入请求存储在缓存中，直到这些连续的512字节数据块能够组成一个4K扇区。只要硬盘分区是对齐的，就可以轻松地将512字节扇区映射到4K扇区，而不会对性能产生任何影响。但是，某些低级别的处理会强制硬盘处理“超短帧”状况（这种状况与未对齐分区无关）。这种情况很少见，仅当主机发出小于 4K 的离散写入请求时发生。低级别的处理通常都是处理文件系统、日志的操作系统级别的活动，或是类似的低级别活动。通常来说，这些活动发生的几率很小，因此不会明显影响到总体性能。但仍然建议系统设计人员考虑对这些过程进行适当修改，以便在实现4K过渡后能最大化硬盘性能。
产品：Barracuda Green 2TB 5900转 64MB SATA接口（ST2000DL003） 希捷 硬盘 
你的系统版本是否可识别4K
准备和管理4K过渡
    我们已经了解了迁移到4K扇区的优势以及对性能的潜在影响，接下来就该查看行业如何有效地管理过渡。在Windows和Linux是现代计算中部署的两种最受欢迎的操作系统，在这两种环境下我们能更好地讨论这个主题。
    管理到4K扇区的过渡中最重要的一个方面与上文讨论的对齐问题有很大关系。高级格式化硬盘在 Alignment 0 情况下运行完好，这时物理块和逻辑块的起始位置相同。创建硬盘分区时便已实现了对齐。分区创建软件分为两大类：
1.各Windows操作系统版本
2.硬盘分区实用程序
    使用Windows操作系统创建分区时，有三种Windows版本值得一提：Windows 
XP、Windows Vista 和 Windows 7。Microsoft 早已投身到致力于规划过渡到更大扇区的社区中。因此，从Windows Vista Service Pack 1起，Microsoft 开始发布可兼容4K扇区的软件。可创建 Alignment 0 状态（符合高级格式化标准）的分区的软件称为“可识别4K”的软件。下表说明了与当前各 Microsoft Windows 操作系统版本的相关情况。

操作系统版本是否可识别4K？
    很清楚，配有Windows最新版本的新计算机系统相对更适合使用高级格式化硬盘。但是，对于仍然使用Windows XP或Service Pack 1 之前的Windows Vista的系统来说，操作系统所创建的分区性能很可能显著下降。
    除Windows操作系统较早版本所创建的分区可能出现潜在不对齐情况外，在系统构建商、OEM、增值经销商和 IT 管理员广泛使用的软件实用程序中，有很多软件实用程序也能够引发分区不对齐情况。事实上，通过这些实用程序创建的分区比通过 Windows 操作系统本省创建的分区还要普遍。因此，创建不对齐分区，从而导致使用4K扇区时环境中硬盘性能下降的风险非常明显。更麻烦的是，如今系统中的硬盘一般都包含多个硬盘分区。这意味着必须使用可识别4K的分区软件创建硬盘上的每个分区，才能确保适当对齐，并保障性能。图 10 显示了使用不能识别4K的软件创建多硬盘分区时可能出现的结果。

多种分区和对齐情况
产品：Barracuda Green 2TB 5900转 64MB SATA接口（ST2000DL003） 希捷 硬盘 
如何处理不对齐状态

处理不对齐状态
    有三种可行方法可避免和/或管理不对齐状态（不对齐状态对硬盘性能具有潜在影响）。
1.使用最新版本的 Windows 操作系统或联系分区实用程序供应商来获取可识别 4K 版本的软件。
2.使用硬盘实用程序来重新对齐磁盘分区。
3.不管是什么对齐状态，将硬盘性能管理交与您的硬盘供应商负责。

    使用可识别4K的Windows版本来创建硬盘分区，这是避免不对齐状态的一种简单直接的方法。硬盘分区创建软件实用程序供应商应该能够告诉您是否提供了可识别4k版本的软件。如果是，那么迁移到可识别4K的版本可免后顾之忧。
    为解决这个问题，有些硬盘供应商提供了能够检测现有硬盘分区，并根据需要重新进行对齐的实用程序。这种变通方法要花费更多时间，并且系统的构建或升级流程步骤也更加繁琐。
    最后，硬盘构建商要开发更加复杂的方法，来管理不对齐状态，同时还要避免对性能造成负面影响。
    由于向高级格式化硬盘的过渡势在必行，所有这些方法都将在最大化行业利益、同时避免潜在性能影响方面起到重要作用。
在Linux环境中管理4K扇区
    在Windows环境中管理到4K扇区过渡的关键策略同样适用于Linux。多数 Linux系统用户都能够访问源代码，根据他们的特定需要来定制操作系统。因此，Linux用户能够主动更新其系统，以便恰当地管理高级格式化硬盘。
    通常，需要恰当地创建能与高级格式化硬盘良好对齐的磁盘分区，还需要最小化可生成超短帧的小型系统级写入（与对齐问题无关），但是修改Linux系统后，就可以大幅度避免这些工作。
    为了支持高级格式化硬盘，对 Linux 内核和实用程序均进行了更改。这些更改可确保高级格式化硬盘上的所有分区都能在 4K 扇区分界上得到完全对齐。版本 2.6.31 或更高版本的内核支持高级格式化硬盘。以下 Linux 实用程序支持高级格式化硬盘的分区和格式化：
Fdisk：GNU Fdisk 命令行实用程序可对硬盘进行分区。 
版本1.2.3和更高版本支持高级格式化硬盘。
Parted：GNU Parted 图形实用程序可对硬盘进行分区。 
版本 2.1 和更高版本支持高级格式化硬盘。
产品：Barracuda Green 2TB 5900转 64MB SATA接口（ST2000DL003） 希捷 硬盘 
结论：4K扇区成未来行业标准
    从传统512字节扇区进行行业过渡势在必行。硬盘制造商一致同意，在2011年1月前，笔记本电脑和台式机细分市场发行的新型产品均采用高级格式化标准。
    这种过渡为硬盘工程师提供了另一种工具，能够继续推动改善区域密度和增强纠错功能。采用新技术后，硬盘产品将继续提供更高的容量、更低的每GB成本和一如既往的可靠性级别，消费者定会从中获益。
    具备充分相关知识的存储社区是实现顺利过渡的关键，可以消除潜在的性能隐患。我们需要推广使用可识别 4K 的硬盘分区工具，这是顺利过渡到高级格式化所使用的4K扇区的至关重要的因素。作为构建或配置计算机的系统构建商、OEM、集成商、IT 专家甚至终端用户，都应该确保：
    使用 Windows Vista（Service Pack 1 或更高版本）或 Windows 7 创建硬盘分区。
    使用第三方软件或实用程序创建硬盘分区时，需确定已将其更新为可识别 4K 的软件或实用程序。如果使用的是Linux，请确定Linux能够识别4K。