容灾解决方案复习进程.docx

容灾解决方案GoldenGate容灾解决方案黄行威甲骨文（中国）软件系统有限公司目录第一章 方案概述31.1 概览31.2 GoldenGate TDM的好处31.2.1 实时性31.2.2 持续可用性31.2.3 异构支持31.2.4 高性能，低影响31.2.5 事务一致性41.3 GoldenGate技术介绍4第二章 方案实现技术细节11第一章 方案概述1.1 概览为了应对这样的现状，我们推荐Oracle 公司的GoldenGate软件，该软件提供了事务数据管理（TDM）平台，用于持续性的在电子客票系统和灾备系统之间传递大量事务数据，并确保投递速度快，事务完整，系统整体开销影响小。采用GoldenGate的数据复制技术，实现数据实时备份，确保核心数据的安全，同时避免引入过多种类的软硬件产品，降低了运营维护的复杂度和投入，有利于灾备系统的恢复和切换。1.2 GoldenGate TDM的好处1.2.1 实时性随着一个新事务在数据源端产生，数据马上被捕获，转换（如果有必要），并且在极短时间内被传送给目标端系统1.2.2 持续可用性GoldenGate工作不需要专门的时间窗口或者系统中断，它的架构可以保证即使遇到计划或非计划断电也不会影响可用性。1.2.3 异构支持只要源和目标端都是主流数据库，主流平台，即使在在异构环境下，也可以使用TDM进行系统间数据复制，这就确保了IT部门的灵活性。1.2.4 高性能，低影响GoldenGate能够支持每秒数千的事务交易，同时对源系统和目标系统仅仅有极小的性能影响。1.2.5 事务一致性尽管事务是在源和目的两个不同的系统之间传递的，GoldenGate依然可以确保其参照完整性和事务一致性。1.3 GoldenGate技术介绍关于 GOLDENGATE GoldenGate 是高可用和实时数据整合的最优方案。GoldenGate 协助关键系统保持 24*7 小时运作，满足最终用户连续可用的要求。GoldenGate 帮助组织在企业范围内快速分发关键数据，以便及时和准确的决策。简而言之，GoldenGate 解决方案就是实时获取实时信息。GoldenGate解决方案由GoldenGate Transactional Data Management (TDM)支撑，提供异构系统间事务数据实时捕获、路由、转换和投递，同时系统消耗最低。全球逾400家客户信赖GoldenGate解决方案，包括Visa, Bank of America, US Bank, UBS, Sabre Holdings, DIRECTV, Comcast, MGM Mirage, Chase Paymentech, AMD, Mayo Foundation, Retail Decisions 和 O等。GoldenGate拓展全球市场，和领先技术提供商建立战略合作关系，他们包括 ACI Worldwide, Amdocs, Business Objects, Cerner, Eclipsys, Fujitsu, GE Healthcare, HP, IBM, Ingres, Microsoft, Teradata。高可用和容灾解决方案GoldenGate 高可用和容灾解决方案消除计划外和计划内停机时间，同时提高性能和可伸缩性，满足数据和使用量激增需求。 GoldenGate 实时备用 显著加快关键业务系统的恢复。 GoldenGate 零停机时间操作 系统升级、移植和维护操作时不中断业务运作。 GoldenGate 活动-活动通过均衡负载实现两个或更多数据库性能和扩展性的提升。 数据库分层使公司确保他们的生产系统的最高性能，同时还容易支持必要只读操作。实时数据整合解决方案GoldenGate 实时数据整合解决方案提供为数据仓库、商店经营数据、报表系统，或其他OLTP数据库提供实时变化数据。 无须批处理窗口，并且性能影响最小。 GoldenGate 实时数据仓库在OLTP系统和数据仓库之间连续、实时地捕获、转换和投递最近变化的数据。这也可以和现有ETL系统整合。 GoldenGate 实时报表以廉价次等系统分担生产数据库的报表负载。实时报表总能获取最新数据。 GoldenGate 事务数据完整性在OLTP系统之间实时保证点对点数据完整性，并且系统影响最小。GoldenGate可以在异构的IT基础结构之间实现大量数据的秒一级的数据捕捉、转换和投递。GoldenGate可以支持几乎所有常用操作系统如和数据库平台，如下表所示：操作系统数据库MS NT, 2000, XP, Linux, Sun Solaris, HP-UX, IBM AIX, HP NonStop, TRU64, IBM z/OS，OS/390Oracle, DB2, MS SQL Server, MySQL, Enscribe, SQL/MP, SQL/MX, Sybase, Teradata, 其他ODBC 兼容数据库GoldenGate软件提供了一个单一的平台，这个平台可以为任何企业环境实现秒一级的灾难备份。GoldenGate是一种基于软件的数据复制方式，它从数据库的日志中解析数据的变化（数据量只有日志的四分之一左右），GoldenGate将数据转化为自己的格式，直接通过TCP/IP网络传输，无需依赖于数据库自身的传递方式如Oracle Net，而且可以通过高达9:1的压缩比率对数据进行压缩，大大降低带宽需求。在目标端，GoldenGate可以通过交易重组，分批加载等技术手段大大加快数据投递的速度和效率，降低目标系统的资源占用，可以在秒一级实现大量数据的复制。 1.3.1.1 复制模式r 单向数据复制GoldenGate的数据复制原理是：利用捕捉进程(Extract Process)在源系统端读取Online Redo Log或Archive Log，确定需要进行的复制（增、删、改）操作，并通过队列(Extract 队列)，将相关信息传送到目标系统。目标系统端的投递进程(Deliver 进程)接受相关内容，通过Replicate 进程创建实现数据复制或同步的SQL语句，并在目标系统中予以执行。r 双向数据复制双向数据复制是基于单向数据复制原理之上，两端互为源/目的数据复制对象，两端生产系统同时保持Active状态。为了避免出现刚被复制进对端目的数据库数据马上又被捕捉进程复制回源端，陷入死循环的状态。GoldenGate采用了相应的判别机制来保证对捕捉数据的识别，当应用程序和GoldenGate复制进程同时更新同一个表时, 捕捉进程使用了一个跟踪表机制。在配置双向数据复制时, 需要通过命令行向两边的数据库中加入跟踪表。当捕捉进程读到一个交易中有针对跟踪表的更新, 捕捉进程就知道这个交易是由复制进程产生的并且把这笔交易忽略掉. 如果没有针对跟踪表的更新, 捕捉进程就知道这个交易是由应用程序产生的并且把这笔交易读取出来.通过以上处理机制后，就可以很好的解决双向数据复制中所担心的重复捕捉变化数据的操作出现。显然，上述过程的实现，与基于文件复制原理的数据同步完全不同。无论从网络资源占用、执行效率和对系统性能影响等方面考虑，都比其它方案有较大的优势。GoldenGate提供了灵活的应用方案，基于其先进、灵活的技术架构可以根据用户需求组成各种拓扑结构，如图所示：GoldenGate各种拓扑结构示意图1. 广播复制：由一个数据库向多个数据库复制，利用GoldenGate的数据过滤功能可以实现数据的有选择分发；2. 集中复制：由多个数据库向一个数据库复制，可以将分布的、跨平台或异构的多个数据库集中到一个数据库。此种模式广泛应用于n+1模式的容灾，通过将多个系统数据库集中到一起，可以充分利用备份中心的设施，大幅减少投资；另外也用于跨平台多系统的数据集成，为这些提供系统提供一个统一视图便于查询和统计数据。3. 多层复制：由A数据库向B复制，同时又由B向C复制，可以在以上几种模式基础上无限制扩展。由此可见，GoldenGate的复制模式非常灵活，用户可以根据自己的需求选择特定的复制方式，并根据系统扩展对复制进行扩展。1.3.1.2 关键特性GoldenGate是一种基于数据库日志的数据复制产品，可以利用极少的系统开支，实时复制数据库，改善数据可用性。GoldenGate可以在数据移植、在线维护等场合应用，以减少或消除数据库的停机时间。同时，它还可用于数据容灾、负载均衡、数据集中、数据分布等应用中。GoldenGate可确保在这些工作进行时，源系统的正常事务处理得以继续进行，功能上不受影响。作为一种软件方案，GoldenGate 可以采用非常灵活的方式加以配置，包括双向复制和多层次的数据复制。特别是其在双向数据复制领域的技术先进性，可以满足用户在本地或广域网络环境中的各种复杂需求。GoldenGate的TDM软件的几个关键特性1. 本机数据改变捕捉作为一个基于日志的同步解决方案，将对源系统和网络的影响减少到最低。2. 灵活性源和目的系统不需要有一样的操作系统、数据库及模板(例如表，索引，等)。GoldenGate能在同一个系统的多个数据库实例之间实现数据复制，或把数据复制到局域网内的其它数据库实例，或把数据复制到广域网上的远端数据库实例。3. 无需宕机时间的移植GoldenGate能在不同版本的数据库和操作系统之间同步数据。数据库，操作系统或应用系统的更新可以在辅助系统里进行。一旦更新后的辅助系统通过了完整的测试，所有的处理工作就可以切换到辅助系统，然后更新主系统。一旦主系统的更新完成了，主与辅助系统之间能够再一次同步而无宕机时间。4. 不依赖于硬件和数据库GoldenGate不依赖于操作系统，数据库和硬件。数据可以在不同的环境之间移动，因而消除了客户对任何拓扑结构的依赖性。5. RPO与RTO的目标GoldenGate提供了立即恢复备份的装备。这是因为源和备份系统可以配置或构架设计为双向”端到端”的功能。6. 双向复制GoldenGate提供了两个或两个以上生产系统之间的数据复制功能。这些系统无须具有一样的属性或相同的操作系统，数据库或数据库版本。7. 数据一致性备份数据库支持读一致性的查询活动(交易的一致性在任何时候都受到保护)。8. 灵活的拓扑结构在数据库和表一级实现了多种相关数据的分部方式。例如支持一对多，多对一，多对多以及分层的配置。9. 映射与转换功能列转换能够适应特别的备份需要，包括查看和执行存储过程。10. 数据选择选择性的复制数据而不是全部，例如表，行和列。支持OracleRAC对于Oracle的一个特别需求就是实时支持RAC数据复制。与其它现有方案不同之处就是能够从交易日志中捕捉和投递数据。1.3.1.3 应用方式GoldenGate 是一种基于log 的复制解决方案，支持不同的配置方式，以满足用户的各种数据复制和同步化要求。其用途和应用方式包括：r 1）建立报表系统GoldenGate 可以将源系统的数据实时复制到目标系统，从而建立一个可以被访问的即席查询和报表系统。目标系统可以是源系统的全集或子集。通过将查询和报表系统放在不同的数据库实例中运行，可以平衡服务器负载并提高OLTP类生产系统的性能。一方面，可以减少OLTP应用和查询报表应用之间的磁盘I/O冲突，提高OLTP应用的效率。另一方面，GoldenGate支持不同模式间的复制。可以分别面向OLTP和查询系统的报表实例使用特点来进行设计，如建立索引，设置数据库表的参数等等。r 实现高可用性保证数据高可用性和数据库系统能够从灾难中迅速恢复是一个非常具有挑战性的工作。GoldenGate可以通过LAN或WAN进行复制，这样当生产环境出现紧急事件或要进行例行维护时，可以将应用切换到复制数据库中。有了生产数据库的实时拷贝，用户可以保证应用系统7*24不间断运行的情况下进行维护工作高可用性，如进行操作系统和数据库的升级等等。r 多数据源配置多数据源配置允许你将不同的用户分布到不同的服务器，让每个数据库能够反映其他数据库的变化。在这种配置模式下，GoldenGate采用必要的冲突处理机制来解决可能发生的冲突。 多数据源r 数据分布和数据集中GoldenGate通过LAN或WAN进行实时复制，将生产数据库中的数据拷贝到需要它们的地方。对广播复制来说，远程用户可以访问这些实时数据而不用登录生产服务器。因此，提高了网络性能和生产环境下的OLTP应用的性能。集中复制 广播复制r 层次化企业数据分布GoldenGate 支持层叠复制，可以向不是直接相连的数据库复制数据。使用这种配置，可以在远程数据库间进行复制（如从北京到上海）。GoldenGate 支持多种复杂的场景来满足复制需求。 第二章 方案实现技术细节采用Oracle GoldenGate数据实时同步解决方案，需要在源与目标系统均安装GoldenGate相应软件模块，系统架构图如下：1. 正常运行情况下，数据同步方向为生产系统到灾备系统。我们需要启动上图中绿色实线方向的GoldenGate进程，同时停止红色虚线方向的GoldenGate进程。数据同步进程如下：a) 在生产系统上需要运行GoldenGate捕获进程，负责实时读取Oracle数据库交易日志中的数据变化，并根据需要可以执行过滤操作，仅将感兴趣的数据捕获过来，写入本地的源队列文件中。根据实际测试，写入队列文件的数据量约为交易日志文件的四分之一。b) 在生产系统上还需要运行GoldenGate DataPump进程，该进程负责将源队列文件的内容发送到目标队列文件中。通过压缩机制（最大压缩比可以达到9:1），网络传输的数据量，最佳情况下约为源队列文件内容的九分之一。c) 变化数据到达灾备系统后，灾备系统上的GoldenGate灾备进程将实时读取这些交易变化数据，根据其在生产系统上的交易顺序，完全一致地应用到灾备系统，保证了两边交易数据的一致性。2. 当生产系统发生故障，无法对外提供服务时，需要将应用系统切换到灾备中心。此时，GoldenGate需要实现反向的数据同步，即灾备系统到生产系统的实时数据同步。因此，在启用灾备系统的同时，需要同时启动反向数据同步的GoldenGate集成，即上述架构图中红色虚线方向的GoldenGate进程，同时停止绿色实线方向的GoldenGate进程。此时，数据同步过程如下：a) 灾备系统上的GoldenGate捕获进程实时读取灾备系统交易日志的变化数据，写入灾备系统本地的源队列文件中；b) 如果网络正常，则灾备系统上的GoldenGate DataPump进程将把变化数据从源队列文件压缩/加密传输到生产系统的目标队列文件中，而此时，生产系统不必处于正常运行状态；c) 当生产系统数据库恢复运行时，生产系统上的GoldenGate交付进程会自动将积累在目标队列文件中的变化数据应用到生产系统数据库中，保证生产系统与灾备系统的交易数据同步。3. 当生产系统完全恢复运行后，需要将应用从灾备系统切换回生产系统时。在应用切换的同时，启动生产系统到灾备系统的所有GoldenGate进程，并在确保灾备系统到生产系统所有已有变化数据已处理的情况下，停止灾备系统到生产系统的所有GoldenGate进程，从而实现灾备系统到生成系统的恢复切换过程。