基于OceanBase的核心客服系统应用改造实践.pdf

技术应用Application基于OceanBase的核心客服系统应用改造实践文中国太平洋保险（集团）股份有限公司数智研究院首席数据库专家家林春2022年1月，中国银保监会发布关于银行业保险业数字化转型的指导意见，明确到2 0 2 5年，银行业保险业数字化转型要取得明显成效，并提出“提高新技术应用和自主可控能力”“加大数据中心基础设施弹性供给”等若干意见。中国太保集团作为行业头部企业，从降本增效和支撑未来业务发展角度考虑，采取“先难后易”策略切实推进数据库数字化转型。我司根据业务场景和数据库特性，因地制宜开展数据库选型工作，并且从最复杂的核心系统着手，重点突破关键共性技术，淬炼本地化知识体系，实现数据库最佳应用。原生分布式数据库金融行业深度应用的挑战目前，原生分布式数据库产品在金融行业深度应用，普遍遇到海量复杂存储过程改造、金融业非功能性需求适配、数据库开发及运维管理平台能力提升、数据库周边工具功能完善、迁移工具性能及稳定性等方面挑战。从厂商角度，数据库产品迫切需要有头部金融企业典型核心场景打磨；从客户角度，也需要厂商能够真正掌控数据库内核研发，具备技术兜底能力。金融头部企业提供核心金融场景、厂商提供技术兜底研发能力的产用联合攻坚模式，是加速原生分布式数据库从“可用”变为“好用”的快速孵化器。我司根据数据库特性、兼容性、业务场景、成本等方面综合考虑，在核心P17客户服务系统（以下简称“核心客服系统”）数据库选择上因地制宜，选择了OceanBase进行适配。这里的“因地制宜”，一是要根据核心客服系统应用的特点选择合适的数据库；二是要吃透数据库产品，充分沉淀能力，挖掘信创分布式数据库产品特性实现换道超车。核心客服系统的主要攻坚难点核心客服系统具有系统关联关系复杂、传统集中式数据库绑定程度最深、业务影响极大、海量数据等特点。核心客服系统为公司六地八个电话中心超过2 0 0 0座席提供系统服务，与一般热线系统相比，涵盖了几乎中国太保集团所有子公司业务的服务入口功能，包括车险报案、车险增值服务、非车人意报案、道路救援、寿险保单查询、寿险保全受理、投保预约等。同时作为中国太保集团服务品牌，核心客服系统需要提供7 2 4小时的全天服务，系统可用性要求全年99.9%以上，对停机时间有着严苛的控制，因此也是中国太保集团运维保障最高的核心系统之一。核心客服系统技术攻坚难点包括：一是存储过程数量庞大，总代码量近百万行，对于传统集中式数据库特性使用非常深入，包括自定义锁、自治事务、嵌套表、索引组织表、PLSQL包、物化视图、DBlink、触发器、系统视图，改造难度极大，代码彻底重构成本极高，故如何提升庞大存储过程中改造点识别效率至关重要；适配改造还需要权衡改造成本和稳定性，尽可能利用数据库产品能力，减少代码重构量。二是配套的DS、Co g n o s 等产品对于传统集中式数据库深度依赖，适配改造复杂度很高。三是涉及上下游接口众多，本身又是7 2 4小时服务平台，对于数据库高并发、高可用特性要求极高。中国太保集团与OceanBase厂商组成产用联合攻坚组，共同协作进行技术攻坚，攻坚组初心如磐，攻坚克难，解决了技术卡点问题，锻炼了队伍，最终实现核心客服系统迁移上线成功，并实现业务成功交易率不低于99.99%、交易总平均响应时间小于1秒、整体并发量2 50 0 人+等预期指标。OceanBase设计优化实践核心客服系统架构，主集群三副本，备集群单副本，单副本内主备集群服务器数量保持一致。1.分布式设计优化。OceanBase与传统数据库区别在于分布式执行计划，这也是我司数据库应用设计优化的重点。OceanBase分布式执行计划含两种情况：一是如果查询涉及的数据分布在多台服务器上，需要走分布式计划。跨多个节点访72Application技术应用问数据，性能要弱于从本地获取数据。二是由于OceanBase是原生分布式数据库，因此即使数据库未跨多节点，如果并行执行或者走全局索引跨多个分区访问数据，也可能走分布式执行计划。我司在分布式设计优化方面，交易系统尽可能减少跨机访问造成的网络开销，设计如下：一是高并发交易场景避免频繁执行的语句使用Parallel并行，避免交易高峰并发执行造成CPU资源瓶颈。二是优化二级分区及全局索引，尽可能改成本地索引，减少分布式SQL，以实现分布式执行计划优化性能。三是对于跨多节点多分区、重负载分布式DML语句，拆为按分区处理，以充分发挥OceanBase分布式特性。四是跨服务器分布的租户，通过表组设计将不同表的关联性数据放在相同节点，从而避免分布式访问。2.存储优化。OceanBase数据库存储引擎基于LSM-Tree架构，基线数据和增量数据分别保存在磁盘（SSTable）和内存（MemTable）中。对数据的修改都是增量数据，只写内存。读的时候，数据可能会在内存里有更新过的版本，在持久化存储里有基线版本，需要把两个版本进行合并获得一个最新版本。转储是分区层面选取一个或多个小的、相邻的转储SSTable与O个或多个Memtable，将它们合并成一个更大的SSTable。合并是在集群层面将所有的转储SSTable和一个或多个Memtable合并成一个SSTable，这个过程会清理被删除的数据。通常合并时间会较长，且资源开销较大，对业务有比较大的影响。我司对于OceanBase应用设计原则是尽可能让数据访问、操作在内存中完成，每天定期合并释放memstore内存及删除记录空间，最大限度减少“写放大、读放大”。基于OceanBase存储架构，我司在设计集群时将核心业务系统集群独立部署，控制集群租户数量、合理利用分区优化数据生命周期管理，以最小化容灾、备份数据集，减少转储次数进而减少非计划合并次数，避免读毛刺现象。非关键、低容量、没有频繁DML操作的数据库共用一个共享集群，租户互相隔离，集群采用高配以节省软件成本。在集群规划时，避免由于个别租户频繁转储导致整个集群合并，导致其他租户成为受害者，尽可能避免“写放大”对性能的影响。我司迁移系统，创新使用“数据库画像瘦身”结合OceanBase压缩特性，降低存储容量。迁移系统，通过特定规则结合脚本识别亢余大表、索引，累计缩容超过40TB。由于基线是只读数据，而且内部采用连续存储的方式，OceanBase能够提供较高的压缩比。根据我司经验，传统集中式数据库数据迁移到OceanBase后，压缩结合“数据库瘦身”后，存储容量平均能节省8 0%以上，经济效益可观。3.数据库代理服务模块及优化考虑。OceanBase数据库的用户数据以多副本的形式存放在各个OBServer上,ODP接收用户发出的SQL请求，并将SQL请求转发至最佳目标OBServer，最后将执行结果返回给用户。我司对于应用系统包含大SQL事务，尽可能让分区的Leader和Scheduler在同一个服务器，以降低远程SQL的影响。中国太保集团信息技术应用创新特色中国太保集团信息技术应用创新具有“攻坚牵引，知识沉淀，工具创新，育才多优”特色。主要亮点如下。1.工具创新。我司创新自研原生数据库引用改造预评估工具“指南针”能够针对传统集中式数据库进行预扫描，包括近20个检查大类近2 0 0 多个检查项，评估项全面、有效、高效，极大提升了项目组问题排查的效率，缩短项目周期从而降低应用改造的成本。能够对存储过程代码进行扫描分析，并初步给出问题原因、代码位置，弥补了存储过程改造问题排查工具的空白。以核心客服系统为例，扫描出改造项约6 0 0 0 个，假设人工方式排查2 个问题/小时，那么单个项目即实现人力成本节约12.6 人/月。研发索引建议助手可以辅助优化索引，降低SQL优化成本10%左右；自研优化辅助工具能够对优化前后时间、关键统计信息进行比较，并提示风险。打磨OB-loader海量数据加载能力，通过并行优化，实现2 0 0 G数据相同配置加载，OceanBase用时为传统集中式数据库的7 1.11%。2.知识沉淀。我司形成并不断迭代完善原生数据库知识库，目前知识库沉淀问题已超过90 0 条，形成完善的集群设计规范、数据库开发规范、OceanBase数据库配置基线、应用开发框架及JDBC配置最佳实践等知识体系。3.育才多优。通过推广原生数据库培训，培养数据库数字化转型土壤，全集团获得OceanBase数据库认证人数达到112 5人次。平稳运行，效益明显核心客服系统自2 0 2 2 年底上线，目前平稳运行2 0 0 多天，在保持高运行性能、高可用能力的同时，数据库软硬件成本大幅降低，特别是通过OceanBase的高级压缩技术，结合“数据库瘦身”，存储容量平均节省8 0%以上；升级后的应用系统弹性扩缩容、处理速度、数据加工能力均实现大幅提升，为后续业务发展需求奠定了坚实的技术基础。73