数据库审计产品的演进与发展.docx

数据库审计产品的演进与开展在群众眼里，数据库审计（简称“数审）系统是数据平安领域的入门级产品，不 过，历经近20年的开展，数据库审计技术路线和产品定位不断革新和演变，如今，已经 从入门产品，开展为进阶产品，甚至在未来有可能成为终极产品之一。原因有以下几点：首先，无论是国家级的法律或标准，还是等保以及行业级的平安标准都对使用数据库 审计有明确要求，是所有网络运营者必须建设的基础能力之一。其次，数据库作为数据资产的存储载体，其重要性无需赘述。如此重要的对象，必须 要掌握谁在用、怎么用、何时用、何地用、用了哪些基础信息。这些基础信息几乎是我们 判断是否出现泄密事件、是否需要调整平安策略、是否需要追责定责的唯一支撑。数审系 统发挥的作用就是回答以上这些追问。可以说，如果没有数据库审计，数据平安的管理和 建设将举步维艰、寸步难行。再次，核心数据资产所在的数据库，必定是恶意人员最频繁入侵的领地，它面临多重 威胁，既有外部入侵威胁，又不得不防范层出不穷的内部恶意行为。身为管理者，一定希 望在数据库受到威胁时能够第一时间获取风险信息。如何实现？靠人工24小时监控数据 库的一切访问行为几乎难以实现，因此，借助工具的力量，引入数审产品才是成熟的做 法。数据库审计不仅具备识别风险的能力，而且还可以发出告警，方便管理者和运维工程 师及时处理风险。建立教审体系，无论是外部还是内部，只要出现了针对数据库的恶意操 作，数据库审计就能够第一时间识别并发出告警，让管理者第一时间进行处理，能够有效 降低甚至防止损失。所以，数据库审计对于数据平安防护来说是必要一环。最后，对于风险可以通过内置规那么和模型，第一时间进行告警通知，但对于特别 复杂的风险模型或新型平安攻击方法造成的平安事件，风险预警未必来得及或未必能全部 处理。这时候，就需要对平安事件进行倒追溯源。溯源的前提一定是建立在完整的数据库 访问日志的基础上，全量的、访问要素齐全的、准确地记录所有SQL日志，让数审系统成 为数据库溯源小能手。当然，几乎所有优秀产品的开展都是由用户需求驱动和技术环境支撑的，数审产品也 不例外。从最初解决有无逐步开展到智能分析，数审产品历经至少四代演进，可以说每一 代产品的开展史就是用户的需求进化史。第一代：解决有无时间:2003年前后用户需求：能够专门审计数据库活动此前的3-5年，网络平安在国内迅速开展。除了网络防火墙、IPS等边界防护产品， 在旁路技术领域，网络审计系统已经崭露头脚。用户此阶段的关注点在于：数据库端能不 能有一类专门的旁路产品，能做到在全量访问行为记录的同时，还能风险告警。众所周知，在Oracle、MySQL、SQLServer等大型数据库产品中，均自带了审计服 务模块，具备完整准确记录SQL日志的能力。然而，数据库自身的审计受限于自身的管理 体系，DBA用户可根据需要随时停掉审计服务，干坏事时甚至可以不审计，或人工删除日 志消除痕迹，不符合平安审计的第三方独立性原那么；加之自身与数据库服务器本地部署， 往往消耗30%以上性能，因此也需要引入第三方审计产品。在此背景下，2003年左右，国内第一代数审产品诞生，主要功能设计为针对数据库 活动行为的监控，变黑盒为白盒，变未知为，解决用户的数据库平安管理焦虑。实际 上,这一代的数审产品是由网络审计简单变形而来，针对数据库的流量包进行基于正那么表 达式匹配的审计技术，解决的是有无问题，但无法对数据库操作全量，进行精准审计，特 别是复杂语句超长语句等等，更别谈执行的结果类要素信息。对于数据库审计来说，正那么表达式是一种简易的通用字符串匹配方法，通常用于简单 场景下对指定字符的匹配。一旦面对超长、多层嵌套、多表关联等复杂的SQL语句，使用 正那么表达式很容易造成误识别或漏识别，更无法有效区别数据库品牌不同导致的差异。第一代数审产品给人的总体印象：具备基本SQL语句的记录能力，复杂类的操作往往 审不到。无法做到精准告警，无效告警、误报频频发生。第一代数审总体生存状况：合规性用户勉强使用，需求性用户轻易还不用。第一代教审总体评分 ：O。第一代数审厂商数量：3家左右。正是这样的局限性，推动了数审产品的继续进化。第二代：准确性需求时间:2009年前后用户需求：能否审计得更准一点、不添乱第一代数审产品推向市场并接受检验，各种性能问题逐渐暴露，产品服务提供商修修 补补进行完善，使得产品日渐成熟稳定。但产品稳定了，用户群同时也不断扩大，审计日 志不准确的问题也逐渐显露出来，漏审、误审、漏报、误报现象成了家长便饭，导致用户 基于审计日志所作的判断，常常是错的，从而误导了对平安事件的追踪、溯源和响应。随着用户的不断反应，产品厂商逐渐意识到第一代数审产品存在的原理缺陷，仅靠修 修补补无法从根本上解决问题，产品的设计必须推翻重建。2009年前后，厂商推出第二 代数审系统，摒弃第一代架构重新设计，采用了基于数据库协议的语法、语义的解析技 术。此种解析技术采用准确翻译”的方式，不受限于SQL语句的长度或复杂度等因素， 能够精确定义每一条SQL语句，准确理解其真正的含义，从而实现精准审计和告警。让我们举例比照两代数审系统的差距：假设用户设置规那么为对B表进行查询的SQL操作定义为风险操作，第一代系统的正那么 表达式配置规那么思路是：语句中包含select b关键字；第二代系统基于数据库协议语 法、语义的解析技术思路是：语句操作最终执行意思是查询(select),且作用表对象为 b表，此时，数据库接收到一条访问请求：DELETE FROM a WHERE a.rowid (SELECT MIN(b.rowid) FROM b WHERE a.sno=b.sno)o假设通过正那么表达式匹配SQL后，发现该语句中包括select和b关键字，误判其为风 险操作一一进行告警；假设通过语法、语义解析后，理解该语句为一个删除操作(delete ),删除数据的条件是rowid大于某个值，而该值是通过嵌套的sql查询语句获 得，因而准确判定其为非风险操作不予告警。从上述例子可以直观的看出两代审计产品的差距，第二代数据库审计技术帮助用户真 正掌握了完整且准确的数据库活动。为数据库层出现的违规、恶意事件提供准确判断、溯 源和定责的证据支撑，防止了误判。随着第二代数审系统逐渐成熟，越来越多的用户开始使用数审产品，特别是在等级保 护的助推下，数审产品掀起了一股小热潮。这一阶段的用户只是愿意买、敢于买，并未有 人太去关注真正的使用效果如何，以及出了平安事件能不能快速溯源、能不能快速完成突 发事件的排查等。因为高端场景并未出现，金融、电信等业务量较大的企业用户仍未登 场。第二代审计产品给人的总体印象：复杂类的操作能解析记录，准确度大幅提升。但往 往是偏向政府类或中小企业客户，这些客户的等级保护政策要求较高，性能要求往往不太第二代数审总体生存状况：合规性用户大幅增加，需求性用户基本愿意购买，但高端 用户暂时无人问津。第二代数审总体评分：。第二代数审厂商数量：10家左右。第三代：高质量要求开始登场时间：2014年前后用户需求：能否审计得更多、更久一点随着用户数据库访问规模的逐步增加，需要审计系统单位时间内执行的入库量迅速增 多，存储日志量也相应增加，此时，数据库审计记录的日志可以用“海量日志来形容， 在海量日志中高效检索就成为极大挑战。此时，第二代数审系统开始出现性能瓶颈问题， 已经完全无法支撑对大型和超大型业务系统的审计需求，尤其是高端行业的审计需求。随着国家和政府对网络平安的重视，特别要求金融等关键基础信息行业在平安领域鼓 励使用国产自主产品，给予国产平安软件以最大的门槛开放度。至此，国产数审产品拉开 了性能上追逐国际大牌的序幕。在突破高性能阶段，摆在国内厂商面前的实际挑战相当 大。高性能意味着高入库性能、高查询性能、高存储效能。直到2017年，才有假设干优秀厂商，凭借全文检索、列存储数据库、多进程并发等技 术，完成了高性能产品的突破，真正开始在大银行、大保险公司的重要业务系统上应用。第三代审计产品给人的总体印象：性能大幅提升，已经可以满足很多政企、教育、医疗等行业用户的海量日志检索性能需求。不过，在更高端的场景下，满足需求的优质产品 仍然凤毛麟角、寥寥无几。第三代数审总体生存状况：合规性用户暴增，需求性用户也大幅增加，有的厂商甚至 靠一款优秀的数审产品就能解决生存问题。第三代教审总体评分：。第三代数审厂商数量：30家左右。第四代：智能化需求时间:2017年前后用户需求：能否有“今日头条”款的智能数审产品如果从单纯做审计”来说，第三代数审系统已经基本够用，但是，随着数据库审计 逐渐成为保障数据平安的刚需，其扮演的角色越来越重要，加之数据资产暴增和数据 平安事件呈几何级增长，用户必然对其提出更高要求。用户需求这几年间进一步升级：管理的数据库品牌类型能否越来越多；能否自动识别 数据库类型，而非人工指定数据库IP和类型，因为有的用户动辄几百个库，上千个库，实 在连自己都不清楚台账；数据库的策略能否给出智能的配置建议，而非全开全关，难以掌 握；能否做到精准指导，因为用户有很多数据库，买了很多数据库审计设备，但审计的核 心目标毕竟是敏感数据的行为，所以希望能够做到不浪费资源，实现精准指导。此时，第三代数审产品的缺乏表现为：第一，对数据库类型的支持非常被动，往往被 用户牵着走；第二，欠缺自动化识别数据库类型的能力，众多数据库需要一一指定IP和数 据库类型，非但不准确还易手工出错、不是累死客户就是累死厂商自己；第三，缺少通过 基线学习智能地给用户推送策略的能力；第四，没有真正与敏感数据的定位相结合。2017年，第四代数审系统逐渐开始研发，主攻智能发现、主动推送等智能 技术方向。第四代数审产品通过机器自学，聚类访问来源、操作行为特征、资产信息，全 面掌握每个数据库被访问的基础情况，有效建立基线，形成高密度可信边界。当访问来源 发生变化或访问来源的操作行为发生变化时，自动伸缩基线，同时辅以通用型的轻量级策 略，轻松建立防护圈。人工参与极大降低，平安策略可落地。核心功能如下： 资产梳理：深入梳理网络中的数据资产，形成数据台账;分级打标：导入分级策略，对梳理出的数据进行分级打标； 主动推送：通过对数据位置、数据级别及数据流动等信息的掌握，自动分析风险并主动 推送防护策略建议，降低使用难度，提高平安效果;智能发现：持续监视数据库结构变化，与平安防护策略形成联动调整，一旦防护目标出 现结构变化，防护策略会跟随变化，确保防护的针对性及防护效果始终处于正确基线。第四代审计产品给人的总体印象：聪明、智能，由原来的体力活，变成真正高科技。第四代数审总体生存状况：生存体面，需求性用户面前赢得尊重，且量大价高。第四代数审总体评分：第四代数审厂商数量：10家左右。未来的路数据库审计或将成为数据平安的神经网络触点技术的开展是无止境的，对平安的需求也没有尽头。只要威胁在演变，技术在革新，防御手段就需要不断进化以至平衡。近年来，越来越多的用户已经不仅仅满足于对执行操 作的精准审计，还要对结果集数据进行保存用于日后取证追溯等。也许不久之后，第四代数审产品，除了自身要具备高智能、高性能的气质之外，还可 能成为数据平安集中管控和平安大数据分析的神经网络触点，所有平安防护核心能力交由 平台型产品进行统一调度、防御和分析，而数据库审计作为数据和行为的采集端，形成 树和根的强关联结构。此时审计将不再是独立系统，不再独立工作，而是为平台提供数据的输入。这样更能 与KAFkA、FLUME、ELK等先进的大数据分析和流式处理等分析技术结合，真正解决超 大数据规模日志的利用问题，这可能也是未来数据平安的开展方向之一，我们拭目以待。