构建企业级好数据（Dataphin智能数据建设与治理白皮书）.pdf

卷首语仰望星空，脚踏实地2015 年 12 月，阿里巴巴正式实施数据中台战略，数据中台话题热度逐步攀升，在这一过程当中，我们也发现不同角色对其理解以及期望各有侧重。阿里巴巴关注的是建立统一数据体系，同时贴近业务场景打造出体验一流的数据服务与产品；企业管理者会关心数据中台可以带来哪些业务变革与增量价值；而数据与技术从业者，则更倾向于去探求其与数据仓库、数据湖的不同之处，去了解数据中台的技术领先性2018 年，基于阿里巴巴数据中台内部实践经验和成果，面向不同行业的实际业务场景，Dataphin 应运而生，作为阿里巴巴数据中台方法论的工具化沉淀，Dataphin 希望能帮助企业探索更加复杂与多样的数据中台建设之路。2021 年，阿里巴巴集团数据中台、业务中台、客服系统、供应链服务等多个部门融合升级为瓴羊，将“阿里巴巴最佳实践”完整、系统、产品化地全面对外输出。2022 年首度提出了 DAAS 转型体系，涵盖基础层（Data：自生长数据底座）、洞察层（Analytics：普惠型深度洞察）、应用层（Applications：规模化场景应用），以及战略层（Success：数据驱动企业成功）四个方面。2023 年升级瓴羊数据智能服务，包括 Data SaaS 瓴羊One、Data PaaS 瓴羊数据中台、Data Exchange 瓴羊港，瓴羊数据中台中核心聚焦数据治理的产品 Dataphin 致力于帮助企业治理好数据，为未来数据资产要素化流通创造积极条件。我们深知，企业需要一套完善的数据技术与工具，实现数据采集、存储、计算、建设和管理，利用数据思维对当下的业务运营与管理场景问题精细洞察，学会利用数据资产改善能效，以此循环往复，推动数据资产的持续沉淀，形成企业特有的数据资产体系；同时，企业还需要完成数据人才组织建设，并辅以数据文化，让人人都能理解数据、用好数据。我们期望与企业们一起乘风破浪，仰望星空、脚踏实地，持续在数字化转型的实践道路上并肩前行。目录页一、数据建设与治理的现状与诉求.61.当前数据建设与治理所面临的问题.62.构建企业级数据中台的核心诉求.73.企业数据能力建设的三个发展阶段.7二、用中台方法论构建与治理企业级好数据.91.概览.92.规划：高屋建瓴，总览企业数据体系.123.研发：高效建设，稳定运行.184.特色研发能力.355.资产治理：高价值数据，助力企业高质量发展.426.数据服务：集中管控，快速服务业务系统.647.自助分析：灵活分析，快速释放数据价值.688.资产目录：主题式的目录，打造精品数据.719.开放能力：自由拓展，满足企业个性化需求.72三、产品订购与部署说明.761.公有云在线服务.762.本地化部署.76四、关于瓴羊.78一、数据建设与治理的现状与诉求6一、数据建设与治理的现状与诉求随着全球数字化进程的加速，企业面临着更加严峻的市场竞争，各行各业的企业都开始建设数据中台。1.当前数据建设与治理所面临的问题从阿里巴巴数据中台的建设历程，以及阿里云多年在数据中台领域的耕耘中，当前数据建设与治理所面临的问题有：数据标准问题：烟囱式开发及局部业务服务支撑，导致指标同名不同口径问题频发；历史上不同业务系统逐步迭代上线，相同对象属性编码不一致等问题突出。数据质量问题：重复建设导致任务链冗长、任务繁多，计算资源紧张，数据时效性不好；口径梳理定义的文档沉淀到开发代码实现之间存在脱节，数据准确性保障风险高。需求响应问题：烟囱式开发周期长、效率低，面向应用的服务化不足，导致业务响应速度慢，业务不满意的同时技术又觉得没有沉淀与成长；既懂业务又懂数据的人才不足，需求理解到开发实现涉及大量沟通，服务效率较差。一、数据建设与治理的现状与诉求7成本资源问题：烟囱式开发的重复建设浪费技术资源；上线难下线更难，源系统或业务变更不能及时反映到数据上，加之数据不标准，研发维护难上加难的同时，大量无用计算和存储造成资源浪费。2.构建企业级数据中台的核心诉求企业构建数据中台既要解决以上所遇到的问题，又有着更高的要求：数据体系化组织：数据中台的数据来自企业的业务系统，而企业中各个业务有着各自独立的系统。系统之间的数据可能存在交叉，全部抽取到数据中台后，需要进行体系化的组织，否则就是一团乱麻，无法快速准确的找到想要的数据。需要一个将数据按照统一的体系来组织，这个体系内，数据标准一致，并且有数据落标后可以被稽核，企业可以获得高质量的，口径统一的，可用性高的数据。数据高效生产：数据中台来自很多个业务系统，对应着海量的业务分析需求。企业希望数据中台可以快速响应业务端的需求，并且保障数据生产的安全可靠和数据正确。同时，又要降低在生产过程中的各种成本，提升投入产出比。数据便捷服务：数据中台需要服务业务，需要有便捷的数据消费方式。数据消费需要接入便捷，安全可控，响应及时。3.企业数据能力建设的三个发展阶段一、数据建设与治理的现状与诉求8企业构建数据中台，所遇到的问题挑战不是一下子全部出现的，而是在建设历程中逐渐显现出来的。基于阿里巴巴数据中台内部实践经验，企业数据能力建设可以分为三个阶段：在线开发阶段：起步阶段，数据量相对较小，团队规模不大，以满足业务需求为主要目标。随着数据量的增加，人员的扩张，就需要回答数据的价值在哪里的问题，以匹配所投入的成本。自然地，就进入下一阶段。数据平台构建与管理阶段：数据量级提升，数据来源多样，除了来自业务的取数和基本分析需求之外，开始梳理数据之间的关系，挖掘潜在的价值，同时还需要保障数据的质量，这就是数据资产化。这个阶段的数据平台，除了基本的数据开发功能之外，还需要提供资产管理和质量监测的能力。数据综合治理阶段：当数据平台内部的建设完备之后，就需要回馈平台外的各个业务。这个回馈不是应答业务的需求，而是通过挖掘出数据的价值，反向来促进业务的发展。二、用中台方法论构建与治理企业级好数据9二、用中台方法论构建与治理企业级好数据1.概览阿里巴巴在 2015 年提出全面启动中台战略，并在集团内部开启了一系列数据技术建设探索，沉淀下特有方法论捋清了数据全生命周期的管理思路，将其植入到瓴羊智能数据建设与治理 Dataphin 产品中，并与 Quick BI（数据可视化分析）、Quick Audience（全域消费者运营增长）一同形成数据中台建设核心产品体系。自 2018 年问世以来，Dataphin 已发展出了内容丰富的功能大图，到目前为止经历了多轮大版本升级，产品核心的能力模块清晰显现，可以帮助企业高效地完成好数据的构建。1）产品架构Dataphin 产品架构图Dataphin 从下而上可分为四个大板块：平台底座：二、用中台方法论构建与治理企业级好数据10引擎平台兼容：可支持不同的引擎及部署环境，可纳管不同的引擎，包括但不限于MaxCompute、EMR、Hadoop 体系（CDH、华为、星环、亚信等）、交互式分析Holo、Impala、ADB for PG、Starrocks 等，Flink 商业及开源版等，也支持不同云平台环境的部署及私有 IDC 部署多样化开放接口：开放数据集成、数据处理、调度、运维、元数据、质量、安全、标准等几百个标准化接口，可与企业自有系统进行对接集成或进行功能个性与定制配置化能力：开放了关于消息渠道、审批渠道、认证、审批模板、样式配置等客制化的能力，更好的适配企业的规范及场景。数据建设平台：全域数据可集成：通过配置化的方式完成数据的模型构建及指标的构建，并同时支持代码编写模式，更灵活的适应不同的场景和诉求，并支持日千万级调度能力。规范建模：Dataphin 遵循 Ralph Kimball 的维度建模理论，可根据业务实际情况在 Dataphin 设计并创建概念模型，并通过概念模型中的业务实体（业务对象或业务活动）创建对应的维度表、事实表、原子指标、业务限定、指标、汇总逻辑表。指标构建与管理：通过构建的规范化的要素（原子指标、统计周期、维度、业务限定），配置化的方式构建指标；也可将通过代码方式已经加工好的指标注册到汇总表上，进行统一的指标管理。标签工厂：可通过配置化的方式加工标签，让业务人员也可进行标签的二次加工及群组的圈选；通过快捷的配置，提供群组及标签的服务；根据元数据进行标签及群组进行治理、运行和管理。数据服务：通过数据服务，可将提供高效的 API 开发及运维能力，可将数据资源通过 API 统一服务业务系统。隐私计算：打通内外循环，实现数据不出域的自由流通，让数据可用不可见，数据价值化的同时保障数据的安全合规。全域数据治理：Dataphin 不仅仅治理数仓内的数据，也需要治理全域数据资产。二、用中台方法论构建与治理企业级好数据11资产盘点：在数据治理开始前，需要对全域的数据进行盘点，对元数据进行丰富标准及规范：Dataphin 可支持数据的规范、研发的规范，制定数据标准，让数据治理“有法可依”；通过数据标准的手动和自动映射，可将表资产的字段与标准进行关联，并进行元数据和内容的稽核和监控资产质量：提供全域的资产质量校验及跟踪方案，从质量稽核与评估（质量大盘、配置质量规则、查看校验记录、质量监控、智能报警）、质量治理（质量工作台、质量整改跟踪）、查看质量报告等功能。数据安全：通过自动及手动的方式，可对资产进行分类及分级打标，对数据的权限申请流通进行规范的管理，也可对高敏数据在流通前就对数据进行加密处理，避免数据泄露资源治理：通过元数据，对数据存储与计算资源诊断与治理，在数据价值挖掘的同时，也控制数据的成本，避免数据沼泽。全域数据运营：数据在消费者手中用起来才能发挥数据的价值，全域运营是将数据资产推送到数据消费场景中，让数据在消费者手动实现价值化。全域数据运营板块主要提供一下功能模块：资产目录：业务及消费视角的数据资产目录，可快速搜索查找推荐数据资产，推动企业数据文化。针对不同的人群，Datpahin 可定制多套目录满足不同场景不同人群的找数、看数需求。数据门户：通过提供场景式、主题是的数据门户，让用数的成本进一步降低，数据可找到正确的人。自助消费：通过打通 BI 分析系统，面向业务人员运营人员，实现从可见到可用；通过提供即系分析的功能，可通过简单的 SQL、Python 能力，进行数据分析2）三大核心优势Dataphin 产品经过了几年的沉淀，积累的丰富的产品能力，也形成了独特的产品核心优势：二、用中台方法论构建与治理企业级好数据12三大核心优势多样的计算引擎兼容，可利旧降本：除了支持大数据离线和实时计算主流引擎外，我们还会不断探索和集成更多的计算引擎，以满足不同客户的需求。我们会不断优化引擎的性能和稳定性，以提高计算效率和降低成本。在部署的平台底座上，我们也适配支持了不同的云平台，包括阿里云的公共云多租户、阿里云专有云、阿里云公共云 VPC 部署，IDC 部署，以及其他云平台上进行部署。资产化驱动构建数据：阿里巴巴多年的内部的实践，我们沉淀了一套完整的方法论，帮助数据资产的构建。这套方法论和产品也在 100 多家客户中进行了深度的验证。价值导向、消费驱动的数据治理：我们将进一步完善数据治理体系，包括数据盘点、数据质量管理、数据安全与合规等方面。我们还将借鉴和应用更多的经验和案例，不断提升数据治理的水平和效果。同时，我们也会更加注重数据的价值和消费者需求，以提供更有针对性和可用性的数据治理解决方案。2.规划：高屋建瓴，总览企业数据体系1）Dataphin 模型体系数据中台是数据沉淀、建设、管理与使用的一整套体系。Dataphin 的核心优势是在数据的建设与治理上，引入了阿里巴巴多年来数据中台建设沉淀出的建模方法论，可以帮助企业通过智能数据建设与治理，构建数据中台。在这个方法论中，某一个完整独立的业务对应一个业务板块，数据建模是基于一个业务板二、用中台方法论构建与治理企业级好数据13块来进行的，分四层模型：主题域模型：在数据中台，主题对应一个宏观的分析领域，比如销售分析就是分析“销售”这个主题，联系较为紧密的主题的集合就是主题域。每一个行业都可以拆分为有多个（十个左右不等）主题域组成的主题域模型。概念模型：在主题域的基础上，每个主题域内增加了实体以及实体之间的关系。逻辑模型：在概念模型的基础上，增加每个实体的属性以及属性的约束。业务分析模型：行业中重要的以及常用的分析方法与分析视角。在逻辑模型基础上，将业务分析问题转换为 Dataphin 特有的派生指标，并进一步提炼出原子指标和业务限定。板块划分、主题域模型、概念模型从宏观整体层面规划整个企业的数据体系。2）划分业务板块企业的规模有大有小，业务复杂度和跨度也不同，数据反映业务，所以每个企业的数据中二、用中台方法论构建与治理企业级好数据14台也是不同的。数据中台建设的第一步是做规划，规划的第一步是全盘梳理企业的业务架构，将业务划分为一个个独立业务，对应到 Dataphin 就是业务板块的划分。业务板块的划分总原则是高内聚，低耦合。可以通过业务活动之间以及业务活动与业务对象之间的关系来厘定业务板块的边界：存在上下游的关系或者有共同的业务对象的几个业务流程属于同一个业务板块。反之，如果两个业务流程之间不存在任何直接或者间接的上下游关系，也没有直接或者间接共同的业务对象，他们就不应当被放在同一个业务板块。与业务活动相关的业务对象与业务活动同属一个板块某些业务对象是企业级共用的，比如，公司的员工、行政地理区划（没错，这个也属于业务对象）等，可以冗余在每一个板块中。3）主题域建模主题域建模，即在业务板块下进一步将业务划分为多个主题域。主题域的划分没有客观原二、用中台方法论构建与治理企业级好数据15则，主要根据数据模型师的行业经验与业务理解来划分。具体以零售行业为例来说明。零售行业的主题域划分：公共主题域：在所有业务流程中都会被引用的数据，如地理位置数据、企业的人员组织数据。消费者主题域：该主题域主要是零售企业内用户（消费者）运营相关的业务活动数据。商品主题域：商品的管理（类目管理、品牌管理等），商品结构管理（组货）等相关的业务活动数据。其他还有商家主题域、流量主题域、交易主题域、履约主题域、服务主题域、交互主题域、营销主题域、内容主题域、供应链主题域等。二、用中台方法论构建与治理企业级好数据164）概念建模概念模型主要由业务实体以及实体关系来组成。a）业务实体业务对象是参与业务的人或事物，在企业组织的业务模式确定时就存在的，偏静态的实体。根据复杂程度，业务对象可以分为：普通对象，复杂的、有很多属性的对象。狭义上，业务对象就是普通对象。枚举对象，简单的基础对象。如性别，其取值可以穷举（男/女/未知）。虚拟对象，在业务定义中，没有任何属性的基础对象，如姓名。层级对象，多个业务对象之间有上下级关系，这一组对象就是层级对象。业务活动是一个或者多个业务对象在某个时间（段）为了达成某种目的所进行的活动或者是某种活动的结果。业务活动有以下几个关键要素（属性）：活动主体，活动的发起者，是一个业务对象。可选的活动客体，活动的参与者，可能有多个，也是业务对象。活动时间，可以是一个单点时刻，也可能是一个有开始和结束的时间段。根据业务活动持续时间的长短，可以将业务活动细分为：业务流程，持续一段时间，有明确生命周期的业务活动。二、用中台方法论构建与治理企业级好数据17（业务）事件，发生在某一个时刻，持续时间极短（瞬间）。事件一般对应业务流程的一次状态变化。业务快照，是一系列活动在某一个时刻点的状态和结果，比如库存、账户余额。b）实体关系在实际业务中，业务实体并不是孤立存在的，他们之间有着各种各样的联系，Dataphin 将这些联系定义为“实体关系”。有以下实体关系：实体关系说明关联1.业务对象 A 是业务对象 B 的属性，则业务对象 B 关联了业务对象 A，如：地址 是 客户 的属性之一，客户实体 关联了 地址实体2.业务对象 A 是业务活动 C 的参与者，则业务活动 C 关联了业务对象 A，如：客户 是 销售 的参与者，销售实体 关联了 客户实体继承普通对象 B 是 普通对象 A 的一种，但是比普通对象 A 多一些独有的属性，则 普通对象 B 继承了 普通对象 A。如：会员 本身也是 用户，除了用户的姓名，性别等属性外，会员 还独有会员等级等属性，会员 继承了用户。层级层级对象的多个对象间为层级关系包含业务活动 A 有三个处理节点 B、C、D，每个节点对应一个业务事件，业务事件发生后，A 的状态将发生变化。业务活动 A 包含 业务事件 B、C、D。如：销售活动 包含 销售下单，销售付款，销售完结 等业务事件。流转业务活动 A 有三个处理节点 B，C，D，每个节点对应一个业务事件，事件按照 B-C-D 的顺序发生，则 B、C、D 之间为流转关系。前后序进入业务活动 B 之前必须先完成 业务活动 A，则 A 是 B 的前序活动，B是 A 的后序活动。如：销售完成后，才可以退款退货(销退)，则销售是销退的前序活动，销退是销售的后序活动。二、用中台方法论构建与治理企业级好数据183.研发：高效建设，稳定运行1）全域数据汇聚，打破数据孤岛企业在构建数据中台时，首先就是要将企业内部各个业务系统的数据同步集成到数据中台，然后进行后续的数据研发工作。一句话总结数据集成的能力，就是提供不同数据源之间的通道能力，解决异构数据源之间，读取、转换和写入三个流程。Dataphin 中的数据集成模块是一个简单高效的数据同步平台，通过组件拖拽式的方式，提供了丰富的异构数据源间高速稳定的数据同步能力，与强大的数据预处理能力，汇集全域数据，打破数据孤岛，为数据中台的建设打好坚实的数据基座。a）支持丰富的异构数据源在企业信息化建设过程中，由于各业务系统建设和实施数据管理系统的阶段性、技术性以及其它经济和人为因素等因素影响，使得企业在发展过程中积累了大量不同存储方式的业务数据，采用的数据管理系统也大不相同。从简单的文件数据库到复杂的网络数据库，构成了企业的异构数据源。Dataphin 数据集成支持丰富的异构数据源，包括关系型数据库、二、用中台方法论构建与治理企业级好数据19大数据存储、文件存储、消息队列、NoSQLAPI、应用系统等 40+数据库。并支持创建自定义数据源，灵活接入数据，提供了数据源的可扩展性与灵活性。b）强大的数据预处理能力与传输配置在数据集成过程中，对于数据安全、同步配置、数据预处理等都会存在一些诉求。Dataphin数据集成提供丰富的数据预处理能力以及任务中数据传输过程中的可配置项。字段处理：提供字段选择、条件过滤，与字段计算的能力。帮助在同步过程中过滤掉冗杂数据，提高数据质量。数据安全：对于敏感字段，比如个人隐私信息，在集成任务中可以结合安全模块，对敏感字段进行加密或解密，进一步保障数据在同步过程中的安全。传输配置：支持限流配置，可根据数据库性能与任务并发数灵活配置；支持条件分发一个来源数据源以某个条件，二分发到两个不同的目标数据库中，可避免任务的二次配置；支持容错配置，指定集成任务允许产生的脏数据上限；支持运行参数配置与数据库连接配置：可根据场景灵活调整，提升集成任务的成功率与运维效率。二、用中台方法论构建与治理企业级好数据20c）产品易用性进行数据中台建设时，汇集全域数据，需要集成的表体量较大，大量的任务配置与调试工作量会消耗大量人力与资源。Dataphin 的数据集成提供任务配置、调试等各场景下的易用性功能，可提高任务配置与调试的效率。组件化配置：可通过在画布界面中拖拉拽组件进行集成任务的配置，通过无代码化操作，降低任务配置门槛。实时/离线整库迁移：支持通过配置化的方式进行实时或离线的整库迁移，高整库数据迁移场景下的配置效率。运行日志智能诊断：将原始日志提取为结构化的信息，包括任务运行信息（运行时长、CPU 负载等）、同步通道信息(读取/写入速度，脏数据条数等)。在任务运行报错后，自动提取日志内的错误信息，根据知识库进行相似度检索，提供可能的报错原因与可参考的解决方案，提高排查与调试的效率。2）设计即研发，保障数据模型与代码的一致性传统的数据中台建设过程中，数据模型需要用限定详细的文档记录设计，再基于文档进行代码研发。经过多轮变更后设计文档与实际代码可能已南辕北辙。Dataphin 通过规范化、模块化的低代码配置，在设计的同时生成代码，有效的保证了模型与代码的一致性，提升二、用中台方法论构建与治理企业级好数据21数据质量。Dataphin 模型体系中，主题域模型和概念模型属于规划部分，逻辑模型和业务分析模型则属于研发部分。a）逻辑模型在概念模型基础上，基于对业务的理解，可以对实体：增加属性。属性是用来从各个方面描述实体，是纯粹的业务认知。属性的增减完全跟随业务本身的变化，而不是基于业务系统。设置属性约束。对属性值的业务约束，如：鞋子的尺码有效范围是 10 码45 码，颜色只有 白色和黑色等。设置属性与来源业务表之间的关系。逻辑模型设置完成后，系统将自动生成相应的调度任务。后续如果业务侧发生了变化，重新设计逻辑模型时，在 Dataphin 可以直接编辑逻辑模型，系统将自动生成任务，确保设计与代码的一致。b）业务分析模型逻辑模型构建后之后，基于逻辑模型可以构建分析模型，即下图中的业务分析模型。二、用中台方法论构建与治理企业级好数据22业务分析模型的目标是快速生成业务分析中的指标，称为派生指标，且保障这些指标的可靠性和可维护性。最终使用的指标拆解为四个基本组成部分：统计周期，指标覆盖的时间范围，即该指标反映的是哪个时间段内的业务情况，本质上也是业务限定的一种，但由于它的通用性，将其独立出来作为一个单独的组成部分。原子指标，针对某个业务事件的聚合统计分析，比如：求和、取平均业务限定，指标计算时的业务约束(过滤)规则统计粒度，指标的分析维度或者分析角度，指标是描述哪些业务对象或哪些实体属性的。可以使用传统 SQL 视角来进一步解释：二、用中台方法论构建与治理企业级好数据23业务分析建模的步骤是，统计周期设置-原子指标/业务限定配置-派生指标配置，所有配置完成后，系统将自动生成计算代码和周期调度任务。后续修改指标定义，也是通过修改统计周期，原子指标，业务限定等业务视角的对象，由系统自动来生成修改后的计算代码。Dataphin 通过规范化、模块化的低代码配置式研发，有效的保证了模型与代码的一致性。3）发布管控，数据安全生产a）发布Dataphin 提供两种项目模式：Basic 简单模式和生产开发隔离的 Dev-Prod 模式。在数据权限管控严格的研发流程下，常常会使用生产开发环境隔离的研发模式。项目中，研发人员通常需要完成代码编写、任务基础属性和调度属性配置、并基于开发环境的数据执行补数据测试，通过后再将任务提交至发布中心。发布审核人员接到发布申请后，结合任务配置详情评估是否配置合理，是否存在数据生产风险等，之后执行发布操作。Dataphin 发布中心提供了待发布任务概览、批量发布、基于系统校验规则的自动审核，发布记录概览、发布详情查看、发布失败原因提示、一键重新发布、发布审批和发布管控等功能。发布作为生产开发隔离的研发模式中必经的一道环节，为生产数据的正确性和生产环境稳二、用中台方法论构建与治理企业级好数据24定性提供了前置保障，可以减少人工操作失误或流程不规范引发的问题，降低了对生产业务产生影响的可能性，为数据建设撑起一道保护伞。b）发布管控发布管控功能支持基于用户已经设定好的管控规则及生效策略，在任务发布前执行对应的检查，以判断任务是否符合发布条件。针对校验不通过的任务，根据规则配置详情，会阻断发布流程（强管控）或给出警告提示但不阻塞发布（弱管控），以增强平台的稳定性保障。发布管控是变更管控的子功能之一（后续可逐步拓展研发管控、运维管控等），变更管控分为更规则和变更策略两部分。变更规则：基于对象的基础属性、外部服务接口等来源抽象出来的元数据，结合系统内置规则或自定义代码编写的逻辑条件而组成的校验规则；规则校验不通过的对象即被纳入管控，结合变更策略判断管控方式。变更策略：根据用户已经创建好的变更规则，设置其生效范围和管控方式。支持在单个变更策略中配置多个规则并给每个规则指定不同的管控方式。发布管控常用但不限于以下几种场景：时间节点管控：在某些特殊时间节点，禁止发布新的任务或更新历史任务，防止数据计算口径变更带来的影响，如财年末封账、财务审计、双 11 大促管控、集群切换保障等场景研发规范管控：根据某些任务属性来进行判断，如 ODS 项目中没有以“ods_”为开头命名的任务不可发布等账号管控：针对部分提交人或发布人进行限制，如已离职人员提交的任务不可执行发布操作等等二、用中台方法论构建与治理企业级好数据25通过发布管控，灵活调整管控规则及策略配置，可以实现不同的管控效果，减少人工干预成本，进一步提升平台建设的规范性和稳定性。c）跨租户发布使用开发生产隔离的模式，可以提供代码及数据的生产开发环境隔离。然而在某些对安全性要求更高的场景（比如金融场景），客户需要对生产和开发环境进行物理的隔离。为确保租户间的数据安全，Dataphin 完全隔离租户间的数据。若有构建数据生态或强安全管控（例如，不同租户构建共同的开发、测试或生产环境）诉求，通常需要在新租户中重新开发所有数据，这将降低数据应用的效率。Dataphin 升级了数据的发布能力，旨在构建简单高效、安全可靠的跨租户发布，用于迁移租户间的规则数据的迁移，以满足不同数据的应用场景，帮助企业实现数据应用价值最大化。跨租户发布支持全量导出、增量导出及指定对象导出，支持设置全局粒度的导入规则，支持批量发布文件中的对象，同时系统根据对象依赖关系自动控制发布至目标环境的顺序。4）灵活调度，满足多样化的开发场景Dataphin 自研的调度系统支持灵活的调度周期、上游依赖、调度类型、参数配置、公共日历和条件调度，可适配多样性的数据研发场景，满足各种个性化的调度需求。a）周期调度在任务调度时通常需要根据任务运行频率和数据产出时效性判断该任务的调度类型，并针对不同类型的任务进行调度规则的配置。其中，周期调度是最常用的调度方式，对于周期调度的任务支持为其进行以下配置：二、用中台方法论构建与治理企业级好数据26调度类型支持正常调度、空跑调度、暂停调度三种方式。空跑调度的任务生成的所有实例直接空跑成功，不会真正运行；暂停调度的任务生成的实例均为暂停运行状态，常用于经常需要暂停某些链路上的数据更新、又不希望频繁下线任务或修改依赖的场景。调度周期支持分钟、小时、日、周、月调度，不同调度周期对应不同的运行频率，并支持配置每个实例的定时调度时间。如抽数任务，需要每小时从业务库抽取上一小时新增的订单数据，再进行销售总额的合并计算，则需要配置调度周期为“小时”，开始运行时间为每个整点，以保证数据时效性。上游依赖提供自动依赖解析能力，可以基于 SQL 详情解析出存在数据依赖的上游任务并自动添加。对于不存在数据依赖关系但是有调度依赖的上游（如用于检查数据变化情况的 check 任务），可以手动搜索添加。依赖上周期支持配置依赖任务自身或其他任务的上一周期实例。有时为了防止多个实例同时运行造成的数据冲突或重复，需要保证每个任务同一时间只有一个任务在运行，此时可以配置“自依赖”，如“截止当日销售总额”任务，计算口径为“前一日销售总额+当日销售总额”。另外一些场景下，任务运行完成时间较晚，对于数据时效性要求不严格的下游，可以配置依赖该任务的上周期b）公共日历&条件调度任务调度主要是两个核心设置，一是依赖关系，二是日期时间。在日期时间的设置上，有二用中台方法论构建与治理企业级好数据27非常多的场景，需要产品提供灵活个性化的设置项。Dataphin 提供租户级别的公共日历功能，支持自定义多个日历、自定义日期类型(工作日和假日)和灵活的自定义日历标签，支持在日历上灵活的设置标签，配合条件调度功能帮助用户在配置调度任务时，结合公共日历中的定义信息配置组合条件调度参数，进行灵活的调度。或在创建任务时引用公共日历，避免在创建任务时重复定义，减少开发和后期维护成本。Dataphin 调度系统提供灵活的配置方式，帮助用户根据实际业务场景梳理上下游数据的影响，通过给对应的任务配置依赖条件，确保数据依赖关系正确。5）智能运维，提升运维人员的满意度“每个客户最近 30 天的平均消费金额指标需要基于汇总的门店订单表来分析，得等订单表的数据更新了才能运行指标”“老板 9 点就要看报表，这个任务可一定要尽早跑完，优先级要设置成最最最最最高！”“怎么又有任务报错了，我可不想一直盯着电脑屏幕呀”“每天都要回刷历史数据，我每天都在做重复的工作，真的好麻烦呀”.以上是数据开发和运维人员日常工作中经常会遇到的问题，我们希望给重要的任务优先分配调度资源和运行资源，保证其顺利运行。这些无疑都给开发运维人员增加了工作难度。运维中心是研发链路重要的保障，包括大盘概览、任务运维、实例运维和监控告警配置等功能，为您提供任务操作与运行查看、异常监控与及时告警等多方位的运维能力，从而维护生产任务有序、正确运行，数据正常产出。下面介绍运维中心如何解决问题。a）如何及时发现异常？二、用中台方法论构建与治理企业级好数据28Dataphin 支持为生产环境的任务配置监控告警规则，包括智能基线监控、离线任务监控及实时任务监控。帮助您及时了解任务运行动态，并监控异常任务，降低对下游业务的影响。任务监控Dataphin 支持针对任务粒度的监控配置，可指定具体任务或通过“归属某个项目下的所有任务等”方式批量配置任务告警。不同类型的任务支持不同的告警原因，以离线监控为例，支持完成、出错、运行超时、未完成等。此外，Dataphin 特有的逻辑运维能力，支持针对逻辑表任务以字段视角进行监控配置，可通过字段更快捷直观的分析异常任务对下游业务的影响。为了支持不同接收人角色的区分告警，Dataphin 支持给不同类型的接收人配置不同的告警方式，如：负责人电话告警、管理员邮件告警。同时，也支持根据任务优先级和运行时间，设置不同的监控时间段、告警频率等，以减少运维人员的人工操作成本，实现灵活的自动化告警。智能基线监控使用智能基线监控，只需配置要保障的末节点，即可根据依赖关系自动推算末节点依赖的所有上游节点，无需人工介入，大大降低复杂依赖场景下的配置成本。此外，被纳入基线保障范围的任务具有更高优先级，在同时满足运行条件时可优先下发到计算引擎执行，进一步保障重要任务运行稳定性，并在可能产生延迟风险的情况下发送预警通知，便于提前发现风险。智能基线主要提供以下能力：自动推算需要纳入基线监控范围的任务：添加需要保障的任务或字段后，系统将基于依赖关系自动推算需要纳入监控范围的上游节点，这样一来，即使更新了任务依赖关系，也无需更新基线配置，大大降低了人工操作成本；同时也提升了监控准确性，避免因为配置不同步而导致的监控缺失。二、用中台方法论构建与治理企业级好数据29关联路径与关键实例识别：基线上需要保障的任务，其依赖关系可能错综复杂，Dataphin 提供甘特图功能以快速定位阻塞基线上数据产出的关键路径与关键实例，其中影响基线任务产出的多条路径中，耗时最长的路径为基线关键路径。自动推算预计产出时间并触发相应告警：周期运行过程中，系统将根据基线链路上每个节点最近 7 天的历史运行概况，推算保障节点的预计运行完成时间。如果推算出的时间晚于配置的预警及承诺时间，则会发送基线告警，给开发人员和业务人员对应的通知。b）如何快速定位问题并快速恢复或修复数据？智能诊断Dataphin 提供了实例运行诊断的能力，从上游依赖、定时时间、限流规则、调度资源及实例执行 5 个阶段分析实例运行过程中可能产生的异常，同时提供单个任务每次运行的执行日志，可快速定位异常信息进行进一步分析。通过查看诊断结果和日志进一步排查失败原因并一键定位到需要直接处理的异常实例，并根据诊断建议执行对应的操作。数据回溯面向不同的数据回溯场景，Dataphin 提供灵活、可配置的重跑、强制重跑、补数据等功能，并提供基于列表的批量操作能力，可以帮助您快速执行相关操作，大大减少人工操作成本，快速恢复历史数据。对于任务配置问题或网络环境问题导致的的运行失败，可以通过重跑快速恢复任务运行。某些特殊场景下，任务不满足运行条件时仍然需要强制运行任务，此时可以使用强制重跑功能来实现。Dataphin 支持针对单个实例或选中一个起点及其下游，按照依赖关系进行批量重跑或强制重跑（如整条链路计算逻辑修改等场景），以实现全链路数据更新。补数据是为了解决数据仓库中存在的数据缺失、错误、不一致等问题，通过补录、修复、二、用中台方法论构建与治理企业级好数据30补充或更新数据来保证数据的准确性、完整性和一致性，满足业务需求和数据分析的需要。Datatphin 支持多种灵活的补数据方式，能够满足多样化的业务需求，提高运维人员的工作效率。列表模式补数据：按下游任务层级筛选任务。海量模式补数据：直接输入需要补数据的任务 ID、或通过指定项目、指定节点输出名称、当前节点的全部下游、指定一级子节点及其全部下游、指定终点等多种方式来圈选下游节点的范围，系统将依据依赖关系对选中的任务进行自动编排生成补数据实例。定时调度的补数据任务：Datatphin 支持配置补数据任务并设置补数据实例的运行规则，系统将基于任务配置定时、自动地生成补数据实例，适用于周期规律性的数据回刷场景。此外，也支持手动临时运行补数据任务，实现临时性的补数据操作，大大降低重复性配置成本。c）如何进行有效的资源管控和并发控制？限流管控当计算引擎出现性能瓶颈、资源分配不足或需控制任务下发时间和顺序等场景时，通过配置开发或生产环境任务的限流规则，保障系统的稳定性以及业务数据按序及时产出。Datatphin 支持基于业务视角的调度限流功能，支持根据任务优先级和资源空闲情况，控制不同时间段内不同任务的下发数量。基于限流能力，不仅可以减少对底层计算引擎和上下游数据源的并发压力，保证高优任务优先分配调度及计算资源，任务能按序产出；同时也能实现故障异常场景下的快速止血，避免产生因为无法干预或介入较晚而产生严重的问题，增强整体稳定性。例如：在更换底层引擎的场景下，我们可以通过配置全局限流来阻断任务的下发；迁移完成后，需要优先对核心任务进行补数据操作，再逐步恢复对日常任务的运行，则可以通过“所属项目”圈选出日常任务并将其并发度设置为 1 而核心任务不设置并发限制，来保障资二、用中台方法论构建与治理企业级好数据31源优先分配给核心任务。调度资源管控调度资源指任务生成的实例调度所消耗的资源，Dataphin 的调度资源分组管理的功能，能够帮助您统一管理部署 Dataphin 实例的集群资源。支持将资源划分为不同的配额组，不同资源组之间的资源配额互相独立，并支持为不同租户、统一租户下不同项目内的任务单独指定调度时使用的自定义资源组，从而保障核心任务的资源不被抢占，同时也提升整体资源利用率。Dataphin 的自定义资源组功能可为您提供以下场景的支持：核心任务保障：通过资源组管理可为核心任务分配单独的调度资源组，防止低优先级任务优先运行时抢占大量调度资源而导致高优任务一直在等待调度资源状态。例如，希望保证核心业务库的集成任务按时运行，那么可以给对应的集成任务配置“集成专用资源组”，其他非核心任务使用项目默认资源组。按需分配：支持按照租户、项目、任务粒度分配资源，可实现不同业务部门使用的资源解耦，避免某个部门占用大量资源而影响其他业务部门的正常使用。临时批量运维操作：大批量补数据场景下，可能会占用较多的资源，从而影响周期任务的正常运行。支持在批量补数据等临时运维操作时指定单独的资源组，仅对本次运行生效，从而保障任务日常调度不受影响。6）实时集成和实时研发，实现数据秒级响应a）应用场景当下，实时数据的重要性在各行业日益凸显，实时数据的精细管理和优化运营对企业发展至关重要。通过实时监测和分析各项指标，企业能够快速发现问题和机会，及时调整决策以保持竞争力。例如，实时营销场景下，企业可以根据用户的实时行为偏好提供个性化推荐和服务，提升用户满意度；金融风控场景下，通过实时数据采集和分析，金融机构可以二、用中台方法论构建与治理企业级好数据32监控交易活动，检测异常交易