MaxCompute架构升级及开放性解读.pdf

MaxCompute张治国阿里云智能计算平台研究员架构升级及开放性解读MaxCompute阿里云自研大数据平台，围绕企业数据核心要素，提供大规模，分布式数据分析，处理能力，满足多业务场景大数据计算需求5K集群调度规模SQL引擎性能存算分离Serverless弹性跨集群调度湖仓一体架构离线实时一体MaxCompute 1.0（2013 2017）MaxCompute 2.0（2017 2020）MaxCompute 3.0（2020 2023)MaxCompute的三个阶段规模，性能弹性，性价比一体化&()*+!#$%&()Volume!*+,-./01,/201,/301,#$*#$45*6789Data for AIVariety!:;?ABC%DE=#FVelocity!GH#$#$()I%JKVeracity!LMNOPAI for DataValueMaxCompute 方向思考 湖仓一体，多计算引擎，多数据源，结构化/非结构化不同数据格式，AI应用流批一体，离在线一体，大并发批量写入+实时流式Upsert更新，增量查询数据AI增强分析，数据处理平台对AI模型训练推理的支持SQL引擎，存储，调度各模块优化，弹性按需计算，不同高性价比计算规格性价比Data+AI一体化开放近实时VolumeVarietyVelocityValueMaxCompute 4.0 高并发批量+实时流式数据导入MaxCompute 计算引擎PAIAI 计算 开源计算引擎SQLHoloMarsGraphSparkPrestoStarrocks统一元数据服务增量版本控制StorageAPITable IO开放存储数据开发管理平台数据应用BigMetaFuxi/K8S 弹性计算资源统一调度MaxCompute 盘古存储HDFSaliORCParquet/ORC/Open formatOSS近实时增量数据处理能力数据高并发Upsert流式导入，增量查询，time travel统一元数据服务ACID 版本控制，文件级别元数据，实时元仓服务，高频commit能力开放存储支持外部OSS/HDFS等不同存储系统，以及Parquet/Orc开放存储格式，HUDI/Iceberg/Delta开放表格式资源弹性统一调度Quota分时弹性，集群弹性资源，多引擎统一调度多引擎开放架构支持内部不同计算引擎以及AI和开源引擎，同时支持外部AI，EMR平台计算引擎数据访问MaxCompute 4.0 开放性MaxCompute 存储OSSHDFSaliORCParquet/ORC/Open formatMaxCompute 计算引擎AI 计算 开源大数据计算引擎高并发批量+实时流式数据导入开发管理接口层 BigMeta 统一元数据服务StorageAPITable IO开放存储数据应用接口层 数据接入生态支持多种数据接入方式，可以接入绝大多数的数据库，NOSQL库，消息队列，日志等业务系统开放计算架构MaxCompute计算引擎使用StorageAPI以内外表一致方式高效读写OSS/HDFS上Hudi/Iceberg/Delta，Parquet/Orc/CSV等开放存储格式数据开放存储除自身支持SQL，Spark，Mars，Graph等，还支持PAI人工智能平台，开源Presto，Starrocks等引擎通过StorageAPI高效读写MaxCompute内置存储数据应用生态可以接入QuickBI，以及其它主流的开源和商业化BI工具，如Superset和Tableau等开发管理工具生态除DataWorks以外，支持开源的，Airflow以及Azkaban平台，对数据进行开发治理调度等MaxCompute 4.0 开放性 开放存储Storage systemIO&cachingData formatTable formatImmemory layoutCompute enginePanguOSSHDFSPangu clientOSS clientHDFS clientIO cacheCommon IO APIAliorcReaderwriterParquetReaderwriterOrcReaderwriterTSVReaderwriterMC tablehudiCommon table APIIcebergDeltaMC sqlPAISparkHOLOApache Arrow 开放存储服务统一IO，table和cache接口插件化对接内部Pangu，OSS，HDFS存储系统支持AliORC，Parquet，ORC，TSV/CSV等不同数据格式支持MC内部表格式，HUDI/Iceberg/Delta等开源表格式计算引擎数据接口使用开源Arrow列存格式统一元数据管理内外表统一管理元数据服务水平可扩展元数据，元仓异步实时同步高性能实时元仓服务MaxCompute 4.0 开放性 多场景计算MaxCompute 统一存储StorageAPI+统一元数据BigMetaMaxComputeSQL/SparkMarsPAIE-MapReduceSpark/Pyspark数据集成开发调度数据地图运维中心数据建模数据治理中心MaxCompute 核心引擎：调度/计算StorageAPI connector数据开发治理平台整体架构多引擎计算能力：结合MaxCompute开放存储（StorageAPI），AI和开源引擎直接高效读写MaxCompute内置存储进行计算数据零拷贝：根本上解决数据拷贝带来的数据一致性、安全、成本、可维护性等一系列潜在问题数据管理：成熟数仓数据治理管理能力资源灵活性：计算资源可以来自用户在离线混布，已有EMR集群等开放灵活的开源大数据及AI计算引擎灵活计算资源数据实时性方案日志数据库HadoopHive消息数据源MaxCompute实时系统/流系统数据验证数据合并存储&计算引擎数据应用预测分析实时报表商业智能数据接入全量数据增量数据批量导入近实时增量写入资源消耗成本高，性价比低海量数据处理的效率/稳定性不足 数据合并导致冗余的存储和计算成本时效性差，通常T+1可见数据出错，回溯链路长且复杂一致性问题:多套引擎/数据格式/SQL语义成本高:冗余存储/数据迁移/多次计算架构复杂:计算引擎/元数据/监控/血缘等开发周期长:业务支持不敏捷，延迟风险增加一致性问题运维困难高成本Lambda架构痛点全量批处理链路痛点实时链路痛点MaxCompute 4.0 近实时处理框架一份数据一份code低成本低运维日志数据库HadoopHive消息数据源MaxCompute 存储&计算引擎数据应用预测分析实时报表数据检索数据接入MaxCompute Flink ConnectorMaxComputeSQLDataWorks数据集成MaxComputeSDK统一的数据管理服务&统一元数据服务ODSMC存储DWDDWS自动诊断优化近实时增量处理链路全量批处理链路MC增量计算MC存储MC存储MC增量计算统一数据组织结构&数据管理统一的计算框架&SQL语义统一的元数据管理统一增量和快照存储格式数据自动clustering/compaction/clean统一的stats收集/索引/编码压缩等机制数据只存储一份，节省冗余存储成本，节省数据迁移成本增量和批处理共享一套引擎的所有优化和新功能同时满足增量处理的时效性以及批处理的高效性消除维护多套系统链路成本，以及数据一致性问题相对实时/流系统，资源成本性价比高增强事务机制和事务冲突优化重试高效的Timetravel和增量数据版本管理元数据层面操作数据版本回滚，成本极低统一的Stats管理和优化MaxCompute 4.0 性价比分层存储Json列存多种数据压缩Auto-compactionSQL AQEHBO/HBSAdaptive ShufflingAutoMV集群弹性调度资源优先级调度Quota分时弹性智能变配推荐计算成本下降30%高性能存储成本下降20%低存储成本弹性CU降价50%高性价比MaxCompute 4.0 性价比 弹性资源调度开箱即用的全托管服务，降低运维成本灵活的资源规格（后付费、预付费、分时弹性CU、SpotJob等），满足业务提效降本要求支持一、二级Quota分时，以及Quota计划、时间计划等多种规则的细粒度资源管理根据历史以及预测进行成本分析，推荐计算Quota计划集群级别计算资源动态扩缩容满足分时Quota以及后付费资源SLOServerless弹性资源自动免运维灵活扩缩容按需付费无服务器的虚拟云数据仓库大数据从CAPEX向OPEX转变计算与存储都可弹性动态伸缩满足业务数据处理突增情况计算与存储按需索取，可分别按照用户计算/存储收费，不使用不收费MaxCompute 4.0 6FG MNOSQLPQ3.Intra-Operator AE!SLX adaptive compress!SLX adaptive sort!Tablescan adaptive latematerialization!Adaptive partial agg!Adaptive df consumer!Adaptive window filter2.Inter-Operator AE!Adaptive hash join!Adaptive final hash agg!Local dynamic filter1.Inter-Stage AE!Adaptive skew join!Conditional map join!Adaptive shuffle!Dynamic parallelism!QueryLatency#$%$%#Task&StageTaskOperatorLowMiddleHighStats!Intra-Operator AEST0GUVOperatorWX,YW(vProjectCompress/Sort(0Inter-Stage AEST0ZDOPGUStageX,Yadaptive mem shuffleInter-Operator AE?_PST0abcSortYdefHashYg?Task PlanhijMaxCompute 4.0 性价比 存储优化ParquetORCAliORC特点对嵌套类型支持好 整数/浮点数支持多种编码方式，如RLE/dictionary/bitpacking支持Column Encryption 编码支持相对简单格式上兼容开源 ORC 更加精细的内存管理与代码优化支持Cluster Index 支持Predicate Push Down 支持异步预读 动态自适应数据编码性能整数/浮点数存储效率更高 深度嵌套场景读取效率更高大宽表场景读取效率较高写入性能较ORC高6倍，较Parquet高2倍 读取性能较ORC高4倍，较Parquet高3倍发展方向依托Arrow,对接多大数据引擎/数据仓库，拓展适用范围与Hive/Presto/Impala等引擎深度对接，性能优化MaxCompute默认存储格式，降低存储/访问成本，对接多样化数据场景20%存储成本降低2-6倍读写性能，+30%压缩比30%热数据占用70%读提高查询性能，减少存储成本7天以上数据访问频次明显下降平衡读可靠性和存储大小Merge/Replication TaskTier Store AnalyzerMaxCompute 4.0 性价比 智能数仓BigMetaMaxCompute计算集群Stats采集Auto-compactionsort col recoAuto-tieringAutoMVHBO/HBSZ-orderingAuto-clustering存储自动优化自动归并小文件，推荐更高效压缩排序列自动冷热归档数据，冷热数据使用不同复制方法自动热数据cache计算自动优化使用历史查询数据，推荐MV历史查询统计信息，优化查询计划，以及数据组织方式Query OptimizerStorage ServiceMaxCompute 4.0 Data+AI数据收集数据清洗数据预处理模型训练模型推理AI应用生命周期数仓以SQL开发为主，AI以Python开发为主AI开源框架大数据处理能力不足数仓平台对于AI模型计算支持不够结构化，半结构化非结构化数据数据格式多样开发环境配置复杂依赖package版本易冲突大数据开发和AI开发割裂数据来源多，数据统一管理能力差缺少统一开发环境数据准备时间 80%大模型开发过程 MaxCompute 4.0 Data+AI!#$%&M%*%&(J*)*(*v(*v+,()Notebook*+,-SQL*PythonX-M%*)*M%(*./0*MaxCompute1T*uvv23QuotaMaxFrame./)0123Pandas45DataFrame*Q678_*gPytorch/Tensorflow AI*PAIbc!45%&J7!;BigMeta*A/!*JGH!#$%&(%&)*/+,%)$%&!#$%&*+,-./0123+,4567()#$&AI*+,-.*/0123456*89:;?ABCDEFGHIJKLMNOPMaxFrame8QR7STUVW#78X01YZ*01YZ_+4#98!#$%&()*FGHIJKLMNOPMaxFrameaJKL?bc*dW01efg*+,:;?bc_hijklmnoPAIpF*!qr%=stX?uvwPAIxy?!%&z?|hPAI-EASpF*8FGEAS?yDEz?*!?ABCDE+,-.+,/0/123456745#3/8945(45:;MaxCompute 4.0 Data+AI-MaxFrameMaxFrame DAG driver交互式开发 MaxCompute Notebook 数据存储BigMeta统一数据管理Pandas数据分析/预处理SQLPAI-DLCAI模型训练Mars内置镜像镜像管理自定义镜像PAI模型仓库模型管理PAI-EASAI模型离线推理MarsMarsMaxFrame SQL拉取镜像MaxC 存储OSS.What MaxFrame bringsPython分布式大数据处理Pandas兼容，不需要改代码大数据AI开发一体化丰富的ML/AI模型丰富BI libBI/AI一体化Data for AIAI for DataOne Env+One Data+One Code开放架构增量处理Data+AIMaxCompute 4.0 (2023-)THANKS