MaxCompute Serverless 架构演进.pdf

MaxCompute Serverless 架构演进谢德军阿里云MaxCompute SQL引擎负责人Contents目录01大数据与Serverless02MaxCompute Serverless 架构演进03MaxCompute Serverless 关键技术04MaxCompute 高性能 SQL引擎大数据与Serverless01云原生新范式ServerlessA Berkeley View on Serverless ComputingCloud-NativeDEVOPSContinuous DeliveryMicro-ServicesContainersServersVMsContainersServerless关心系统配置关心业务逻辑云服务提供资源类型大数据Serverless-产品特性弹性根据作业负载波动Auto-scaling利用云上丰富服务自持资源和弹性资源调度系统针对不同规模作业优化用户只需关心业务逻辑免平台运维支持热升级不需要关心大数据基础环境搭建后付费用户按实际资源使用量付费按量付费计算、存储分别计费支持预付费、分时Quota 等其他收费规格周期作业调度事件驱动支持按数据到达等Event 驱动作业执行实时数据导入与加工信通院-基于无服务器架构的（Serverless）大数据平台分级能力要求MaxCompute Serverless 架构演进02MaxComputeMaxCompute:;?ABCDEFSaaSGSoftware as a ServiceHIJK?LMNOServerlessPQRSTUVWXYDZ?LM(N_$?./Zabcd,e+,fgDhiNjkl?|KServerlessPQ!#$%!&()*!+,-./01EF./!2345678!9:;6+78)*!?ABEFW,!C?D!EF!?!(GHI6D!JK!+,LMD!v,!NOP/6QRST!UV6WXYZ!?SQL!_63?%Y1a!b3cd6SQLef!ghP/ij!cd%Y(kvr(!Plmn6opOq!rstABauMaxCompute-架构New Future on Cloud三方引擎支持(Spark,Flink,etc)云底座(多数据中心/容灾)基础设施MaxCompute 存储引擎IO/CachingFile FormatTable FormatStorage Service分布式文件系统(Pangu)计算资源及调度管理(Fuxi)MaxCompute 执行引擎CUPID控制层接入服务SQL TaskMR/Mars/Graph TaskAlgoTask(ML)Cupid TaskTask Queue优先级管理MRAlgoSQLRestful API身份认证计算集群Traffic ManagementMaxCompute Service全局元数据Web Console审计日志沙箱隔离数据加密数据加载服务(Tunnel Service)外部生态DataworksStudio/CLISDK/JDBCDatahubPAIOSSLog SeviceMC-HologresTableauAzkanba/AirflowFrontendTunnel endpoint队列管理任务管理大数据Serverless-多租模型EMRRedshiftMaxComputeBigQueryECS用户角度系统角度Gartner7种多租户模型无需关心服务器/资源、按量付费、免运维Database Developer Platform DMS更高的资源共享度、更低的成本，更高的技术挑战Tenant ATenant BMaxCompute-Shared Everything的挑战HardwareOperating SystemVirtualization InfrastructureGuest ClusterEMRGuest ClusterEMRShared-hardware Multi-tenancyPhysical InstancePhysical Instance技术 挑战系统安全依赖Iaas隔离保障Tenant ATenant BHardwareOperating SystemShared-everything Multi-tenancyLogical ProjectLogical Project统一的计算资源池:弹性伸缩能力和灵活的混布能力,超卖MaxCompute PlatformComputationMetaStorageSQLMRAlgoMaxCompute-Serverless架构演进超大规模全局调度混部统一调度近实时 5K 单机群1万+节点 单Job处理PB数据 细粒度Failover 单控制集群+多计算集群架构 搬数据还是搬计算 智能跨集群技术 离在线混部 在离线混部 CPU/GPU/FPGA混部 强资源隔离 融入整个阿里云ECS大资源池 削峰填谷 平台资源预估 高性价比资源 Throughput与Latency并重 Adaptive Execution 实时数据导入 短查询 增量查询稳定高性价比近实时MaxCompute Serverless关键技术03MaxCompute Serverless关键技术-管控各个系统模块都有其请求承载的上限多租环境下，需要控制住单个租户对整个服务各模块资源不合理消耗。控制集群API请求流控异常作业层层设卡OOM持续治理问题作业隔离影响计算集群计算Quota存储QuotaCPU/Mem防超用Job中间文件QuotaMaxCompute Serverless关键技术-灰度发布阿里开发阿里生产中国公共云海外充分测试灵活的灰度方式主动发现问题版本Weekly更新用户无感知2w+case线上搬线下性能与压力测试多版本部署百分比灰度基线级别灰度作业报错监控主动FlightingPlaybackMaxCompute高性能 SQL引擎04Serverless与性能丰富的计算付费模式按量计费（后付费）-中小客户友好包年包月（预付费）-负载相对稳定按时计费-生产时段弹性保障引擎性能提升对预付费直接让利后付费体验提升平台与用户双赢通过性能提升等帮助用户降本增效，平台不断做深做厚Serverless能力降低成本。平台成本：系统管理（小文件合并等），智能推荐（各种工作流）后付费适用场景0481216D1D2D3D4D5D6D7资源用量0481115D1D2D3D4D5D6D7资源用量资源消耗波动大并且不易预估资源消耗波动小预付费适用场景vsMaxCompute SQL-MaxCompute SQL引擎-高性能2022年TPCx-BB 100TB测试性能提升了40%，六年（2017至今）保持全球最高分MaxCompute SQL引擎-Adaptive优化大数据场景特点数据规模庞大，半结构数据多，湖仓一体兴起相对于传统数据库，开发者灵活性的需求，导致UDF大量应用部分Query极度复杂（64M物理执行计划），数据倾斜（20%）挑战数据规模庞大导致Stats收集困难，湖上数据本身就缺少Stats，UDF导致数据变化剧烈，都导致Cardinality预估不准；复杂Query靠后Stage Cost越估越不准；并且UDF对于Optimizer是一个黑盒，会Optimizer优化范围支离破碎Plan偏保守，数据倾斜很难事先发现应对运行时收集多维度stats信息Adaptive Execution，运行时Reoptimize、Adaptive选择优化算法Cardinality estimationCost modelPlan space enumerationselect t1.*from src t1 join src1 t2 on 传统Query Optimizer多维Adaptive优化性能稳定性性能和稳定性跷跷板Inter-Stage AEInter-Operator AEIntra-Operator AEAdaptive优化-一切从Stats开始从stage到op内部，随着数据量下降，stats种类、精度会随之上升Stats维度与精度充分发挥DAG+Batch模式特点，运行时低成本收集多维度StatsOperator耗时统计Stats是引擎性能优化的基础设施动态收集Stats最终回到MC元仓，通过离线分析，可以了解实际线上性能瓶颈，指导优化方向：IO优化为优化重点（定位重点Operator，Shuffle 39.5%Data 19.6%）Adaptive优化-架构Adaptive Execution：根据运行时Stats，自适应选择优化Plan、高效算子、优化的执行路径等关键设计Stats实时聚合、优化实时决策（通过Job Master细粒度状态机转换框架）Global和Local Optimization结合、Adaptive能力丰富（DOP调整、Skew处理、Stage物理算法选择、多算子配合Adaptive、算子转换）Adaptive Execution(AE)1-Stats-1-AdaptiveijAdaptiveij|3JNk3.Intra-Operator AE!Adaptive dictionary filter!SLX adaptive compress!SLX adaptive sort!Tablescan adaptive latematerialization!Adaptive partial agg!Adaptive df consumer!Adaptive window filter2.Inter-Operator AE!Adaptive hash join!Adaptive final hash agg!Local dynamic filter1.Inter-Stage AE!Adaptive skew join!Conditional map join!Adaptive shuffle!Dynamic parallelismqrQuery Latency.stst.Task2uStageTaskOperatorLowMiddleHighStats!Inter-Stage AEInter-Operator AEIntra-Operator AE1.Inter-Stage AERSStage statsoTDOPMNStageYZ?2.Inter-Operator AERSTask stats+YPQhoTUSortYZI“HashYZ+Task Plan|*3.Intra-Operator AERSOperator statsoTMNVOperatorWYZUBhXYVZ6YPI“ProjectMNCompress/SortYZMNDIntra-Operator AE-Adaptive Dictionary FilterM1TableScanShuffleWriteFilter(key=k1)M1#NTableScanShuffleWriteFilter(key=k1)M1#0ShuffleWriteTableScanTableScanShuffleWriteFilterM1M2J3SM-JoinTableWriteShuffleReadShuffleReadPhysical Planselect t1.*from src t1 join src1 t2 on t1.key=t2.key where t1.key=k1;key:dict0k01k10k0key:datak0k1k3InputSplit#0InputSplit#NM1#N Filter Evaluatorkey:dict0k01k10k0id-result0false1true0false表达式Evaluate直接使用Dictionary id查询Result cache，避免耗时的String比较id-result0false1trueRecordBatch=keyk1key=k1ResultResult cacheTPCx-BB Q19耗时从95min下降到8minInter-Stage AE-Adaptive Skew JoinJ3 Skew处理ShuffleWriteTableScanTableScanShuffleWriteFilterM1M2J3SM-JoinTableWriteShuffleReadShuffleReadPhysical Planselect t1.*from src t1 join src1 t2 on t1.key=t2.key where t1.key=k1;Inter-Operator AE-Adaptive Hash JoinJ3 Join控制Shuffle Read是否Sort SM-JoinTableWriteJ3#0 L=2GB,R=1GBShuffleReadShuffleReadHash JoinTableWriteJ3#N L=2GB,R=128MShuffleReadShuffleRead省掉大表耗时的Sort操作，Hash冲突严重等情况，支持数据回填，降低Fallback代价KVa0c1b2大表无需排序小表Built hash表ShuffleWriteTableScanTableScanShuffleWriteFilterM1M2J3SM-JoinTableWriteShuffleReadShuffleReadPhysical Planselect t1.*from src t1 join src1 t2 on t1.key=t2.key where t1.key=k1;Hash JoinMaxCompute Serverless计算力Adaptive Execution多种加速模式融合CPU/GPU/FPGA存储Data Cache加速高阶存储格式元数据BigMeta统一元数据引擎结合优化生态兼容与智能化Hive/Spark兼容湖仓一体智能数仓THANKS