Data+AI时代大数据平台应该如何建设.pdf

Data+AIMaxCompute&Hologres ODPS(Open Data Processing Service)Teradata1984Googles Distributed System Papers2003-2006Asia Biggest Oracle Rack2002-2006Netezza Performance Server1999Vertica Columnar Storage2005AWS Redshift Cloud DW2013ODPS-Hologres RealTime DW2020Ververica acquired by ibaba 2019MaxCompute 3.0 2020MaxCompute 2.0 2017GCP BigQuery 2012MaxCompute&Hologres Unified Architecture2021MaxCompute Lake House2020AWS Data Lake Formation2018Flink2014YARN2012Hadoop as Apache TLP2008Hadoop2004Lucene1997Cloud Ladder Project2009ODPS 1.02010Snowflake 2015Google DremelODPS Data Platform 20152010Migrate Hadoop to ODPS in ibaba,MaxCompute&DataWorks ibaba Data Platform best practiceODPS Public Available2013Single Cluster Beyond 5K NodesODPS Global Available 2017Intelligence,Openness,TCO effectiveService 10+global regionsHadoop cluster in production2008Enterprise ReadyScalable to 10KLakeHouse ArchitectureAI阿里云大数据+AI产品解决方案数据上云流式计算 云原生大数据平台ODPS 开源大数据服务人工智能平台PAI AI计算 大数据开发与治理-DataWorksDW-数据建模DW-数据开发DW-数据治理DW-数据质量DW-数据安全人工智能平台PAI：Platform for AI-AI开发交互式建模PAI-DSW可视化建模PAI-Designer数据标注PAI-ItagMLOpsPAI-QuickStart智能搜推服务开放搜索OpenSearch智能推荐PAI-Rec海量数据加工（SQL、Python）MaxCompute交互式数据分析HologresFlink智算服务PAI灵骏EMR（Spark、StarRocks）ElasticsearchDLF生态模型服务PAI-EASAI加速引擎PAI-ACC分布式训练PAI-DLC结构化数据集成Hadoop数据迁移特征工程PAI-FeatureStore人工智能平台PAI-模型服务模型API服务灵机模型模型最佳实践PAI智码实验室超高性价比可扩展架构大数据AI一体企业级安全ServerlessIaaS、计算存储分离按需弹性资源内置高可靠分布式存储（飞天盘古）、开放存储OSS/HDFSStorage API云原生大数据调度服务PaaS计算引擎高性能SQL引擎兼容开源MR/Spark引擎MaxFrame(Python开发环境）ACID与增量计算元数据服务全生命周期安全管理Big Meta智能数仓DataWorks(开发&调度)DaaS接入服务SDKConsolePAI StudioAPI数据加工经营报表探索式分析数据科学Data+AI高弹性安全免运维低成本ODPS-MaxCompute大数据计算服务亚秒级查询延迟负载隔离向量检索事件驱动实时加工高吞吐实时写入IaaSPaaSDaaS存储计算分离架构内置存储（盘古）计算引擎MPP高性能SQL引擎行存&列存&Binlog内置Proxima向量检索引擎面向写入优化的LSM存储结构Meta Service计算组SQL审计DataWorks(开发&调度)接入服务JDBCSDKHoloWebAPI自助式分析实时大屏实时应用在线推荐/风控Real timePerfor-manceMaxCompute存储OSS 存储湖仓加速服务Acceler-ationData+AIODPS-Hologres降本能力：灵活的付费模式驱动大数据成本的显著下降Data+AI 5轻运维能力：Serverless变革大数据运维模式开放能力：湖仓一体与开放性智能优化能力：AI加持的智能数仓AI能力：大数据作为AI的基础设施!#$%&()*+,-./01234(56789-)*./0123456789:2;9:2?ABC7DEFGH2IJK!#$订阅制（包年包月）(y)(x)Time分配的资源1000cu0实际需要按量计费（后付费）Serverless (y)(x)Time0弹性分时 (y)(x)Time1000cu01000cu3000cu闲时作业 60+%(y)(x)Time0MaxCompute60+%50+%*MaxCompute成本优化 CU CU($)750-16K CU CU($)50050005:30-06:0012K5008:00-8:301000 CU Base LineTimeCU05001k06:0006:30过去30天资源消耗TimeCU05001k06:0006:30推荐的弹性分时资源规划TimeCU05001k06:0006:3030需要在不破坏基线的前提下优化资源750CU 20+%智能推荐的资源方案MaxCompute*10%-20%1-2 20%-30%1-2 50%标准存储低频存储长期存储分层存储（MaxCompute&Hologres)半结构化JSON数据消息中间件 支持JSON、JSONB数据类型 支持构造、访问、更新等多种操作符，如,?,-支持JDBC、Flink等方式写入协议层查询层存储层 JSON数据列式存储优化，存储压缩效率接近原生列存自动索引能力，支持Bitmap、字典编码 稀疏字段元数据压缩 倒排索引(GIN)，加速过滤 表达式识别下推，精准访问列存子节点 优化访问operatorJSONB数据列式存储，列式访问JSON JSON BodyServerless:;012?ABCDE9wxyz/|jAARjNX-;2()#$通过已知数据发现未知问题创新和探索通过抑制数据建立模型解决已知问题探索未知数据对已知问题的价值未知已知已知未知问题数据3.DataWorks/数据湖数据仓库Schema-on-readSchema-on-Write/企业级能力灵活性1.2./“”湖仓一体-数仓数据架构的演进 HDFS DLF+OSS Delta LakeHudi PaimonMaxComputeOSSRAM OSS DataWorks!#$%&(%)*+,-./0.)*12345678+,9:;+,?ABCB%DBE#%FCGHGI#J%KL#$BMGFNABCB%OBM#PFQN#%FCGHGI#J%KL#$BMGFNRSTUVW(XY?Z78_DaFKbD+,ca#d%e fghi%jik%+,lmno!#$%&()*+,!-*.(/*0)1%234+,pq+,cOSS/567890:;56?ABCDE%F%G2*4MaxComputeBigMeta()/Table IOAIiORCMaxCompute Parquet/ORC/Open FormatOSSHDFSEMRMaxCompute AIStorageAPI Arrow formatSQLSparkMars Graph HologresSparkPresto StarRocksPAIAI MaxComputeMaxCompute AIFG(HI1?9h2ybcM*#+,#$AIMaxCompute自2017年起，连续6年获得TPCx-BB(BigData Benchmark)性能第一名Hologres在2022年获得TPCH-20T性能第一名软硬件协同优化智能数仓自适应优化 自适应优化器：基于每个阶段算子的统计信息生成更有的执行计划 自适应运行时优化：基于运行时实际每个阶段的输入数据量选择适合的算子 自适应内存Shuffle：基于作业数据量选择基于内存还是磁盘做Shuffle 自动聚促存储(coming)自动索引生成(coming)基于执行历史的优化器:越用越准确，越智能 基于ARM的code-gen优化 ZNS SSD*TPCMaxCompute!#$%&(%!#$t tMaxCompute012JKAI(LMNO92)*2IOARSghSQL-basedAI#$数据湖数据仓库AI机器学习深度学习大模型智能问答知识库智能数仓智能数据治理智能搜索推荐AI数据处理模型开发模型训练模型管理模型部署服务数据准备MaxCompute One Env+One Data+One CodeMaxCompute MaxFrame 一站式开发统一元数据视图统一结构化/非结构化数据管理统一数据权限管理统一大数据处理、数据分析及科学计算编程接口100%兼容Pandas接口，自动实现分布式统一开发环境One Env打通MaxCompute与PAI开发环境一站式完成数据处理、开发及AI开发流程弹性计算资源统一数据管理One Data统一编程接口One Code+AISQLPythonPandas分布式计算框架 MaxFrame为满足基于MaxCompute进行大规模数据处理、分析、挖掘及模型训练的需求，MaxCompute提供了一套Python开发生态，让用户通过统一的Python编程接口完成数据处理、加工及挖掘全生命周期。2023MaxFrame发布MaxCompute Python生态统一接口100%兼容Pandas接口，且进行分布式、并行化底层计算引擎自动路由2019Mars发布&开源兼容及分布式化支持将NumPy、Pandas、Scikit-learn以及Python function进行分布式化，兼容大部分接口2016PyODPS支持DataFrame API，提供类似Pandas的接口，能充分利用MaxCompute的计算能力进行DataFrame计算2015PyODPS 发布支持对MaxCompute对象的基本操作MaxCompute NotebookHologres原始语料语料预处理语料向量数据切分文本ChunksEmbedding用户提问实时数仓Hologres原始问题问题向量Embedding向量检索向量存储人工智能平台PAI部署通义等第三方大模型AI问答应用场景Make Sure Answer Right！Prompt结果输出产品技术支持智能客服公司企业知识库AI导购Hologres+PAI部署大模型知识库架构减少大模型幻觉 将特定行业知识向量化存储Hologres 结合大模型，提升问答准确度提高问答速度 Hologres查询性能优于开源十几倍 减少问答“打字机”效果，提升问答响应速度高效知识更新 无需重新训练大模型，减少资源及技术投入 在Hologres即可增删改知识THANKS