Serverless 计算&消息 定义上云新范式.pdf

Serverless 计算&消息定义上云新范式付宇轩2023年12月1日202120192017201420162012阿里云发布Serverless应用引擎（SAE）阿里云函数计算FC 2.0腾讯云SCF 2.0Google 发布Cloud Run阿里云发布函数计算FC腾讯云发布SCFAWS 第一个发布FaaS平台Lambda开启Serverless时代Iron.io的副总裁Ken 首次提出Serverless 概念Azure FunctionGCP Cloud FunctionIBM Open Wisk云栖大会重磅发布FC，SAE 功能迭代AWS 发布App Runner腾讯云发布TEM华为云发布CAE2023阿里云发布All inServerless战略FC3.0，SAE 2.0Serverless 发展历程自适应弹性Adaptive Elasticity简单易用Easier to Use全链路 ServerlessEnd-to-End Serverless深度集成Deep Integration of Cloud Services阿里云 All in Serverless 策略数据来源于阿里云业务数据持续推进核心产品 Serverless 化云产品 All in Serverless自适应弹性，保证潮汐业务稳定性开箱即用免运维，自动升级版本按业务量计费，注册配置中心成本 最高降低77%，云原生网关成本最 高降低 88%微服务Serverless 化基于阿里云弹性基础设施深度优化计算、存储资源秒级弹性，成本降低50%消息链路深度优化，延迟降低 30%消息队列Serverless 化RDS:负载自适应秒级弹性伸缩，成本最高降低70%数据库Serverless 化PolarDB:三层解耦，秒级弹升 3000 核，成本下降 60%AnalyticDB:计算弹性Multi-Cluster 模式，4 倍资源 QPS 提升 25%+Lindorm:离线任务按需秒弹，速度提升 50%，成本降低 70%云产品间深度集成OSS Object FC 集成方案消息流入流出 Connector 及 ETL 集成方案 通过事件总线 EventBridge 打通 300+云产品事件，构建事件通道枢纽 以函数计算/事件总线/云工作流为核心，增强云产品间的可联通性API Serving 解决方案EventBridge Transform集成方案FC x AIGC 解决方案DTS 到 FC 数据CDC 处理方案DataWorks 函数自定义节点方案阿里云 40+核心产品 Serverless 化阿里云蝉联 Forrester FaaS 领导者象限产品能力在 40 个评分项中拿下 24 个最高分，蝉联全球领导者象限，中国唯一函数计算全面降价，降价幅度最高可达 93%，阶梯计费，越用越便宜函数计算 FC 3.0 全新升级数据来源于阿里云业务数据技术升级，释放红利百毫秒冷启动，资源利用率可达 100%首发 Serverless GPU 闲置模式，资源成本减少 92%，10GB LLM 大模型冷启动降至秒级FC x AI，AI 应用开发更简单极简体验，更易于集成，复杂度降低 40%深度集成通义、魔搭、HuggingFace，AI 应用一键部署，AI 应用开发上手难度降低 80%底层逻辑优化体验原子化降价FC 3.0 核心变化围绕降价的一系列改变降低计费项单价，并支持阶梯计费，最大降幅可达93%Serverless GPU 闲置模式，资源成本减少92%围绕优化体验的一系列改变控制台UIUE升级，与业界产品对齐支持服务关联角色（SLR），简化函数授权体验围绕原子化后的一系列改变去除“服务”的概念。版本和别名直接作用在函数级别，可以对函数进行独立的版本控制角色、日志和VPC等直接在函数级别配置统一请求处理程序（Handler）签名，HTTP请求和事件请求处理程序统一数据来源于阿里云业务数据业务场景微服务WebSaaS 服务小程序Job 通过 war/jar/zip/源码/Docker 镜像等多种方式部署应用平台Serverless Infra缩容到 0闲置实例计算层可观测应用引擎框架流量网关多环境部署智能运维成本治理Serverless 应用引擎 SAE 2.0 全新升级零代码改造、自适应弹性、极简易用的应用托管平台弹性能力升级弹的更快：弹性效率从秒到百毫秒，支持缩容到 0弹的更细：支持闲置实例模式，无请求时 CPU 不计费弹的更稳：平台侧调用链路延时优化 45%，运行时性能波动下降至 7%开发体验升级极简：零改造与学习成本，秒级创建应用、一键灰度提效：提供 CLI、S2A 等平台工程能力，研发提效集成：集成OSS，Kafka，ALB，云原生网关，MSE云工作流（CloudFlow）重磅发布全托管、高并发、高可用的可视化流程开发服务云服务集成丰富的跨产品、跨平台连接能力，无需编写代码，即可编排 300+云服务实现工作流程自动化可视化编排CloudFlow Studio 可视化流程编排，丰富的控制逻辑，简单拖放实现复杂业务流程高可用&高并发完善的流程状态管理，高弹性、高可靠、可回放、容错能力强，可大规模并行处理多个分布式任务Cloud Flow 视频演示通用场景覆盖微服务解耦大数据/ETL物/车联网 IoTSaaS 集成即时通信/弹幕事件分发日志/ELK消息队列产品矩阵核心竞争力Serverless 弹性多级存储百万队列高吞吐&低延迟海量连接存算分离SLA 最高 4 个 9异地多活/灾备游戏日志分析游戏信令互娱应用解耦直播互动在线教育直播/白板信令即时通信/内容推送物联网IoT车联网工业物联网交易/电商电商交易个性化推荐/运营数据面向应用、数据集成的可靠消息通道ApsaraMQ for RocketMQ互联网等新兴业务领域推荐数据通道ApsaraMQ for RabbitMQ对标开源，业务消息选型补充ApsaraMQ for MNS对标 AWS SQS/SNSApsaraMQ for Kafka大数据领域/业务日志推荐数据通道ApsaraMQ for MQTT移动互联网&物联网通信网关ServerlessApsaraMQ 核心产品升级全面Serverless化，按用量付费，秒级弹性，高性价比的消息产品数据来源于阿里云业务数据RocketMQ弹性能力万QPS50%33%实例成本降低存储成本降低Kafka 3.0弹性能力GB20%33%对比自建成本降低 存储成本降低RabbitMQ弹性能力万QPS75%33%实例成本降低存储成本降低MQTT弹性能力万QPS50%实例成本降低存算分离是消息服务Serverless化的基础开源自建架构内部复制消息内部复制消息读写消息Broker 1本地磁盘Broker 2本地磁盘Broker 3本地磁盘Broker 1Broker 2Broker 3阿里云商业版架构读写消息分布式三副本存储计算节点无状态秒级扩缩存储弹性按需使用单节点故障业务无损并可快速恢复阿里云基础设施云的弹性优势充分利用云计算，云存储，云网络的规模化、快速弹性的优势，提高消息的弹性效率秒级自适应弹性多维度、多指标监控，指导服务弹性，兜底突发流量按需付费减少闲置成本，成本降低50%80%弹性区间按量付费基准规格预留付费监控分析弹性调度消息实例ECS计算MQ Cluster 1PodPodPodInstance AInstance BInstance CInstance N业务流量指标资源池余量指标服务可用指标集群水位指标阿里云容器服务垂直扩缩容水平扩缩容实例迁移容灾切换ApsaraMQESSD/OSS/盘古存储按量使用NLB/PrivateLink/CEN网络平滑支撑计算能力秒级弹性，降低闲置成本数据来源于阿里云业务数据MQ Cluster 2PodPodPodOSS触发器定时触发器SLS触发器CDN触发器TableStore触发器MNS触发器RocketMQ触发器Kafka触发器MQTT触发器ALB触发器RabbitMQ触发器API网关触发器HTTP触发器更多OSSNASIoT物联网平台RDSPolarDBElasticSearchFlinkMaxComputeSAEHologres更多请求转发函数定时任务函数视频转码函数视频截帧函数文本文件处理函数CDN回源函数数据清洗函数数据转换函数消息清洗函数消息转换函数日志处理函数数据采集函数AI推理函数更多函数业务场景媒体内容处理场景更多音视频转解码视频直播推拉流图片处理文本处理大数据场景更多数据ETL车联网物联网游戏场景更多游戏发行买量游戏战斗结算CDN回源打包AI场景更多AI推理AIGC函数计算 FC 提供了20+核心云产品的原生触发器，各触发器以白屏化的方式可以在函数计算控制台快捷配置，帮助用户快速的构建多产品联动的自动化流程。通过函数计算触发器，可以实现拦截各云产品的行为，用户可以自定义函数对云产品的行为做处理，然后流转到下游服务，从而实现不同产品之间的集成和联动。函数计算FC 生态集成按照触发器集成方式，函数计算支持的触发器分为以下三类：l双向集成触发器：您既可以在函数计算，又可以在事件源端配置触发器l单向集成触发器：目前只支持在事件源端配置触发器l云产品事件触发器：支持在函数计算配置触发器，同时支持在事件总线EventBridge创建函数触发规则，无需在事件源端配置函数计算 FC 触发器类型函数计算FC是云产品之间的粘合剂函数计算EventBridge（事件总线）是一项独立的 Serverless 服务，您可以无需编写代码即可实时了解阿里云服务、自己的应用程序以及软件即服务(SaaS)应用程序中的数据的变化。阿里云服务（管控）阿里云服务（数据）自定义应用SaaS 应用自建数据平台其他云厂商服务事件源默认事件总线默认包含257个阿里云产品事件源自定义事件总线 自定义应用 MNS RocketMQ RabbitMQ Kafka HTTP/HTTPS SLS Timer 开源RocketMQ API网关 Dataworks自定义事件总线自定义事件总线转换过滤复杂组合逻辑匹配指定值匹配前缀匹配后缀匹配除外匹配数值匹配数组匹配七种匹配模式完整事件：不做转换，直接投递部分事件：通过JsonPath语法从CloudEvent中提取部分内容投递至事件目标常量：事件只起到触发器的作用，投递内容为常量模板转换器：通过定义模板，灵活地渲染自定义的内容投递至事件目标四种转换器钉钉函数计算 FCMNSRocketMQ短信邮箱HTTP/HTTPS数据库基于 EventBridge 的集成方案事件目标阿里云EventBridgeHTTP/HTTPS 事件源目标服务 FC三方对象存储触发各类事件HTTP/HTTPS回调触发（EB默认事件保留三天）阿里云函数计算 FC数据增量价值处理函数数据增量价值处理函数 EB重试机制，死信队列 函数重试机制阿里云OSSRDS有价值增量数据存储到OSS存储事件ID 发现数据不符合预期，需要订正-查询有问题数据对应的事件ID-使用EB OpenAPI查询事件-使用EB OpenAPI重发事件事件完整性，可靠性，可回溯性是该方案的核心优势。需要回溯的场景有三种：EB到FC链路断了：该场景可以使用EB的重试机制和死信队列保证事件可靠性，参考路径。EB到FC链路没问题，但是FC执行时出错：该场景可以使用FC异步调用的异步策略（重试机制）和失败目标（失败服务目标配置EB）保证事件可靠性。参考路径。EB到FC链路没问题，FC执行也没问题，但是执行后的数据不符合预期，需要后期订正：EB默认事件保存三天，所以该场景有一个前提，是需要在3天的时间范围内做订正。客户需要记录每个事件的事件ID，通过事件ID查询到事件，然后让EB重新投递事件到FC。通过事件ID查询事件和让EB重新投递都有OpenAPI支持。参考路径。基于 EventBridge 的增量价值数据同步方案事件回溯场景函数计算FC，Serverless应用引擎 SAE 和 Kafka 做了无缝集成，可以通过函数计算触发器的方式、SAE配置方式，也可以通过Kafka Connector 方式实现集成消息生产者消息生产者消息生产者Kafka函数计算 FC 为主视角Kafka 触发器元数据配置消费位点配置网络安全配置调用方式配置推送方式配置重试死信配置消费者函数消费者函数消费者函数消费者函数发送业务消息自动触发Serverless应用引擎 SAE 为主视角SAE 应用日志收集配置选择云上Kafka实例选择日志类型设置日志源路径设置Kafka TopicSAE应用消息流入源Kafka 为主视角消息流入流出任务资源配置消息处理基于事件规范，可自行配置消息内容过滤模板数据清洗：基于函数计算FC，自行配置处理数据的函数数据提取：基于JSONPath 语法提取消息中的数据重试策略：退避重试、指数衰减重试容错策略：允许容粗、禁止容错死信队列：支持阿里云RocketMQ、阿里云MNS阿里云RocketMQ开源RocketMQ阿里云RabbitMQ阿里云MNS阿里云Kafka阿里云MQTT阿里云日志服务SLS阿里云DTS自定义 Kafka Connect消息流出目标阿里云RocketMQ阿里云RabbitMQ阿里云Kafka阿里云MNS阿里云日志服务SLS阿里云DataHub阿里云函数计算FC阿里云对象存储OSS阿里云MaxCompute阿里云Elasticsearch阿里云AnalyticDB阿里云Tablestore自定义 Kafka Connect分钟级构建消息流转流程快速构建ETL流程：以Kafka为核心纽带，基于EventBridge，白屏化快速构建灵活的消息ETL流程。消息处理扩展性强：基于函数计算FC，用户可以动态的快速、高度灵活的配置数据清洗、转换规则和算法。快速打通不同云产品：无需上下游云产品改动，快速实现两个云产品之间的数据集成，快速适配多种多样的业务流程。安全稳定：依托于Kafka的高性能，保证业务消息的低延迟和完整性。分钟级构建消息消费和日志采集流程支持云上云下：函数计算FC既支持阿里云云上Kafka，也支持开源Kafka。日志采集：快速高效地构建Serverless应用日志采集流程，以适配ELK日志管理方式。基于 Kafka 的 ETL 数据流处理方案针对不同消息流入源做配置，不同的消息源有不同的配置信息针对不同消息流出目标做配置，不同的消息流出目标有不同的配置信息消息过滤消息转换重试和私信Kafka数据清洗业务采用 Kafka-EB-FC（Writing-Compress-Upload）架构，Writing 函数通过 Kafka 触发器触发，Compress，Upload函数通过定时触发器触发，中间数据采用NAS存储，最终将分类数据上传OSSKafka数据拆分函数数据压缩函数数据上传函数OSSNAS临时存储部署环境，代码全部需要建设需考虑弹性调度，需考虑Topic分区扩容升级部署依赖自有CICD平台能力机器资源的水位需要保持在较高水位可用组件多，只需专注在业务处理全链路自适应弹性升级更快，强大的版本控制，可随时回滚按量付费，成本更优自建清洗任务方案Serverless 方案数据分类任务场景APAPAPI 请求OSS Object FCAccess PointOSSAccess Point函数计算 FC对象存储 OSS转换请求转换请求API 请求更简单的数据处理方式使用阿里云函数计算 FC，通过自定义代码灵活处理对象存储 OSS 返回的数据更低的成本不增加数据副本，公网流量费用最高下降 68.7%，简单低成本的实现 OSS 数据处理能力的延展数据来源于阿里云业务数据OSS Object FC 方案APOSS Object FCAccess Point上传原图函数计算FCAPOSSAccess Point转换请求转换请求对象存储 OSS不同端，带着不同参数，请求不尺寸、分辨率的图片根据参数生成原图的衍生图TableStore（OTS）将原图和衍生图的映射关系存入OTS删除原图函数计算FC从OTS获取映射关系删除原图和所有衍生图图片衍生图处理场景AI 集成方案数据来源于阿里云业务数据Serverless EmbeddingServerless Landing Zone传统架构向 函数计算FC 架构转型