SAE2.0 让容器化应用开发更简单.pdf

SAE2.0 让容器化应用开发更简单隐寒（韩寅）SAE技术负责人 阿里云高级技术专家Contents目录01Serverless领域背景02Serverless应用引擎2.003SAE客户故事Serverless领域背景01Serverless 产生背景Spring cloudDubbo灵活易扩展运维复杂容器化助力了微服务化的落地K8s Service语言无关治理较弱任意语言的简单应用Web ServiceJEE简单，易运维扩展性差微服务+容器化微服务单体应用单体架构微服务架构对于不太复杂的系统，需要额外的成本来管理微服务，降低了生产力随着复杂性的增加，生产力开始迅速下降微服务降低了系统的耦合度，因此降低了生产力的衰减生产率随着业务规模的增长，系统变的越来越复杂，单体应用无法满足生产效率，逐步演进到微服务架构，而容器化加速了微服务化的进程。市场竞争要求每一个公司能够快速适应市场的变化，包括新业务快速上线能力、降低基础设施成本、高可靠性等。系统复杂性微服务转型&容器化面临的挑战业务逻辑梳理，拆分环境隔离，快速调试本地变更如何做到白天流量高峰期发布运维成本高，系统诊断难大促/流量洪峰安全保障k8s 学习曲线陡峭IP变化，readiness没打通微服务等K8s 组件运维复杂，风险高+如何通过深度用云提升研发效率和业务灵活性？Serverless 开启上云2.0时代上云1.0如何架构改造上云1.0如何平滑迁移上云2.0如何专注业务创新上云2.0如何带来商业价值基于IaaS/CaaS的资源托管面向资源交付核心价值：资源的弹性和成本基于Serverless 理念面向业务交付核心价值：免运维和专注业务实现企业上云关注什么？企业上云关注什么？从物理机到从物理机到 ServerlessServerless，就像从买车到打网约车，就像从买车到打网约车Serverless的价值买私家汽租赁打约完全按需使用根据负载自动弹性伸缩没有闲置成本Serverless物理机虚拟机资源占有和维护成本高承载容量固定平时大量闲置灵活租赁使用时长扩容相对麻烦闲置相对较少弹性伸缩，省事省心聚焦业务，降低Ops按需付费，成本节省SAESAE：业界首款面向应用的：业界首款面向应用的ServerlessServerless PaaSPaaS，不改变应用现有开发方式，零改造平滑迁移存量应用，无感容器化和，不改变应用现有开发方式，零改造平滑迁移存量应用，无感容器化和ServerlessServerless化。化。业界Serverless产品形态产品特点ECS+安全容器函数调度器+资源管理函数计算（FC）Serverless 应用引擎（SAE）ServerlessInfra百毫秒弹性ECI+安全容器ECIServerlessKubernetesECI容器实例Kubernetes容器编排应用函数编程模式面向函数编程，基于与云产事件驱动品间集成提供端到端的解决方案，对用户屏蔽环境、资源概念，开箱即用。面向应用/微服务，抽象了应用的概念并对用户屏蔽底层Kubernetes的技术细节。面向容器，底层使用 ECI，标准的 Kubernetes UI 和 API 用户界面。面向 IaaS 资源层，提供容器/Pod级别的运行环境。产品矩阵符合中国国情的 Serverless 产品类似：AWS Lambda、Google Cloud Functions，Azure Functions类似：Google CloudRun类似：AWS EKS类似：AWS Fargate、Azure ACIServerless应用引擎2.002微服务“零改造”无缝迁移“零门槛”容器化，无感拥抱 K8SWeb 应用一站式托管灵活弹性提效降本业务应用微服务应用Web应用APP小程序SaaS类服务定时/xxl Job 创新应用（IOT&区块链）通过 war/jar/php zip源码包/Docker 镜像等多种方式部署Serverless应用引擎（SAE）Serverless Infra(基于 Kubernetes 构建)阿里云沙箱容器 2.0IaaS 资源层（神龙+ECI+VPC+)Java冷启动加速应用管理分批/金丝雀发布自动构建镜像权限隔离/审批全套微服务治理无损上下线Spring Cloud/Dubbo 无缝迁移微服务流量灰度一键启停环境运维配套事件中心自动弹性伸缩端云联调CICD集成生命周期管理服务鉴权限流降级日志&链路监控日志管理-注：该数据基于企业内部测试数据得出，因环境不同将有所差异。微服务无缝迁移，开箱即用微服务无缝迁移，开箱即用支持支持War/JarWar/Jar自动构建镜像自动构建镜像5757%降本提效降本提效多套环境按需启停，降本且提效0 0代码改造代码改造百毫秒百毫秒弹性效率弹性效率应用端到端快速扩容，应对突发流量微服务/单体应用无缝迁移支持代码包自动构建镜像4040%启动效率启动效率联合 Dragonwell 突破 Java 应用冷启动瓶颈SAESAE定位：全托管、免运维、高弹性定位：全托管、免运维、高弹性 的通用的通用PaaSPaaS平台，支持开源微服务平台，支持开源微服务 /单体单体Web/Web/定时任务框架，提供开源增强定时任务框架，提供开源增强&企业级特性。企业级特性。SAE 定位&竞争力SAE可以做什么公有云低门槛微服务架构转型单体应用微服务改造、开源自建无缝迁移端到端可观测性应用快速上云无需容器化改造、支持任何语言部署高效敏捷、TCO优化、一站式PaaS体验一键启停环境的解决方案一键启停开发测试环境，释放闲置资源提升运维效率面向大促的高可用方案精准容量、百毫秒弹性、限流降级CICD 解决方案支持开源对接、快速迭代、安全可控作为PaaS底座被集成让上层更关注业务本身，降本提效将阿里巴巴沉淀多年的安全生产实践产品化，应用生命周期管理纯白屏化操作，应用发布可灰度、可观测、可回滚。允许人工介入控制发布流程，异常中止、一键回滚 发布过程可监控，白屏化实时查看发布日志和结果，及时定位 支持单批、分批、金丝雀等发布策略。支持按流量灰度、按内容灰度。批次间自动/手动任选应用托管-可灰度、可观测、可回滚通过无损下线，有效避免服务端升级时客户端调用报错，实现在白天大流量发布也能丝般润滑全套微服务治理-无损下线注册中心感知到服务端下线客户端感知到服务端下线服务调用报错期客户端视角正常服务端视角下线静默下线注册中心提供者A消费者A提供者B消费者B1 正常调用2 服务下线(prestop)3 通知消费者4 调用其他提供者Agent主动通知Agent客户端主动刷新AgentAgentSAE方案 VS 开源自研的优势：1.延时更短 2.稳定性兜底 3.无需投入研发全套微服务治理-无损上线通过无损上线，避免应用尚未启动完成就承接正常流量导致实例被打挂，通过延迟注册和小流量预热实现扩容时流量无损。小流量预热K8s readiness检查和Spring Cloud/Dubbo体系没有打通应初始化预建连接通过readiness检查服务注册Redis:JedisPool 连接池创建后不会立即建连接数据库:druid连接池异步创建连接正常流量进入流量需要缓慢增加，但Dubbo 2.7.4.1以下版本存在服务预热不生效问题Fastjson/Jetty低版本没有开启并行类加载JVM JIT 编译问题引起cpu飙高日志异步化Dubbo/SC 服务需要延迟暴露预热曲线动态调整SAE方案 VS 开源自研的优势：1.无需投入研发 2.稳定性有保障 2.白屏化使用，体验更简单 3.完整的可观测能力全套微服务治理-端到端的全链路灰度发布通过全链路灰度发布，白屏化配置规则，实现精准灰度能力，比传统多环境部署的方案大幅降低了运维和机器成本。适用场景n调用链中因个别/部分应用新上线，需要精准用户灰度验证价值n控制最小爆炸半径n无需重新搭建一整套新环境，降低部署运维和硬件成本n能覆盖七层流量到四层微服务接口、方法的灰度运维配套-弹性竞争力作为SAE的核心竞争力，相对传统ECS的弹性，SAE更精准更降本；相对 K8s弹性，SAE的指标和策略更丰富，上手门槛更低。1.1.指标弹性（指标弹性（CPUCPU、MemMem、QPSQPS 、RTRT等）等）优势：比开源优势：比开源K8s HPA K8s HPA 指标丰富，且可以自定义指标。指标丰富，且可以自定义指标。应用实例应用实例应用实例应用实例适用于有突发流量、典型脉冲的应用场景，多用于互娱/游戏/社交平台/电商等行业。2.2.定时弹性定时弹性优势：操作简单，易用。优势：操作简单，易用。应用实例应用实例应用实例应用实例适用于资源画像存在周期性的应用场景，多用于餐饮/出行/证券/医疗政府等行业。3.3.混合弹性（混合弹性（定时弹性定时弹性&指标弹性混用）指标弹性混用）优势：比开源优势：比开源K8s HPA K8s HPA 指标丰富，且可以自定义指标。指标丰富，且可以自定义指标。应用实例适用于固定时段内有突发流量、典型脉冲，常稳时段内流量波动不均的应用场景，多用于 媒体报社/在线教育/语音识别合成 等行业。应用实例应用实例应用实例常规默认值(基于CPU弹）eg：最大10，最小2应用实例应用实例应用实例应用实例应用实例应用实例特殊时间段1eg：最大30，最小15特殊时间段Neg：最大50，最小40运维配套-内置无侵入的应用可观测能力能在 SAE 上看到应用的调用关系拓扑图、可以定位到慢 SQL、慢服务、方法的调用堆栈、进而定位到代码级别的问题；也能查看各种维度 的 Top N 关注应用，实现 1人轻松运维成百上千个应用。运维配套-一键启停开发测试环境中大型企业多套环境，内部环境长期资源浪费，使用 SAE 一键启停，可以节省一部分资源成本。应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例生产环境命名空间一键开启所有应用测试环境命名空间一键开启所有应用应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例应用实例生产环境命名空间一键开启所有应用测试环境命名空间一键停止所有应用所有应用的实例均缩容到 0，不产生计费。但系统会保留应用配置信息，便于需要时一键秒级拉起。白天夜晚定时启停运维配套-CICD持续集成解决方案Git pushwebhookDeployGitLab+Jenkins+SAE（WAR/JAR/镜像）（Maven Plugin）SAE App阿里云ACR/ACREEBuild Git pushwebhookDeployGitlab+云效+SAE（WAR/JAR/镜像）SAE App阿里云ACR/ACREE Build Code up云效2020Git pushwebhookDeployGitlab+ACR/ACREE+SAE（镜像）SAE App阿里云ACR/ACREE 无缝对接开源无缝对接开源CICD工具方案工具方案（支持（支持war/jar/镜像部署）镜像部署）云上功能较完善的云上功能较完善的CICD方案方案（支持（支持war/jar/镜像部署）镜像部署）最轻量最轻量&易用的易用的CICD方案方案 （支持镜像部署）（支持镜像部署）弹性能力升级：弹性效率优化到百毫秒级，支持缩容到0。并提供闲置计费能力，无请求时CPU不计费，弹后更省。开发者体验升级：零改造迁移，秒级创建应用，一键灰度。提供S2A等丰富的平台工程能力，研发提效。适用场景升级：除支持开源微服务/XXL-job、ElasticJob、Spring Task等无缝迁移外，新增支持Web应用类型，从实例托管到流量托管。业务场景单体Web微服务SaaS服务开发者平台S2A应用模板API&CLI工具集应用平台应用引擎流量网关日志&可观测多环境部署智能运维成本治理计算层高密部署、异构算力弹性组件：缩容到0Serverless infraJob任务小程序SAE 2.0全新升级NewNewNewNew运维配套-基于请求的弹性能力自研流量网关，应用流量有波动或突增，根据实际流量变化自动扩缩容，做到仅在请求时分配CPU，支持缩容到0。流量网关应用实例应用实例应用实例单实例请求并发度N应用流量总并发度M实例总数实例总数 M=0 不分配CPUCPU不计费 MN仅分配一个实例 MN当一个实例的并发度用完，才会扩容新的实例单体Web流量托管-多版本流量配置Web场景下多版本并存，支持灵活配置流量比例关系 限制应用实例上限，避免超出预期得成本消耗 发布出现问题，手动触发，秒级回滚至老版本 多版本并存上线，根据实际情况分配版本流量比例 新版本灰度上线（滚动发布&金丝雀发布&蓝绿发布），实时观测新版本实例监控和日志SAE客户故事03互娱行业-南瓜电影7天内全面Serverless化客户简介业务场景具有潮汐特性，业务高峰主要是晚间和节假日以及热门影片发布，面临快速响应和成本上的压力。线上业务系统监控能力存在一些薄弱的地方，需要端到端的整体监控，保证业务系统稳定运行。南瓜电影App是国内较早专注于影视精品化运营的垂直类视频产品，在移动互联网、OTT等客户端，为用户提供差异化内容运营服务，为用户提供专注于精品电影电视剧的全会员制视频App。效率提升：效率提升：屏蔽了底层资源，不必关心底层IaaS资源管理、运维细节，加速业务迭代周期。成本优化：成本优化：无需长期保有固定资源，按照实际业务量进行应用的扩缩容，做到按分钟计费。业务稳定高效：业务稳定高效：SAE提供了很好的弹性策略，同时能够做到秒级扩容，最大限度保证了整个集群的高可用。客户价值SLB+API 网关安卓/iOS 多端云服务能力中心PolarDBMongoODPSHBASERedisSLSESMQTTARMSADB DataVFlinkPTS 压测工具智能推荐Kafka基础资源SAE会员中心内容中心影评系统搜索引擎鉴权中心放映厅商城系统消息中心三方合作安全接入WAFDDOS 高防算法视频增强DataWorks客户需求开发运维效率提升70%成本下降40%扩容效率10倍以上Android TV/web OSiPad/Android Pad Web/Windows/MacOSH5/小程序互娱行业-爱奇艺体育 直播平台爱奇艺体育是中国知名的体育赛事平台，提供欧洲杯，西甲、网球、高尔夫等赛事直播、视频、新闻等超多精彩内容。WEB-API服务用户应用活动应用流控、熔断、系统防护AHAS应用实时监控 ARMSSAE平台支付应用抽奖应用IM 通信应用RPC服务用户RPC服务活动RPC服务评论弹幕应用支付RPC服务弹性伸缩管理生命周期管理Kubernetes 集群服务PolarDBSLBZookeeperOSS服务日志服务云监控视频点播痛点问题扩容繁琐：面对流量激增，需要临时部署应用进行应对，流程耗时，影响用户体验。缺少应用级监控：运维团队期望对线上微服务架构做到有效的监控，能及时发现、定位问题。资源利用率低：赛事带来周期性的流量，预估不准带来资源浪费巨大。技术价值Serverless 弹性：从容应对周期的业务洪峰，省去原来预估资源、部署应用的操作，扩容效率提升40%。内置应用监控：集成ARMS监控，可以快速精准定位问题，处理速度大约提升30%。资源节省：释放闲置资源，整体资源利用率提升近50%。RedisMongoDB金融服务-视野数科SAE+Jenkins打造云原生DevOps客户背景视野数科是专注服务于一级市场、公司信货、产业规划招商、面向多层次资本市场的大数据金融信息服务商。深度理解大型银行/金融机构/政府/企业集团等用户对于数据的需求，为容户呈现专业加工后的数据，提供企业/产业/财务数据整合、数据加工处理、数据中台、系统开发和大数据模型分析咨询服务的一整套解决方案。业务痛点l开发迭代效率慢：单体烟囱式架构，代码耜合度高，开发效率慢。l上线流程复杂，成本高：使用SVN代码管理 人工部署，缺少规范化DevOps流程，每次上线前都要在灰度环境来回折腾2030次数据校验，频繁发版测试，开发和运维幸福感差。l容器化自建成本高：尝试过ECS+Docker方案，但Docker Daemon升级、镜像registry管理、配置管理、调度打散等均需要自维护/研发。l容量预估无法自动化：每次容户侧有营销活动/重要事件(如新华财经金融排名等），需提前一周告知视野数科备容ECS，存在备容不准风险和闲置浪费问题。用户价值l标准化部署流程，降低运维成本：借助SAE，开发自助完成CICD，提升发版效率。运维人员得到彻底解放，从重复繁杂的垂直业务上线事务中抽离出来，专注于横向高可用体系和监控平台的建设，运维效率提升60%。l低门槛微服务架构转型：将业务拆成微服务之后，无需关心微服务周边配套和稳定性容文，SAE提供了开箱即用的历经双11考验的全套微服务治理能力。l无需容量规划，秒级扩容：借助SAE灵活多样的弹性策略，视野数科再也无需提前备容，营销活动峰值时秒级自动扩容，峰谷时回收资源降本。l无感拥抱K8s，查看日志更方便：借助SAE零门槛容器化，沿用原有部署方式管理应用。不用再care堡垒机权限、机器账号密码等，直接通过SAE+SLS方便查看日志。SAE实例SAE实例应用监控为服务增强JenkinsCICD生产灰度Severless 应用引擎（SAE）自动扩缩系统日志定时弹性指标弹性综合弹性K8s&laasSAE实例SAE实例提交代码质检开发THANKS