极致降本增效方案——微服务新架构的探索与实践.pdf

蚂蚁蚂蚁 SOFAServerlessSOFAServerless 极致降本增效方案极致降本增效方案微服务新架构的探索与实践微服务新架构的探索与实践赵真灵赵真灵 /蚂蚁中间件应用服务蚂蚁中间件应用服务1 蚂蚁微服务背景2 SOFAServerless 的解法与效果3 SOFAServerless 的平台介绍4 蚂蚁的实践经验与案例5 总结与展望目录1 蚂蚁微服务背景2 SOFAServerless 的解法与效果3 SOFAServerless 的平台介绍4 蚂蚁的实践经验与案例5 总结与展望*仅限内部交流使用，如果需要公开，请联系文档作者蚂蚁微服务背景蚂蚁微服务背景资源与效率*仅限内部交流使用，如果需要公开，请联系文档作者蚂蚁微服务研发蚂蚁微服务研发痛点痛点 -效率问题效率问题效率低：认知负荷高，运维负担重 业务开发者需要感知复杂基础设施，异常多 框架与中间件升级维护成本高、周期长 部署上线慢，特别是大应用（构建启动慢、机器多）异常多，业务同学心声：不出问题还好，一出问题，就相当于新学一门技术*仅限内部交流使用，如果需要公开，请联系文档作者业务公共部分也是基础设施现状现状服务网格应用运行时平台工程业务更想要的业务更想要的业务未来想要的业务未来想要的正在尝试的解法正在尝试的解法AI 屏蔽一切蚂蚁微服务研发蚂蚁微服务研发痛点痛点 -效率问题效率问题*仅限内部交流使用，如果需要公开，请联系文档作者多人协作阻塞，变更影响面大，风险高大应用过大资源成本与长期维护成本高小应用过多大应用多大算大？小应用多少个算多？问题必然性问题必然性-微服务系统也是生态，参考28定律，极少数的大应用占有大量的流量蚂蚁微服务研发蚂蚁微服务研发痛点痛点-协作与资源成本高协作与资源成本高*仅限内部交流使用，如果需要公开，请联系文档作者如何合理拆分微服务是个老大难的问题微服务的拆分与业务和组织发展敏捷度不一致蚂蚁微服务研发蚂蚁微服务研发痛点痛点-微服务合理拆分困难微服务合理拆分困难*仅限内部交流使用，如果需要公开，请联系文档作者小型企业基础设施复杂多人协作阻塞拆分与业务敏捷度不一致资源与长期维护成本基础设施复杂多人协作阻塞拆分与业务敏捷度不一致资源与长期维护成本基础设施复杂多人协作阻塞拆分与业务敏捷度不一致资源与长期维护成本中型企业大型企业现有尝试解法现有尝试解法服务网格、应用运行时 dapr、layotto，平台工程Spring modulith,Google ServiceWeaver现有尝试解法的问题现有尝试解法的问题从业务角度，只屏蔽部分基础设施，未屏蔽业务公共部分存量应用接入改造成本高初期发展中，各自只解决其中部分问题行业微服务现状行业微服务现状*仅限内部交流使用，如果需要公开，请联系文档作者1 蚂蚁微服务背景2 SOFAServerless 的解法与效果3 SOFAServerless 的平台介绍4 蚂蚁的实践经验与案例5 总结与展望*仅限内部交流使用，如果需要公开，请联系文档作者SOFAServerlessSOFAServerless 的解法的解法纵向切出基座关注点分离屏蔽业务以下所有基础设施横向切出多个模块多个业务模块并行迭代*仅限内部交流使用，如果需要公开，请联系文档作者SOFAServerlessSOFAServerless 的解法的解法模块：-不需关心资源、容量-专注业务开发-秒级启动-30秒级并行发布基座：-研运与传统应用完全一致-沉淀通用依赖和逻辑-为模块提供运行资源与环境对应用同时进行纵向和横向拆分，纵向拆分成基座和模块，横向拆分成多个模块，让业务专注于业务本身那么如何拆分的呢？*仅限内部交流使用，如果需要公开，请联系文档作者模块是什么模块是什么-SpringBoot 打包生成的 jar-一个模块一个 ClassLoader-热部署（不重启机器）https:/ 隔离 Bean-ClassLoader 隔离配置和代码模块间共享模块间共享-模块默认复用基座类-SpringContext Manager 多模块间的隔离与共享多模块间的隔离与共享*仅限内部交流使用，如果需要公开，请联系文档作者多模块的运行环境多模块的运行环境-模块运维与生命周期管理：Arklet-模块的运行容器:ArkContainer-框架适配器-多模块的隔离与共享机制多模块间的隔离与共享多模块间的隔离与共享*仅限内部交流使用，如果需要公开，请联系文档作者原生使用方式，低成本接入原生使用方式，低成本接入-模块也是 SpringBoot/SOFABoot-默认的共享机制，业务代码低侵入多模块间的隔离与共享多模块间的隔离与共享*仅限内部交流使用，如果需要公开，请联系文档作者多模块间通信多模块间通信-基座与模块通信无序列化开销-模块与模块通信有序列化开销多模块间的隔离与共享多模块间的隔离与共享*仅限内部交流使用，如果需要公开，请联系文档作者SOFAServerlessSOFAServerless 的解法的解法*仅限内部交流使用，如果需要公开，请联系文档作者SOFAServerlessSOFAServerless 的解法的解法降低微服拆分成本降低微服拆分成本资源成本单体架构与微服务架构之间增加模块架构单体应用低成本拆分成模块应用模块应用可低成本演进成微服务，也可回退回单体应用*仅限内部交流使用，如果需要公开，请联系文档作者SOFAServerlessSOFAServerless 的解法的解法*仅限内部交流使用，如果需要公开，请联系文档作者SOFAServerlessSOFAServerless 的效果的效果*仅限内部交流使用，如果需要公开，请联系文档作者1 蚂蚁微服务背景2 SOFAServerless 的解法与效果3 SOFAServerless 的平台介绍4 蚂蚁的实践经验与案例5 总结与展望*仅限内部交流使用，如果需要公开，请联系文档作者研发框架与平台研发框架与平台*仅限内部交流使用，如果需要公开，请联系文档作者SOFAArkSOFAArk-类隔离与热部署的多模块框架ArkletArklet-运维管道，模块生命周期管理，多模块运行环境ArkctlArkctl-研发工具，模块初始化，快速部署验证ModuleModuleControllerControllerModuleDeployment -模块发布运维ModeuleScheduler -模块调度ModuleScaler -模块伸缩研发框架与平台研发框架与平台组件组件视图视图*仅限内部交流使用，如果需要公开，请联系文档作者研发框架与平台研发框架与平台 弹性调度弹性调度调度与伸缩调度与伸缩*仅限内部交流使用，如果需要公开，请联系文档作者研发框架与平台研发框架与平台 弹性调度弹性调度调度与伸缩调度与伸缩*仅限内部交流使用，如果需要公开，请联系文档作者研发框架与平台研发框架与平台 可靠性可靠性ABAB 测试测试/灰度灰度-模块多版本，快速AB测试/灰度/回滚可观测性可观测性-模块粒度健康检查-服务监控、日志监控、Trace、排障流量隔离流量隔离-单集群模块间流量隔离-根据请求参数精细化路由*仅限内部交流使用，如果需要公开，请联系文档作者研发框架与平台研发框架与平台 研发运维提效研发运维提效一次性成功率 90-99%一个批次部署耗时15分钟，一次迭代12天降低至3.5天发布次数2万次/月*仅限内部交流使用，如果需要公开，请联系文档作者1 蚂蚁微服务背景2 SOFAServerless 的解法与效果3 SOFAServerless 的平台介绍4 蚂蚁的实践经验与案例5 总结与展望*仅限内部交流使用，如果需要公开，请联系文档作者该模式存在的挑战该模式存在的挑战单进程里多应用单进程里多应用-中间件与二三方包 static 变量导致多应用间互相干扰模块应用动态卸载模块应用动态卸载-中间件与二三方包未考虑动态卸载，存在部分资源未清理问题的发现-兼容性评测与报告-运行异常自动诊断问题的治理-中间件与二三方包治理-事件扩展机制，允许自定义清理逻辑-指定版本路由，流量只进入最新版本问题的防御-代码扫描与准入-最佳实践*仅限内部交流使用，如果需要公开，请联系文档作者SOFAServerless 产品解决方案SOFAServerless 产品解决方案四种解决方案 基座:模块=1:1 只有一个ClassLoader 调度+异步重启发布 模块为普通应用 重启发布 模块不发布服务，只实现基座 SPI 重基座 模块为普通应用，可发服务 重基座，基座作为平台原生模式静态合并部署中台模式轻应用模式优势-启动与部署快-无多 ClassLoader，无热卸劣势-依赖调度-无多模块合并，资源复用率低优势-解决多人协作阻塞痛点-资源复用率高，无热卸劣势-需解决 static 互相干扰问题-重启发布，部署速度比热安装慢优势-协作效率高，资源复用率高-业务范围广-无需关注 static 互相干扰与卸载问题劣势-业务场景比较受限优势-协作效率高，资源复用率高-业务范围广劣势-需解决 static 互相干扰与卸载问题*仅限内部交流使用，如果需要公开，请联系文档作者价值价值：蚂蚁长尾应用多且每个机房至少要部署 2 台机器，CPU 使用率仅 10%。使用通用基座模式多个应用可以合并部署到同一个基座上，通用基座由平台方负责维护，从而极大降低业务的运维成本和资源成本。收益收益：1、极致的资源成本降低资源成本降低，国际会将 30 个传统应用合并到 5 个以下。2、小应用可以不走很重的应用申请上线流程，不需要申请机器不需要申请机器，直接部署到通用基座，帮助业务快速创新。3、因为使用热部署，多个业务之间仍可独立并行迭代独立并行迭代，秒级发布，互不影响。大支付 sofabase 通用基座CTO ctoserverlessbase 通用基座行业生态资源运营后台模块数据风险服务模块国际各 BU 通用基座(为裁撤机器)技术风险运行指标后台模块GOC 后台管控业务模块BU1 模块应用1BU1 模块应用2BU1 模块应用N案例案例 通用基座通用基座（原生模式）*仅限内部交流使用，如果需要公开，请联系文档作者案例案例 资金业务资金业务（轻应用模式）主要矛盾创新效率低下，发布 10min+10min+，1 1周周1 1次次 迭代多团队共建协作成本高，互相抢占现象严重流量不隔离，无法支持业务高保，故障风险高Serverless 架构红利创新大幅提效，发布 10min10min =13s=13s，1 1周周1 1次次 -1-1周周3 3次次 x x 模块数模块数 迭代多人敏捷迭代，模块独立开发运维互不影响，资源成本下降隔离流量和资源从而实现故障隔离toC 资创新技术 10+人 toB 资创新技术 10+人 fundapplication 应用业务业务业务业务业务业务LinkE+主站 PaaSWhat a mess!面向经典 SOFA 的研发与运维体系代码联调测试发布运维创新基座(fundappbase)业务模块 1代码联调测试发布运维toC 资创新技术 2-3 人业务模块 N代码联调测试发布运维toC 资创新技术 2-3 人业务模块 A代码联调测试发布运维toB 资创新技术 2-3 人业务模块 Z代码联调测试发布运维toB 资创新技术 2-3 人业务集群 1PodPod业务集群 2PodPodPodPod业务集群 3PodPodLinkE+Serverless产品（面向场景、模块的研发运维体系）研发运维灵活线上运行隔离场景化模块化*仅限内部交流使用，如果需要公开，请联系文档作者SOFAServerless Runtime推荐基座长尾业务集群支付宝首页业务集群财富业务集群首页腰封财富腰封保险腰封定投推荐push文案容器CE算法1RecService算法2搜推引擎：组装&编排支付宝财富网商 纯计算中台型业务，线上研发 期望小时级上线快速试错 一个大应用，线上搜推场景未隔离，互相影响财富高保业务长尾业务 搜推已接入 300+300+模块，划分了 46+46+业务集群实现了隔离部署 模块开发者 170+170+，基座维护者6 6人 研发过程完全独立，平均上线耗时 半天搜推研发工作台LinkE+Serverless 产品搜推业务基座案例案例 搜推业务 搜推业务（中台模式）*仅限内部交流使用，如果需要公开，请联系文档作者SOFAServerless 荣获 中国信息通信研究院中国信息通信研究院 评选的 2022 年度云原生技术创新奖*仅限内部交流使用，如果需要公开，请联系文档作者1 蚂蚁微服务背景2 SOFAServerless 的解法与效果3 SOFAServerless 的平台介绍4 蚂蚁的实践经验与案例5 总结与展望*仅限内部交流使用，如果需要公开，请联系文档作者存量应用低成本享受到 Serverless 收益的研发框架与平台适用场景适用场景总结总结*仅限内部交流使用，如果需要公开，请联系文档作者展望-开源与愿景展望-开源与愿景长期目标与愿景长期目标与愿景 Speed as you need Pay as you need Deploy as you need Evolution as you need 支持多语言，多框架 1000 家企业开源开源 能力开源：框架，研发工具，运维调度平台 地址：https:/ 10+企业帮助降本增效关键时间计划关键时间计划当前：SOFAArk 模块化组件已开源9月底：0.5版本，基础试用版11月：1.0 版本发布THE ENDTHE END欢迎一同探索微服务新架构，致力降本增效