面向微服务的容器伸缩策略.pdf

尽管微服务架构可以调整容器的数量，但是仍然存在一个新问题，即在服务的负载压力突然增加或减少时，如何实时准确、快速地调整服务 容器数量。针对该问题，使用时间序列预测模型 根据最近一个时间区间内 的负载数据，预测下一个时间区间内的负载。使用预先训练的 模型，根据预测的负载压力结合 中 和内存使用率预测下一时间窗口内所需的微服务 容器数量。对比 的 算法，该方法能在保证服务质量 的同时降低了系统资源的使用。关键词微服务容器伸缩策略服务负载 中图分类号 文献标志码 ：（，）（，），引言微服务是一种将系统分解为小型、独立、自治的服务体系结构，可以更轻松地在云环境中进行部署。它解决了传统的单片架构随着应用程序通过子模块部署的应用扩展而降低了开发效率并增加了维护成本的问题。容器作为一种轻量级的虚拟化技术，在微服务的开发中起着重要的作用，可以大大提高部署环境的一致性并更好地利用资源。通常一种服务放置于一个容器中，因此微服务资源的弹性伸缩可以看成容器副本数的增加和减少。当前大多数资源调度都是针对传统的虚拟机技术，但是传统的虚拟机技术与容器技术本质上不同。容器的启动速度以秒为单位，而虚拟环境的启动一般需要 。与裸机相比，容器的性能几乎没有损失，但是虚拟机有明显损失。基于上述容器的两个特征，可以更容易地实现容器数量的伸缩。然而容器进行伸缩的时机尤为重要，伸缩算法的性能很大程度上取决于资源响应时间。云资源的自动伸缩的过程主要可以分为两类：响应式和主动式 。计算机应用与软件 年响应式算法根据系统的当前状态扩展，虽然这样满足实时和容易扩展的要求，但在准确性方面，由于云服务负载状态变化频繁和数据传输延迟等原因 使得获得的负载值存在很大的滞后性，这样可能会导致服务 下降，无法满足客户的要求，甚至会使得云服务提供商的成本增加 。主动式扩展方法适用于云环境，尤其是在负载突然增加或者减少的时候，预测算法可预测将来的需求，然后根据预测结果主动进行资源的自动伸缩。多年来，工业界和学术界一直在积极地研究微服务中容器调度问题。在学术界有关微服务下的容器调度算法较少，因此尚未在该领域进行比较全面的比较评估。郭杨虎 提出基于邻域划分的容器调度策略，将依赖关系紧密的服务尽量放在同一台物理服务器上，以减少系统调用。这种方法没有考虑多副本的服务情况。文献 根据当前资源使用情况通过提出动态容器调度策略，从而提高资源利用率。针对突发的服务负载，这种方法可能会降低 。文献 通过时间序列预测方法对负载进行预测，根据预测结果对容器数量进行自动伸缩。但是并没有对容器伸缩的数量进行量化。关于时间序列预测模型，目前 模型在时序预测方面有比较广泛的应用，文献 ，选 来进行负载预测，虽然建模方式上有所不同，但通过使用基于预测模型的资源调度算法能够及时、有效地保证云服务质量。在工业界，为了解决容器的调度和复杂的管理问题，各大公司开发了自己的容器编排系统。其中比较著名的是 公司的 、公司的 和 公司的 。然而 主要的功能是数据中心资源的统一管理，其调度策略较少并且调度策略的实现和使用都比较复杂，对于非专业人员来说不太友好；虽然原生支持 ，但它不能托管服务，开发人员要时刻运行服务发现引擎，并且对于版本的更新不能做到自动化；相较而言 提供了更加完善的功能，支持自动化的容器部署、扩展和管理。以其强大的服务编排能力和服务管理能力在一众编排系统中脱颖而出。但 在进行服务的扩缩容时，使用的扩缩容算法过于简单，使得在服务面对突发负载时，无法保证服务的 。综合上述问题，本文通过使用时间序列预测模型根据最近一个时间区间内的容器负载数据，预测下一个时间区间内的负载。使用预先训练的 模型，根据预测的负载压力预测下一时间窗口内所需的服务容器数量。本文的主要贡献如下：）本文通过使用时间序列预测模型 根据最近一个时间区间内的 负载数据，预测下一个时间区间内的负载，在负载突然上升或者下降时提供扩缩容时机。）基于 模型，根据预测的负载压力结合 中 和内存使用率预测下一时间窗口内所需的微服务 容器数量。基于时序算法的负载预测 是由 等 提出的一种对负载进行预测的时间序列模型。等 在 模型的基础针对非平稳的序列做了改进，提出差分自回归移动模型 。模型定义如下：()（）()（）式中：为自回归阶数；是自相关系数；是滞后算子；是差分项；是原序列；是差分阶数，是误差项参数；是误差项。差分算子的计算为：（）（）建立 模型整体流程如图 所示。图 模型方法流程 模型方法主要分为四个步骤：）平稳性检验。对于收集到的样本数据，其中不乏非平稳的序列，若存在上升或下降趋势，则进行差分处理，消去其局部水平或者趋势，得到的数据样本就是平稳的。）模型识别。计算经过平稳化后的数据序列的自相关函数（）和偏自相关函数（），然后分析第 期曾理，等：面向微服务的容器伸缩策略 相关函数图进行模型识别如表 所示。表 模型识别模型 （）衰减趋于零 阶后截尾 （）阶后截尾衰减趋于零 （，）阶后衰减趋于零 阶后衰减趋于零自相关函数定义如下：（，）（槡）（槡）（，）（槡）（槡），（）模型定阶。虽然观察自相关和偏相关函数的拖尾和截尾可以给模型定阶，但这种定阶方法往往具有很强的主观性。可以根据信息准则函数赤池信息准则 和贝叶斯信息准则 来确定模型阶数。（）（）（）（）（）模型检验。通过白噪声进行检验，如果模型的噪声训练通过检验，那么模型完全或者基本符合了数据的相关性，如果不能通过噪声检验，应该重新拟合模型直到通过白噪声检验。基于 的容器数量预测 问题定义随着云计算技术的兴起，容器和微服务两大技术应运而生，容器技术的发展为微服务提供了良好的客观条件，而轻量级的容器技术则为微服务提供了最佳的运行环境。与此同时微服务架构所暴露出来的服务管理和服务发现等问题，促使了服务管理平台的诞生。其中最优秀的管理平台是谷歌推出的 。图是基于 平台的微服务部署架构。图 基于 平台的微服务部署架构微服务与单体应用的区别在于一组微服务只使用一个代码库，实现单一的功能，每个服务可以独立部署独立发布，每个微服务放置于一个容器中。开发人员在部署微服务的时候，通常将一组服务放到一个 中，同一个 中的服务共享网络与存储，这样可以使得服务间的通信能力大大提高。在微服务架构下，当负载急剧增加时，可以通过增加该 中服务 容器数量，降低访问压力；相反 中容器资源利用低下时，通过减少容器数量来达到节约资源的作用。因此负载发生变化时，服务 容器数量的伸缩数量至关重要。为了解决上述问题，收集了大量有关负责压力和所需容器数量的数据，建立了实验数据集。每个样本数据都包含了 个标签，分别是 使用率、内存使用率、服务的负载压力和容器数量。通过使用 算法，获得服务的负载、内存使用情况和容器数量之间的关系，从而达到预测容器数量的目的。实验有两个约束条件，分别是服务质量 和资源利用情况。算法 算法是在 基础上对 算法进行改进的机器学习算法。为了防止模型出现过拟合，增强模型的泛化能力，加入模型复杂度的正则表达式项。同时对损失残差使用二阶泰勒展开。相较于其他分类算法，该算法的训练速度和分类效果有着显著的提升。是通过随机地进行特征分裂来生成树，也就是为了拟合前面预测的损失残差，每次学习一个新的函数 （），最后将 棵树的结果求和作为最终的预测值。（）（）（）（）（）（：）（）式中：代表第 个样本；表示树的数量；是对应树的叶子节点个数；表示将树与对应的叶子节点映射的空间结构；（）包括该树的空间结构和叶子节点的权重；表示叶子节点的权重。的目标是要使得树的预测值 尽可能地接近真实值，并且拥有泛化的能力。其目标函数由损失函数和正则项两个部分组成公式定义如下：（）（，）（）（）（）（）式中：（）为损失函数，是度量预测值 与真实值 之间的损失误差；（）表示对模型复杂度的正则惩罚 计算机应用与软件 年项，为了防止模型过度拟合；在正则项中 和 表示惩罚系数，需要在实际应用中自行调节。由于式（）无法使用传统方法进行优化，因此在模型训练时，使每一轮训练都会保留前 模型的预测，这样就大大减少计算复杂度，式（）为新的目标函数。（）（，（）（）（）为了方便计算损失函数 （），直接基于损失函数的二阶泰勒展开式来求解，分别对损失进行一阶导和二阶导获得：（，（）（），（，（）（）（）通过把所有叶子节点区域和每个叶子节点区域最优值训练，将叶子节点最优值代入目标函数，最终的目标函数可以表示为：（）（）（）最后目标函数基于最大分数对应的特征分裂子树，通过不断的迭代得到弱学习器，然后更新强学习器。大量实验表明 、内存、服务负载是调整容器数量的重要的三个因素。这三个特征组成特征样本输入 进行模型预测。算法步骤如算法 所示。算法 基于 的容器数量预测算法输入：训练集（，），（，），（，），特征集合 。输出：。（，），（，），()实验 实验环境本实验选取贵州翔明云科技公司微服务化的 系统，部署于 平台上。本实验硬件环境：采用 台戴尔服务器，内存：，：。其中：台服务器作为 节点，其中 台既作为 节点也作为 节点；剩余 台作为 节点。集群硬件环境如表 所示。表 集群硬件环境表集群角色内存 磁盘 服务负载预测效果对比为了验证时序预测方法的有效性，采集贵州翔明云的 系统五月到七月三个月的负载数据，从数据库获得负载数据，将前面三个月数据作为训练集，选取后面 月 日 点到 点的数据作为测试集，然后使用 模型进行训练，预测结果如图 所示。图 负载预测结果对比可以看出本文的预测方法对突发负载保持了较好的预测精度，通过原始数据与预测数据曲线对比，模型的预测方法能够很好地预测负载。容器数量预测效果对比为了验证本文提出的 预测方法的有效性，对比 自带的 （）算法。通过 获取 、内存等资源信息，其算法原理是调整容器副本数目使得资源使用率尽量向期望值靠近，每次 伸缩的数量算法为：（当前采集到的资源使用率 用户自定义的使用率）数量。对比图和图可以发现，在负载上升时，算法并不能马上做出扩容的反应；而本文方法能在负载上升之前扩容。在负载下降时，为了保证服务的 ，将缩容的时机调整到负载下降之后。这里在扩缩容时第 期曾理，等：面向微服务的容器伸缩策略 是在不同物理服务器上进行，因此物理机负载变化影响较小。两种方法缩容时机相同，但是缩容的数量不同。因此基于 的方法比 的方法在负载变化的云环境更适合，每次都在负载上升之前做好了扩容的准备。图 扩缩容过程图 扩缩容过程 服务扩缩容响应时间和资源利用情况对比为了验证基于本文的方法比 算法好，采用服务扩缩容响应时间和资源利用率情况两个衡量指标。基于 节容器扩缩容的过程，记录下的服务响应时间对比如图 和图 所示，资源利用情况对比如图 所示。图 方法扩缩容响应时间图 方法扩缩容响应时间图 资源使用率对比由图 和图 可以看到 算法在 时随着负载的增加，没能及时扩增容器数量，导致服务响应时间超出了 （在云计算中服务的响应时间超过 定义为服务质量低），而本文方法可以使服务的响应时间保持在 以内。在 以后负载下降，两种方法都没有立刻缩容，因此服务响应时间均保持在 以内。由图 可以看出在 的扩缩容的过程中，在保证服务质量的情况下，本文方法比 算法扩缩容的数量少，因此资源的使用率比 方法低，因此资源的利用率比 算法高。结语本文通过使用 时序预测方法得知服务负载将来的变化，然后根据预测的负载结合 中 、内存的使用情况使用 算法预测需要扩缩的微服务 容器数量，对比 的 算法，本文方法能在保证服务质量 的同时降低系统资源的使用。计算机应用与软件 年参考文献 ，（）：，（）：林伟伟，吴文泰 面向云计算环境的能耗测量和管理方法 软件学报，（）：，：郭杨虎 微服务环境下 容器调度策略的研究与实现 北京：北京邮电大学，（）：，：，：吴恒，郝庭毅，吴国全，等 面向微服务架构的容器级弹性资源供给方法 计算机研究与发展，（）：，：王泽涛 基于容器的负载预测模型与能耗优化调度策略研究 广州：华南理工大学，王骞，曹菡 基于 滤波混合模型的网络负载预测方法 东南大学学报（自然科学版），（）：王电钢，黄林，常健，等 基于 和 的负载预测模型 深圳大学学报（理工版），（）：，：，：，：，（）：（上接第 页）参考文献朱昶胜，刘敬帅，李硕 基于出租车 数据的商圈分析 计算机应用与软件，（）：黄敏，毛锋，钱宇翔，等 基于 的 预测乘客出租车需求 中山大学学报（自然科学版），（）：李远刚，韩景倜，袁光辉 考虑随机需求的出租车资源配置定量评价模型 统计与决策，（）：张自荷，王振，吴瑞 基于空间滞后模型的出租车需求影响因素分析 武汉理工大学学报（交通科学与工程版），（）：，：熊笑 基于梯度上升决策回归树的网约出租车需求动态预测 武汉：华中科技大学，段宗涛，张凯，杨云，等 基于深度 组合模型的出租车需求预测 交通运输系统工程与信息，（）：徐璐 基于多特性分析的短时交通流量预测研究 大连：大连理工大学，：，：章茂庭，杨楠，蒋顺英，等 基于 框架的实时交通流量预测方法 现代信息科技，（）：王成安 基于 时空网格模型的出租车需求预测 电子世界，（）：王志建，李达标，崔夏 基于 神经网络的降雨天旅行时间预测研究 交通运输系统工程与信息，（）：宋作华 基于神经网络的车辆轨迹目的地预测方法的研究 成都：电子科技大学，薛佳瑶，陈海勇，周刚 基于卷积循环神经网络的城市区域车流量预测模型 信息工程大学学报，（）：