网络教育系统中Web服务器集群负载均衡算法研究.pdf

2023 年第 7 期24计算机应用信息技术与信息化网络教育系统中 Web 服务器集群负载均衡算法研究虞安骥1 陈旭瑶2YU Anji CHEN Xuyao 摘要 研究了网络教育系统中 Web 服务器集群的负载均衡算法，针对服务器状态及请求信息提出了一种全新方案，可缩减响应时间。算法的机制是基于客户端的请求内容对服务器的影响程度进行分类，并设置相应的权重，同时结合服务器性能参数和负载情况，将请求分配给服务器的最轻负载。还根据 MOOC 教育系统，提出了层次的总体框架结构，研究了系统的内部通信机制和 Web 服务器性能的监控方案。实验结果表明，算法能够充分利用现有的软件和硬件资源，有效地平衡了 Web 集群服务器的负载，充分利用了服务资源。关键词 网络教育系统；Web 服务器；负载均衡doi：10.3969/j.issn.1672-9528.2023.07.0061.江西开放大学 江西南昌 3300462.江西应用科技学院 江西南昌 330100 基金项目 本文系 2020 年江西省教育厅科学技术研究重点项目 MOOC远程教育中Web服务器集群负载均衡算法研究阶段性研究成果（课题编号：GJJ209917）0 引言在当前社会经济飞速发展的新时代，教育思想与教育技术的创新也在逐渐影响着教育事业的发展，一场围绕共享与开放的改革也在悄然拉开帷幕（Rathore N.2018）1。2002 年，麻省理工学院发起了一声开放课件运动，该学校利用互联网平台将本校的教学资源分享给全球的学习者（Lenhardt J et al.2017）2。同年，联合国教科文组织也发起了一场名为“资源全球共享”的开放教育资源运动。在此之后,英国开放大学也创设了一项开放学习项目,与此同时，国内网易公开课也逐渐开始兴起。2012 年，一种更为优质的开放课程模式诞生了，即大规模开放网络课程 MOOC（Sharma D.2016）3。MOOC（Massive open online courses）,简称为“慕课”。慕课不同于其他网络公开课，其属于一个较为完备的教学方式，作业、反馈、讨论与评估、师生互动、考试与证书等环节均涵盖在内，该教学模式具有开放、在线、规模大等特征（Mahanti P et al.2016）4。借助慕课，每个人均可观看全球名师讲授的优质课程，不再是单纯观看视频中他人互动课程，而是可以身临其境的参与其中，犹如名师与你面对面授课。不同于其他网络课程，慕课课程时长相对较短，每个慕课课程时长约10 s。慕课的这些特点非常吻合当下人们对生活快节奏的追求，学习时间及学习内容可由学习者自行挑选，深受人们喜爱。自2012年慕课出现后，国内外教育事业受到了巨大影响，慕课被广泛应用于各高校教学活动中，甚至一些企业及媒体也陆续采用慕课开展相关培训活动。1 研究现状一直以来，负载均衡始终是服务器集群的焦点。许多研究工作者多年来始终坚持不懈的探索研究，只为寻找出能够提升服务器处理能力的有效方案（Ohnishi N t al.2016）5。以往人们主要采用静态负载均衡策略进行配置,发展到现在可以根据集群实时的运行情况进行动态配置（Qu C et al.20176）。负载均衡算法直接决定着负载均衡效果的表现,任务调度算法是典型负载均衡算法的关键所在，如何依据集群中不同服务器的运行情况来分配任务，这是调度算法重点考虑的问题（Park J et al.2016）7。从某种意义上来说，服务器端的负载均衡其实是一个完整的体系，其涵盖了诸多方面，而非单一的技术。在用户需要请求服务的情况下，负载均衡策略会自动为客户端匹配集群中最空闲(最空闲的一台或者多台节点按性能比随机分配)的节点上,然而，用户并不知道这一体系的存在，他们只会认为是一台服务器为他们提供了服务。服务器集群响应处理效率非常高，即使在同一时间面对大量的客户端请求，其也能实现高并发的处理能力（Panda S K et al.2017）8。近年来，服务器集群技术处于高速发展时期，国内外关于负载均衡技术的相关研究也越来越多，并不断深入，一些与负载均衡有关的设备不断涌现出来，其中最为常见的思科的 IOS 路由器、华为 L2800、FS BIG-IP 负载均衡 2023 年第 7 期25计算机应用信息技术与信息化器等。2 研究方法服务器集群技术中的最新算法 QSC 负载均衡算法策略是有效利用服务器，先查询服务器的工作情况再进行任务分配的一种算法。文章着重研究 QSC 负载均衡策略、随机策略及最小连接策略，并以最小连接和随机选择作为基准，对比 QSC 负载均衡算法数据，进行模拟用户响应时间效率分析。2.1 QSC 负载均衡算法阐述为了实现系统的高吞吐量和最小化用户反应时间，文章从动态与静态两个方面来测试服务器的性能。从静态性能参数来看，Web 服务器自身服务器的性能主要取决于所配置的硬件及软件，为此，此本研究专门筛选和提取了一些可以进一步展现服务器硬件配置质量的参数和数据，在集群服务器工作的时候，参数并不会随着工作而改变，所以这些被叫作静态性能参数，其具体包括了 CPU 处理能力、内存参数。对于动态负荷参数，在系统运行的过程中，部分参数会随之发生变化，整体系统会依据不断变化的服务器负荷参数来判断整个服务器负载是否均衡，因此，人们将那些不断变化的参数称之为动态负荷参数。网络流量、内存使用率、处理机利用率等均是系统挑选的动态负荷参数。针对请求类型将之分为四大类：一是发布型，二是执行单元型，三是网页动态型，四是多媒体型，权重的增加是循渐进的。阈值如何设定主要取决于服务器的吞吐量。在这个时候，处理的时间会大大增加，形成了关键态，而这个限制的值就是关键数。为了务器性能得到良好的保障，尽量降低服务器的连接数量，如果连接数超出限制值，则说明服务器处于过载状态。集群服务器列表中存在着 M 个服务器，N 类请求 R（i），1 i N；通过查找 SMT 列表，每种请求被给予特定的值 wi，1 i N；可通过式（1）求得服务器 j 的请求负载：*1()NiLoad jR ij w i=（1）R（i）j 是 R（i）请求连接到服务器 j 上，则服务器 j的请求负载为公式（2）：*1()NiLoad jR ij w i wk=+（2）服务器 j 已经处理请求 R（i），则服务器 j 的请求负载为公式（3）：Load jLoad jw i=（3）本文对负载均衡的判断方法再进行说明：将群集服务器中所有内容提取出来，再编制一个记录数组，其中每个记录表示服务器的所有信息。对于在数组中工作的第一个服务器信息(M服务器)，假设为基准，其他正常服务器(假设 I 服务器)信息和基准信息服务器为公式(5)的加权比较，如式(4):（4）式（4）中，1M代表基准服务器 CPU 处理能力；1 代表CPU 处理能力，1i代表 i 个 CPU 的处理能力；2M代表基准服务器内存参数；2 代表内存参数，2i代表 i 号服务器内存参数；CPU的使用率由C表示，Ci代表i号服务器CPU使用率，那么 CM就是基准服务器 CPU 使用率。内存的使用率用 M 表示，那么 Mi就表示了 i 号服务器内存，Mm就表示了基准服务器内存的使用率；R 代表请求负载，基准服务器硬盘传输量由 RM表示，i 号服务器硬盘传输量由 Ri表示；N 代表网络流量，基准服务器网络流量由 Nm表示，i 号服务器网络流量由 Ni表示；代表网络比较的权值，代表 CPU 比较权值，代表内存比较的权值，代表负载比较的权值，这几个参数的最初值都是 1。根据集群运行的实际情况，可以增加或减少它的一个权重，以强调或减少负载性能的某些方面。在对比服务器CPU、负载性能、内存及网络等过程中，硬件的动态负载与静态参数是需要重点考虑的。根据集群服务器列表进行计算，发现现有的加载最轻的服务器面临如下几个难题：一是倘若将两个较重的负载置于同一服务器上，极有可能降低服务器客户端的响应效率；二是服务器负载计算是连续的，这会在一定程度上影响服务器性能。面对以上难题，可采取集群服务器列表中的最小负荷策略，选取随机概率模型，通过计算、对比权重，合理设定各服务器的概率空间，整个集群服务器系统的空间设定为 1。假设分配器收到一个新的请求任务，测算 0,1 之间的一个随机数，依据随机数落在概率空间中的点来判断这个转发的目标服务器。倘若服务器相对权重较小，则其概率空间必定相对较大，便可获得更多请求任务的分配，分配概率更高。另一方面，每个转发均属于一个独立的事件，最后转发不会对之产生干扰，同理，再进行一次转发操作不会相互产生影响。故而可以提升转发效果并保证服务器的稳定性，可以进一步体现出动态负载平衡算法优化后的效果。2.2 系统架构设计平台架构设计的核心思想是将其分解为零，并将其分解2023 年第 7 期26计算机应用信息技术与信息化和克服，这是处理高性能、高可用性、可伸缩性难题的有效手段。考虑到最终用户导向的服务模式，可从服务框架角度将整个架构分成文件服务、视频服务及 Web 服务等三个，终端用户可直接接触到此三个服务，具体见图 1。Web 服务体系结构的后端分布着 MySQL 数据库服务集群、Tomcat 应用程序服务集群及存储，他们共同形成了一个内部网络。Tomcat 应用程序服务中的静态文件访问服务是处于分离状态的，经由文件服务到达用户终端。图 1 Tomcat 平台整体架构Web 服务主要包括两大部分，一是后端应用程序服务，二是 Web 前端服务，具体可见图 2。其中 Web 前端服务包括Nginx 及 LVS 两部分。Nginx 在网络的第七层工作，其工作主要包括如下几方面，即 URL 转发、负载平衡、反向代理及其他任务，并将服务请求反馈给后端应用服务器 Tomcat。一旦发生 Nginx 服务中断或故障，LVS 服务请求会被自动传递至正常运行的 Nginx 服务器上，保障 Nginx 集群的高可用性。Lv 工作在网络层四中,两个 l v 热备份服务器借助 VIP(虚拟IP)及心跳检测服务于用户终端，在收到客户端请求服务后，请求服务在 l v 负载平衡策略作用下会被分配至 Nginx 服务器集群。一旦出现 LVS 服务中断或主机宕机的情况，主机会立刻切入工作，以保障 LVS 的持续服务，LVS 服务具有高可用性的特点。后端应用程序服务处于用户终端无法接受的内部网络中，其构成部分主要是 Tomcat 应用服务器集群，实际的业务逻辑处理由 Tomcat 集群充分执行的整个平台的整个课程。用户终端的请求会通过反向代理服务器传输至前端 Nginx，在负载均衡策略的作用下，被传递至集群中的后端 Tomcat 服务器，经过 Tomcat 服务器的处理再反馈至用户终端请求连接。一旦出现 Tomcat 服务中断或宕机的情况，Nginx 会自动将用户终端请求传递至其他正常运行的Tomcat 服务器上，保障 Tomcat 集群的高可用性故障转移。除此之外，反向代理可以将外部网络与内部网络隔离开，但必须依靠数据库服务、Tomcat 应用程序服务以及后端应用程序服务的安全保护,可以实现对后端静态文件的缓存，缓解应用程序服务器的压力，提升用户终端访问效率。在负载均衡策略的作用下，前端用户请求会被自动传递至各应用服务器上，进而解决应用服务器负载容量受限这一难题，提升系统性能。3 数据输出分析Web 集群服务器模型主要包括两大重要实体部分：一是服务器，二是负载均衡器。开展仿真测试对比主要是为了检验试 qscs 负载均衡算法是否优于其他分布算法。模型主要包含服务器处理时间及负荷模型。研究显示，网络、CPU、磁盘等会在一定程度上降低 Web 服务器模型响应效率。本研究未将网速、内存及硬件缓存的差异性考虑其中，所以可以得出影响请求的响应时间只有内存读取时间和CPU 处理时间。处理时间主要反映了 Web 服务器的性能，在该策略中，与服务器处理时间相比，负载处理时间几乎可以忽略不计。根据 Web 服务器的实际测量，设定各访问参考文献中的一些数据的相应权重值。在分析 Web 站点日志的基础上，对模拟服务器的负载及网络上请求的分布进行了进一步的分析、研究，模拟出了 QSC 负载均衡策略、随机策略、最小连接策略等三种请求策略，并将随机策略及最小连接策略作为标准。图 3 为集群服务器吞吐量的对比示意图。根据图 4（集群服务器系统响应时间对比）可以看出服务器在不同算法下性能反馈对比。在服务器低负载的情况下，QSC 均衡算法的运用效果不是非常显著。随着服务器的负载提高 QSC 均衡算法的效果会逐渐显现，总而言之在高负载的情况下，提升服务器反应速率的效果比较明显。图 2 Tomcat 网络服务架构 2023 年第 7 期27计算机应用信息技术与信息化图 4 集群服务器系统响应时间对比得出仿真结果是：当负荷较重时，最为有效的就是 QSC负载均衡算法；当负荷较低时，三种策略有效性基本相同。当介质负载时，随机策略的响应时间最长，最小连接策略次之，QSC 负载均衡算法响应时间最短，这是由于请求内容能够精准识别并考虑到服务器的异构性。与基准测试相比，QSC 负载均衡算法的性能更好。综上所述，考虑到请求的内容和异构的服务器的 QSC 负载均衡算法，根据请求内容的分布，仿真实验的结果表明 QSC 负载均衡算法性能良好。4 结论本文在改良 Nginx 内置的静态加权轮询算法后，得出一种动态加权轮询算法，并在 Nginx 的基础上实现了该算法，经过实验研究发现，此种算法是一种较为有效的算法。经过本文实验证实，改良后的动态加权轮询算法是切实可行的。本文将基于 Linux 系统的 Nginx 与 Tomcat 的服务器集群系统作为实验环境，借助 Autobench 与 Httperf 等性能测试工具，将改良后的动态负载均衡算法与第三方负载算法 fair、Nginx内置的加权轮询算法进行对比分析，将用户终端每秒响应次数和响应时间作为对比指标，结果显示，动态加权轮询算法明显高于静态加权轮询算法实际并发数峰值。用最小连接策略、随机策略和 QSC 负载均衡策略三种方法进行对比，QSC负载均衡策略更能减少用户响应时间，更能满足 MOOC 教育系统众多需求者同时使用、访问。参考文献：1 RATHORE N.Performance of hybrid load balancing algorithm in distributed web server systemJ.Wireless personal communications,2018,5(3):1-14.2 LENHARDT J,CHEN K,Schiffmann W.Energy-efficient web server load balancingJ.IEEE systems journal,2017,11(2):878-888.3 SHARMA D.Improving performance of dynamic load balancing among Web servers by using number of effective parametersJ.International journal of information technology&computer science,2016,8(12):27-38.4 MAHANTI P,SINGH H,KUMAR S.An efficient content aware dynamic load balancing algorithm for Web servers 1J.Journal of next generation information technology,2016,7(1):47-55.5 OHNISHI N,TAKANAKA T,Nakatani H.Load balancing of processing servers for cloud control systemJ.Electronics&communications in Japan,2016,99(10):71-80.6 QU C,CAIHEIROS R N,BUYYA R.Mitigating impact of short-term overload on multi-cloud web applications through geographical load balancingJ.Concurrency&computation practice&experience,2017,5(1):41-86.7 PARK J,BYUN H,LEE J R.Bio-inspired load-balancing framework for loosely coupled heterogeneous server systemsJ.IEEE transactions on computers,2016,65(11):3280-3292.8 PANDA S K,MISHRA S,DAS S.An efficient intra-server and inter-server load balancing algorithm for internet distributed systemsJ.International journal of rough Sets&data analysis,2017,4(1):1-18.【作者简介】虞安骥（1985），男，江西南昌人，博士/副教授，江西开放大学学习型社会研究院副院长，研究方向：教育学。陈旭瑶（1994），女，江西南昌人，硕士，江西应用科技学院专任教师，研究方向：财务大数据。（收稿日期：2023-01-03 修回日期：2023-02-26）图 3 集群服务器系统吞吐量对比