基于云计算的智算AI算法优化与性能评估研究.pdf

2024 年第 2 期51中国高新科技ARTIFICIAL INTELLIGENCE|人工智能基于云计算的智算AI算法优化与性能评估研究马先德1李希明2王 振31.天翼云科技有限公司，北京 100080；2.中电云计算技术有限公司，北京 100141；3.北京楷登信息技术有限公司，北京 100080摘要：智算 AI 是以智能计算为核心，算力的显著提升和人工智能技术的快速发展是当前时代的典型特征。ChatGPT 等 AI 工具以其强大的文本处理能力迅速席卷全球，掀起了智算时代的大幕。基于这一背景，在云计算场景下优化 AI 算法成为了提高 AI技术性能的关键任务。文章分析了 ChatGPT 中变换器模型自注意力机制算法，设计了算法优化过程，旨在通过计算复杂度的降低提升模型的效率。实验结果表明，优化后的模型在保持准确率的同时显著提升了计算效率，提升了云计算场景下的智算 AI算法性能，可为人工智能技术的发展提供借鉴。关键词：云计算；智算 AI；算法优化；性能评估文献标识码：A中图分类号：TV66文章编号：2096-4137（2024）02-51-03DOI：10.13535/ki.10-1507/n.2024.02.13Research on the optimization and performance evaluation of intelligent computing algorithms based on cloud computingMA Xiande1,LI Ximing2,WANG Zhen31.China Telecom Cloud Technology Co.,Ltd.,Beijing 100080,China;2.China Electronics Cloud Computing Technology Co.,Ltd.,Beijing 100141,China;3.Beijing Cadence Design Systems Co.,Ltd.,Beijing 100080,ChinaAbstract:Intelligent Computing AI refers to the current era characterized by intelligent computation as its core feature,marked by significant improvement in computing power and rapid development of artificial intelligence technology.AI tools such as ChatGPT have rapidly spread worldwide with their powerful text processing capabilities,ushering in the era of intelligent computing.Against this backdrop,optimizing AI algorithms in cloud computing scenarios has become a key task in improving AI technology performance.This paper analyzes the transformer model self-attention mechanism algorithm used in ChatGPT,designs an algorithm optimization process aimed at enhancing model efficiency through reducing computational complexity.Experimental results demonstrate that the optimized model significantly improves computational efficiency while maintaining accuracy,aiming to enhance the performance of intelligent computing AI algorithms in cloud computing scenarios and provide insights for the development of artificial intelligence technology.Keywords:cloud computing;intelligent computing AI;algorithm optimization;performance evaluation随着以 ChatGPT 为标杆的人工智能产品的飞速崛起，世界正式从互联网时代迈入“智算 AI 时代”。新时代背景下，人工智能与高性能计算技术有机融合，带来了前所未有的时代变革，算力爆炸式增长、各产业与 AI 技术深度融合，在云计算平台上展现出越来越高的技术价值。随着大数据和计算密集型任务的增多，云计算提供了存储和处理数据的技术平台，为 AI 算法的发展提供了强大的支撑。本研究以基于云计算的智算 AI 为主题，探究云计算环境中优化 AI 算法与性能的方法，为 AI 技术创新与实践应用提供参考。1智算 AI 时代及算法综述1.1智算 AI 时代背景在传统的互联网时代，技术发展的焦点是人与信息的连接能力。互联网时代开创了提供无限多的信息访问渠道，彻底改变了人类的生活工作方式。但随着大数据的兴起和计算需求的日益增长，仅仅拥有连接能力已不足以满足时代的需求。智算 AI 时代正式到来，标志着技术发展趋势从信息连接到智能计算的重大转变。智算 AI 时代的核心驱动力是算力的急剧增长和人工智能算法的迭代优化。智算时代下的技术变化主要表现为深度学习算法的迅速发展和 GPU、TPU 等硬件设施的持续升级。云计算的普及为大规模并行计算创造了发展的土壤，为处理海量数据提供了强大的支持。随着 AI技术的不断优化和计算需求的不断增长，现有算法面临着效率和能耗的双重挑战。在此背景下，AI 算法的优化不仅关乎算法自身性能的提升，更直接影响整个计算任务的效率和成本，AI 算法追求算力效率和算法精度更为迫切。随着算力资源的增长，计算成本持续上升，优化算法以提高计算效率、降低能耗成为必然趋势。并且，AI 算法需进一步提升精准性和可靠性，以适应日益复杂的医疗诊断、金融分析、政企应用、产业改革等应用场景。因此，算法优化的重点在于提升计算效率、减少资源消耗、保持并提高算法的准确性和鲁棒性。智算 AI 时代背景下，AI 算法的优化有助于缩短模型训练时间、加快模型的迭代和上线速度，加速 AI 技术在各行业的应用，使优化后的算法迅速适应不同的硬件和平台，提高模型的泛用性和可移植性。智算时代的核心技术如图 1 所示。1.2AI 算法综述智算 AI 时代下的人工智能算法经历了从传统机器学习到深度学习的重大转变，在处理复杂数据和执行高级任务方面展现出前所未有的能力。在深度学习兴起之前，传统机器学习算法占据了 AI 领域的主导地位。这些算法包括线性回归、逻辑回归、支持向量机（SVM）、决策树、随机森林和 KNN 算法等。传统模型普遍适用于较小数据集，研究重 2024 年第 2 期52中国高新科技 人工智能|ARTIFICIAL INTELLIGENCE点是数学模型学习数据模式。随着计算能力的提升和数据量的增加，深度学习开始在 AI 领域崭露头角。例如，深度学习构建了多层神经网络学习数据，典型算法为卷积神经网络（CNN）和递归神经网络（RNN）。CNN 擅长图像处理和视觉识别任务，RNN 擅长处理序列数据，在文本和时间序列分析上表现优异。ChatGPT 问世后，变换器（Transformer）模型显现出了处理序列数据的潜力。变换器模型基于自注意力机制，可迅速处理长距离依赖问题，是自然语言处理（NLP）模型的主要技术。GPT 模型的核心是大规模预训练和后续微调，大量未标记数据学习语言通用模式，予以微调后用于特定任务。这一过程取得了良好的文本输出效果，但计算效率较低，难以承受过大的并发量。因此，GPT 模型优化的关键是提升模型的训练效率。本研究以ChatGPT等生成式AI为例，研究优化 GPT 算法的方法。2算法优化2.1ChatGPT 的变换器模型自注意力机制算法将输入序列设为输入矩阵 X，将序列各元素嵌入表示为X=x1，x2，xn，线性变换后可得查询（Q，query）、键（K，key）和值（V，value）公式：（1）（2）（3）式中，dk和 dv分别是键和值的维度，取；h 是注意力头的数量。而后计算 Q 和 K 的点积求得原始注意力分数矩阵：Score QKT （4）式中，表示序列中每个元素对其他元素的原始注意力。为避免点积维度较大时的梯度爆炸问题，对分数进行缩放：（5）式中，缩放因子是控制分数规模的参数。为完成分数转换，引入 Softmax 函数。该函数可将含任意实数的 K 维向量“压缩”成另一个 K 维实向量，使各元素范围均为（0，1）、元素和均为 1。Softmax 函数定义如下：（6）Softmax 函数将缩放后的分数转换为概率分布，确保每行权重和等于 1，具体公式如下：（7）最后，将注意力权重与值矩阵相乘求得最终输出Output：（8）式中，每行代表输入序列中对应元素的加权表示。2.2算法优化过程本研究旨在降低变换器模型自注意力机制的计算复杂度，提高模型的效率。假设输入序列 X=x1，x2，xn 包含n 个元素，各元素是 dmodel 维向量。标准自注意力机制中计算 Q、K 和 V 的复杂度为，点积操作 QKT的复杂度为 O(n2 dmodel)。为降低此过程中的计算复杂度，可引入低秩矩阵和较小维度 dr dmodel，据此将原始 dmodel维度减少到dr维度。计算低秩近似的查询和键：（9）（10）随后优化缩放点积注意力计算过程，代入低秩近似的查询和键：（11）式中，ScaledScore 的计算复杂度减少到。注意力权重输出计算优化后的结果体现为下式：（12）该方法可有效降低自注意力机制的计算复杂度，在序列长度 n 较大和模型维度 dmodel 较高时提升了模型性能和计算效率，使变换器模型更加适合处理大规模数据集和复杂任务。3性能评估为评估自注意力机制优化后的性能，本研究选取了公开的自然语言处理数据集（General Language Understanding Evaluation，GLUE）。GLUE 数据集包括文本含义、情感分析和问答不同的任务类型，可用于全面评估模型的性能，共选取数据 9000 条，3 个主要类型各 3000 条。标准预处理选定的数据集，去除无用字符统一大小写、将文本分解为词或子词单元、转换为词嵌入向量，确保所有输入序列具有相同的长度。在优化前后的变换器模型上分别测试，记录并比较准确率（Accuracy）和计算时间（Time）。测试结果如表 1 所示。图1智算时代AI技术图（下转第71页）2024 年第 2 期71中国高新科技CIVIL ENGINEERING|土木建筑为荷载支撑。加载方法为位移控制，加载速度为 0.002mm/s。2.3数值结果与实验结果失效模式比较图4失效模式比较图 4 为试验和数值结果之间在单轴压缩试验、三轴压缩试验和三点弯曲试验下，用 1%钢纤维聚合物加固的混凝土试样的破坏模式的比较。从单轴压缩试验的截面分析和三轴压缩试验的截面分析中可以看出，钢纤维聚合物的存在使试样在单轴和三轴压缩过程后的残余应力分别为 84.2MPa 和166.1MPa，变形量分别为 0.68%和 1.34%，这些数值相对于试样的峰值应力只衰减了 33.5%和 23.8%。可以看出，钢纤维聚合物的存在大大增加了活性粉末的峰值强度和残余强度。3结论（1）在单轴压缩和三轴压缩试验中模拟了钢纤维体积含量为 1%的 RPC 的破坏过程。模拟结果再现了钢筋混凝土减震柱试件的剪切破坏特征，通过数值模拟证实了纤维聚合物加固钢筋混凝土减震柱的宏观破坏主要是剪切破坏。（2）实验和数值模拟结果表明，在钢筋混凝土减震柱基体中加入钢纤维可以有效改善钢筋混凝土减震柱试样的塑性行为和强度，使试样在大变形后仍能保持较高的机械强度。证明了加入钢纤维聚合物的钢筋混凝土减震柱材料具有良好的应用前景，为钢筋混凝土减震柱性能的数值模拟研究提供了新途径。作者简介：朱淋（1991-），男，辽宁抚顺人，衡水中建哈院项目管理有限公司工程师，研究方向：工程管理。参考文献1 杜修力，刘迪，许成顺，等.橡胶支座在浅埋地下框架结构中的减震效果研究 J.岩土工程学报，2021，43（10）：1761-1770，1957.2 王颖欣.BRC 钢框架跷动结构减震影响分析 D.邯郸：河北工程大学，2013.3 唐建余，潘文，董卫青，等.某超高层框架-钢筋混凝土核心筒结构减震案例分析 J.工业安全与环保，2021，47（7）：55-59.（责任编辑：张志明）（上接第52页）表1ChatGPT变换器模型算法优化结果任务模型准确率（%）计算时间（s）文本蕴含原始模型84.35210.56优化后模型84.21155.23情感分析原始模型91.47195.67优化后模型91.50140.89问答原始模型78.90230.45优化后模型78.95172.30由表 1 可知，优化后 GPT 模型的准确率与原始 GPT 模型相似，和问答数据处理中略有提升。优化后模型的主要优势体现在计算时间上，呈现出显著优势，计算时间平均降低了约 30%，体现了快速处理海量数据的技术优势。结果表明，智算 AI 算法优化维持了模型原有性能、提升了计算效率，加强了 AI 算法模型的综合性能，体现了在云计算领域中的适用性。4结语在智算时代下，AI技术进步的关键是开发新的算法架构、优化现有模型、研发高性能硬件设备。算法的效率和可扩展性优化有助于处理日益增长的数据量，为资源受限环境中的AI 算法部署提供了可能，扩大了 AI 技术的应用范围。随着新算法和新技术的不断涌现，可以预见到 AI 算法在处理效率和可扩展性中的更大突破，以服务日益复杂的实际应用需求。本研究以云计算应用场景为研究切入点，探讨了 GPT 模型自然语言处理效率的提升方法，结果表明：优化在保证准确率不降低的情况下提升了计算速度，对云计算中海量数据计算场景下的性能起到了重要作用。作者简介：马先德（1985-），男，山东莒县人，供职于天翼云科技有限公司，研究方向：云计算、AI 技术。参考文献1 杨仙明，詹贤春，程恒亮，等.基于图卷积网络和注意力机制的诊断预测 J.计算机科学，2023，50（S2）：599-604.2 秦涛，杜尚恒，常元元，等.ChatGPT 工作原理、关键技术及未来发展趋势 J/OL.西安交通大学学报，2024，（1）：1-11.2023-11-17http:/ 肖君，白庆春，陈沫，等.生成式人工智能赋能在线学习场景与实施路径 J.电化教育研究，2023，44（9）：57-63，99.4 高俊.ChatGPT 生成式 AI 的算法安全风险及治理路径研究 J.通信与信息技术，2023（4）：122-124，128.5 董鹏宇.ISP 核心算法与 AI 技术的融合分析 J.集成电路应用，2023，40（6）：22-25.（责任编辑：葛佳）