2024百炼成金-大金融模型新篇章.pdf

大金融模型新篇章百炼成金New Chapter of Financial LLMNew Finance New Future作者简介张 翅张翅先生曾经在蚂蚁金服智能科技团队负责蚂蚁金服科技产品的开放合作，推动内部技术产品化和金融行业数字化转型。从 17 年开始先后负责了从银行、保险、证券到金融服务等多个重要客户的数字化项目，深耕金融科技、云原生分布式架构、移动平台、大数据、人工智能、区块链等数字金融技术领域。在加入阿里云和蚂蚁金服前，张翅先生先后供职于甲骨文、Pivotal，领导参与了多个重大项目的建设，拥有丰富的企业架构设计、IT 战略规划、产品研发及团队管理等专业经验。阿里云智能集团副总裁新金融行业总经理前言FOREWARD百炼成金 大金融模型新篇章山不让尘，川不辞盈。2024 年是互联网进入中国的第 30 个年头，中国金融行业也走过了金融科技和数字化的 10 个年头。科技金融这篇大文章正方兴未艾，智能金融随着大模型日新月异发展突然按下了加速键。如果将过去一年大模型的发展比作三体中描述的“技术爆炸”，正形象地展现出了 AI 领域前所未有的快速变革。这种爆炸式增长不仅仅是技术参数的简单膨胀，更是整个技术生态、商业应用以及社会影响层面深刻变化的综合体现。在这个发展过程中，我们看到了如浪潮般涌现的新技术核心要素与传统 IT 发展规律的交织：摩尔定律的延伸与挑战：虽然摩尔定律近年来面临物理极限挑战，但通过创新架构（如 GPU、TPU）、分布式计算以及算法优化，让大模型的发展有机会遵循类似的加速发展轨迹，变革性实现计算效率和模型规模的双重跃升。安迪-比尔定律的演变：在大模型场景下，这一规律体现为模型规模和复杂度的增加，不断驱动着对更强大算力和存储的需求，同时也激发了云计算的快速发展，以确保基础设施能跟上 AI 应用的需求步伐。今年以来，走遍中华大地拜访过上千家金融机构，我们发现，金融行业并不缺乏大模型应用的场景，但是有限的算力、持续迭代的大模型开源和商业化生态，加之金融行业对数据安全、风险控制、合规性以及精准决策有着极高的要求，使得金融行业的大模型之路进入前所未有的选择陷阱。金融行业正处于数字化转型和采用云原生技术的关键时期，这一过程中，大模型的引入无疑增加了额外的复杂性，但也带来了前所未有的机遇。在过去的一年，大模型加持的金融代码能力、金融多模态能力、金融信息阅读理解能力、金融信息抽取分类加工能力、金融风险管理能力在金融行为学、金融市场与投资学、零售金融、公司金融、财富资管、大健康、大投研等等各个金融数字化领域都有了星星之火一样的尝试。随着大模型技术的成熟，从基于数据集的开发转向基于大规模预训练模型的应用工程体系，我们可以想象未来大模型通过 API 化与云原生环境下的金融业务流程与技术架构的深度整合，从而解决一些从前我们不敢想象的融合问题，比如金融模型应用的成本效率与稳定性，金融知识的准确及专业性、金融合格的严谨可解释性等。不仅如此，云原生和大模型融合的新范式，非常需要新的大模型应用平台降低从特定领域到广泛场景到 AI 应用的门槛。本文取名“百炼成金大金融模型新篇章”，“百炼”代表反复锤炼、磨砺，达到精熟完美的大模型工具链，“点金”象征着创造价值、实现质变的大模型应用集。百炼必定成金，新质生产力会催生新质劳动力，谨以此文抛砖引玉，希望与业内的各位朋友一同探讨如何积极拥抱并运用大模型技术，以应对和驾驭不断变化的市场环境，实现科技金融持续稳定的提质增效和创新发展，携手开启金融大模型未来新篇章。阿里云智能集团副总裁新金融行业总经理张 翅生成式大模型技术的突破将为产业发展注入新的动能，也为改变未来生活带来了无限的想象空间。金融业是大模型应用的重要战场，金融机构纷纷入局，搭建平台、训练领域模型、探索场景应用。但大模型技术仍在演进过程中，尚未形成成熟的技术解决方案，在产业应用的深度、广度和效果上仍需突破。本文基于对大模型发展趋势的判断，提出了金融级 AI 原生的宏大蓝图，针对构建蓝图的六大核心要素，结合丰富的金融场景案例，给出了系统性构建金融级 AI 原生应用的解决方案。这为金融机构规划和实施大模型战略、构建新一代 AI 平台、建设安全可信的 AI 原生应用提供了全面性指导，具有重要的参考价值。金融是用户、知识、服务密集型行业，相信云+大数据+AI 大模型的组合一定会为金融业带来生产力质的提升和用户体验质的飞跃。在全球科技巨擘竞逐的“万模大战”中，金融行业逐渐成为大模型技术的重要应用场景。通过持续创新和优化，生成式大模型在金融领域展现出了巨大的潜力和广泛的应用前景。本文从大模型的技术发展趋势和金融行业面临的实际痛点出发，通过翔实的研究、严密的分析、深刻的洞察，定义了金融级 AI 原生的六大要素，并结合金融业务全流程链条，针对实际落地场景，提供了一系列AI原生应用实施路径建议，在金融行业的数智化发展建设方面，具备良好的启迪和借鉴意义。相信随着大模型技术的不断进步，金融 AI 应用的广度和深度将进一步拓展，为行业带来全新的发展机遇和变革力量。在数字化浪潮中，金融行业正经历着前所未有的变革。百炼成金-大金融模型新篇章为我们揭开了 AI大模型在金融领域应用的神秘面纱，深入探讨了 AI 大模型如何成为数字转型时代的重要驱动力，并详细讨论了其在金融领域的具体应用。从智能投顾到风险管理，大模型技术正不断推动金融业务流程的智能化和创新。百炼成金-大金融模型新篇章不仅分析了 AI 大模型的发展趋势，还深入探讨了金融企业在采纳大模型技术时面临的挑战。作者提出了金融级 AI 原生的六大要素，包括可靠性、低延时、扩展性、安全性、准确性和开放性，为金融行业 AI 应用的安全性和有效性提供了重要参考。这些要素对于确保金融行业在利用 AI 大模型时能够满足行业特有的严格要求至关重要。报告通过深刻的行业洞察、丰富的案例分析以及前瞻性的技术讨论，为金融企业提供了金融大模型应用的路线图和实践指南。相信无论是金融行业的专业人士，还是对金融科技充满热情的学者和研究者，都能从这个报告中获得深刻的洞见和启发。太保集团数智研究院院长平安集团首席科学家上海金融与发展实验室 主 任国家金融与发展实验室 副主任王 磊肖 京曾 刚百炼成金 大金融模型新篇章推荐语RECOMMEND目录CONTENTS01 大模型发展背景与趋势01大模型是DT时代标志性产物 02大模型发展的趋势 0302 金融企业拥抱大模型面临的挑战08问题1:“有限算力+持续进化的算力”，双重制约下的算力资源 09问题2:“开源模型vs商业模型”，左右互搏的自建大模型之路 10问题3:“大模型vs越来越大的模型”，模型size的军备竞赛 11问题4:“大模型RAG一天入门vs365天的持续优化”，RAG系统的修行 12问题5:“杀手级通用大模型vs百花齐放专属大模型”，企业级Ai应用的价值自证？13问题6:“大模型广泛应用vs应用安全隐患”，大模型面临的安全挑战 1403 金融级AI原生的要素与蓝图15金融级Ai原生的发展 16金融级Ai原生的六大要素 17构建金融级Ai原生的蓝图 3004 金融级AI原生应用实践341、应用场景与技术架构选型 352、Ai原生应用实施路径 4305 结语46大模型 发展背景与趋势 大模型是 DT 时代标志性产物 大模型发展的趋势1大模型发展背景与趋势百炼成金 大金融模型新篇章02大模型是 DT 时代标志性产物大模型是数字转型（DT）时代的产物，标志着人工智能技术的一次重大突破，尤其是在自然语言处理（NLP）、图像识别、推荐系统等领域。这些大模型，如 OpenAI 的 GPT 系列、Meta的Llama、Google的Gemini，基于Transformer架构，通过消化海量数据集进行预训练，获得了对人类语言、图像等数据的深入理解和处理能力。知识 文字过去五千年，人类的知识被存储在文字中过去五千年，人类的知识被存储在互联网上现在，人类的知识体系被构建在大语言模型中知识 互联网知识 大模型楔形文字/甲骨文造纸术/印刷术二十四史/大英百科全书谷歌/百度维基百科/知乎脸书/微博大语言模型GPT/BERTChatGPT/通义千问通用人工智能(AGI)AI 大模型：人类知识存储、传承和使用方式的一次重构在数字转型时代，大模型为企业提供了前所未有的机遇，使其能够通过高效的数据分析和决策，实现业务流程的智能化、优化客户体验和创新产品服务。从金融行业的智能投顾和欺诈监测，到医疗行业的智能诊断和药物发现，再到零售行业的个性化推荐，大模型的应用正深刻改变着传统行业的运作模式和价值链。在全域数据“观”一书中，我们曾断言：“数据的下一站是智能，数据最终会走向与业务系统的数智融合”，数据消费正在由“人”变成“系统”。未来数据技术将与云原生和智能化全面融合，形成“云数智一体化”服务。云原生技术栈，为企业带来了资源弹性、异构算力、容器和微服务等技术手段，为业务创新和系统建设提供了高效、敏捷以及成本低、可扩展的解决方案；数据中台的兴起，让企业将数据库里“不会说话”的表格，转换成指标、标签、因子、大模型发展背景与趋势百炼成金 大金融模型新篇章03特征等数据资产形态，并直接用于分析与业务决策。现如今，AI 大模型正在以惊人的速度重构各行各业的业务流程与系统产品，一方面云原生为大模型训练与推理提供了资源保障，数据中台为大模型应用提供高质量语料和结构化知识；另一方面在大模型全面“智能涌现”能力的驱动下，将传统偏零散化的数据能力进一步体系化和智能化，加快 BI+AI 的融合，实现从“洞见”到“决策”，推动企业加速走向“云数智一体化”的终极形态，最终为客户带来更为全新的产品服务体验。大模型发展的趋势趋势一：“Cloud+AI”大模型与云的结合日益紧密在信息技术领域，无疑地，云计算和人工智能（AI）大模型的快速发展正日益成为推动现代社会进步的两大驱动力。特别是在中国和美国，这两种技术不仅诞生并蓬勃发展，还持续引领着全球技术革命的浪潮。随着时间的推移，大模型与云计算的结合日益紧密，这种融合在推动着科技界走向新的里程碑。首先，观察全球技术发展格局可以发现，中国和美国无疑是云技术和 AI 大模型诞生与创新的两大中心。这两个国家不仅拥有领先的技术研发实力，还具备广阔的市场应用场景和成熟的产业生态，促进了云计算和 AI 大模型技术的飞速发展，并在全球范围内形成了巨大的影响力。进一步而言，大模型的迭代进化主要发生在云端。这是因为云计算提供了高度可扩展的计算资源，使得研究人员和开发者能够在无需自建庞大物理基础设施的情况下，进行模型的训练和部署。云平台上的弹性资源和高效管理工具为大模型的开发和优化提供了理想的环境，极大地加速了 AI 大模型的迭代周期，使得模型能够更快地进化和优化，更好地适应各种复杂的应用需求。而且，大模型所遵循的规模定律（Scaling Law）规模定律正重塑着算力基础设施。随着模型规模的不断扩大，其对计算资源的需求也呈指数级增长，这一现象催生了对更高性能、更高效率算力基础设施的需求。云计算平台通过部署先进的硬件技术、优化计算资源分配和加强大模型发展背景与趋势百炼成金 大金融模型新篇章04数据处理能力来应对这一需求，进而推动了算力基础设施的快速进化。这种进化不仅满足了当前大模型对算力的高需求，也为未来 AI 技术的持续创新和应用提供了坚实的支撑。大模型与云计算的紧密结合，不仅体现在中国和美国这两个技术强国的快速发展上，更在于云端成为大模型迭代进化的主战场，以及大模型对算力基础设施的重新塑形。这种趋势预示着，未来科技的进步将在这样的融合与互动中继续加速，推动人类社会进入一个全新的智能时代。趋势二：“AI Everywhere”大模型无处不在，成为企业数字化标配在当今的数字化时代，大模型技术以其强大的数据处理能力和智能化水平，正逐步成为企业数字化转型的标配。其广泛的应用不仅仅局限于传统的计算中心，更是与小模型、新终端以及数据中台结合，共同构筑起一个多元化部署与互联互通的新生态，极大地深化了对数据资源的挖掘与运用能力。首先，大模型与小模型的结合体现了模型部署的多元化。大模型因其强大的学习和预测能力，成为许多复杂任务的首选。然而，针对一些对实时性、资源消耗有严格要求的场景，小模型以其轻量级、高效率的特性，更为适合。通过将大模型预训练的强大认知能力与小模型的灵活部署结合，企业能够更高效、更经济地解决广泛的业务问题，实现智能决策和操作的优化。接着，大模型与新终端的结合拓展了模型链接的多元化。随着物联网(IoT)的蓬勃发展，智能终端遍布生活的每一个角落。大模型不再局限于服务器端的运算，而是通过云计算和边缘计算下沉至各种智能终端，如智能手机、智能家居、自动驾驶车辆等。这种变化使得大模型的应用场景得到极大拓展，为用户带来更加丰富、便捷、个性化的智能服务。最后，大模型与数据中台的紧密结合，促进了图像、音视频、文本等数据集的多元化。数据中台作为企业数据管理和运营的核心平台，为大模型提供了丰富、高质量的数据支持。通过有效地聚合和整合企业内外的各类数据资源，大模型可以在更加多元化的数据基础上进行训练和优化，能够处理和理解更加复杂多变的业务场景，如图像识别、语音视频处理、语言应用等，从而极大地提高了企业的业务处理能力和用户交互体验。大模型正逐步渗透到企业数字化建设的各个层面，与小模型、新终端以及数据中台等多元化的元素相结合，进一步拓宽了其应用范围，提升了处理效率和智能水平。大模型无处不在，已经成为推动企业数字化转型的关键力量。大模型发展背景与趋势百炼成金 大金融模型新篇章05趋势三：“AI Native SaaS Rise”大模型企业级市场崛起，向深度化、产业化、垂直化方向发展大模型技术的崛起已成为推动企业级市场向深度化、产业化、垂直化方向发展的关键动力。企业正越来越倾向于将这一技术作为核心驱动力，深入挖掘其在特定行业中的应用价值和潜力，进而实现智能化升级与业务创新。首先，大模型在企业级市场中的深度化应用成为一种不可逆转的趋势。它们不仅被应用于优化传统的数据处理和分析流程，更在预测分析、个性化服务、自动决策制定等领域中展现出强大的能力。这种深度化应用的背后，是企业对于数据价值认知的提升以及对于操作效率和决策质量改进的需求。“小切口，大纵深”的发展策略，正加速大模型在特定行业中的垂直化和产业化落地。企业通过聚焦于行业的细分领域，利用大模型深耕特定的痛点和需求，不仅提升了解决方案的适配性和有效性，也推动了整个行业的智能化水平。这种策略的实施，充分显示了大模型在解决复杂行业问题时的独特优势，促进了技术与行业深度融合，实现了产业升级。企业间的开放新形态，特别是在金融领域涌现的新的 Open Banking 模式，为大模型技术的应用开辟了更加广阔的舞台。OpenBanking 带来的数据共享和 API 开放不仅有利于现有金融服务的增值，还为金融科技创新和跨行业合作打开了大门。这为大模型技术的应用和发展提供了更加广阔的舞台和应用场景。大模型技术在企业级市场的崛起，不仅预示着企业对于数据和智能的更深层次应用和挖掘，也引领了向产业化、垂直化方向的战略发展。趋势四：“AI API First”大模型功能性能力突破性增长近段时间以来，大模型正在经历功能性能力的快速增长和重大突破，其中多模态、Agent模式以及 AssistantAPI 成为了推动这一进程的关键力量。这些技术革新不仅扩展了大模型在不同领域的应用范围，还为人机交互和应用开发带来了新的可能。多模态技术的出现和成熟拓展了大模型的广度，让机器能够同时处理和理解文本、图像、音频等多种类型的数据，实现了对人类沟通方式的更全面理解。这标志着 AI 从处理单一类型数大模型发展背景与趋势百炼成金 大金融模型新篇章06据向综合理解不同数据类型的重大进步。多模态大模型在提升信息获取的全面性和准确性方面展示了巨大潜力，极大地丰富了 AI 在自动化内容创作、跨媒体信息检索、以及增强现实等方面的应用场景。Agent 模式的崛起，成为人类与 AI 协作的一种重要方式。在这种模式下，AI 可以作为一个个体（agent），拥有自我学习和自主决策的能力，在特定的环境中根据既定的目标执行任务。这不仅表明了 AI 的工作模式正变得更加智能化和个性化，也为人类提供了强大的助手，从简单的数据分析到复杂的决策制定，AIAgent 能够有效地辅助人类完成各种任务，推动人机协作进入新的阶段。Assistant API 的推出，为开发者提供了全新的能力，大幅降低了开发门槛。通过简单的API 调用，开发者可以轻松地将大模型的强大功能集成到自己的应用或服务中，无需深入了解模型内部的复杂机理，即可搭建出智能化程度高、用户体验好的应用产品。这种开放的、低门槛的开发方式，不仅加速了创新应用的推出，也让更多企业和个人能够享受到 AI 技术带来的红利。趋势五：“AI Cyber Security”大模型更重视隐私和数据安全随着大模型的广泛应用，对隐私和数据安全的重视程度日益增强。企业和研究机构正在通过实施一系列措施，来加强对用户数据的保护，确保信息安全和隐私被妥善处理。这些措施的核心在于构建一个有效、可靠的数据管理及隐私防护框架，确保大模型安全评估体系的全面性，并解决 AI 工作的可解释性问题。有效的数据分类分级制度成为奠定数据管理及隐私防护框架的基础。通过对数据进行系统的分类和分级，明确不同类别数据的处理要求和安全标准，可以更加有针对性地制定保护措施。这种方法不仅有助于提升数据处理的效率和精准度，也有利于识别和保护那些最敏感和价值最高的数据，从而有效减少数据泄露和滥用的风险。构建一套全面的安全评估体系对于大模型体系至关重要。这套体系应涵盖大模型训练、部署、应用生命周期的各个阶段，从数据的收集、存储、使用到销毁等，每个环节都应进行严格的安全审查和评估。通过定期进行安全审计、漏洞扫描和风险评估等活动，可以及时发现和修复安全漏洞，强化系统的安全防护能力，减轻外部攻击和内部泄露的风险。大模型发展背景与趋势百炼成金 大金融模型新篇章07随着大模型应用到越来越多的场景，其工作的可解释性问题越来越受到重视。大模型，特别是 transformer 的架构被认为是“黑盒”，难以解释其决策逻辑和过程。增强 AI 工作的可解释性不仅有助于建立用户对 AI 决策的信任，也是确保模型公平、无偏见的关键。通过开发和应用新的解释性技术和方法，让 AI 的决策过程更加透明，可以有效提升模型的公正性和安全性，减少错误决策和偏差带来的风险。金融企业拥抱 大模型面临的挑战2 问题 1:“有限算力+持续进化的算力”，双重制约下的算力资源 问题 2:“开源模型 vs 商业模型”，左右互搏的自建大模型之路 问题 3:“大模型 vs 越来越大的模型”，模型 size 的军备竞赛 问题 4:“大模型 RAG 一天入门 vs 365 天的持续优化”，RAG 系统的修行 问题 5:“杀手级通用大模型 vs 百花齐放专属大模型”，企业级 AI 应用的价值自证？问题 6:“大模型广泛应用 vs 应用安全隐患”，大模型面临的安全挑战金融企业拥抱大模型面临的挑战百炼成金 大金融模型新篇章09“科技本质上是工具，其真正价值在于解决我们面临的各种问题，而非仅限于自我展示的华丽舞台。”这一观点在大模型领域同样适用且更具象化。我们可以定位大模型：“大模型之于问题，恰似钥匙之于锁，其存在的意义在于解锁通往智慧殿堂的大门，而非仅供观瞻的浮华装饰。”大模型在金融领域的广泛应用并非一片坦途，它在为金融机构带来显著价值增益的同时，亦暴露出一系列不容忽视的问题与挑战。这些问题不仅关乎技术层面的可行性与稳定性，更延伸至合规、安全、伦理等多个关键维度，对金融企业的稳健运营与长期发展构成潜在考验。因此，深入探讨金融企业采用大模型可能面临的问题，对于理性评估其战略价值，制定科学的应对策略，乃至推动整个行业在技术创新与风险管理之间找到平衡至关重要。问题 1:“有限算力+持续进化的算力”，双重制约下的算力资源“有限算力+持续进化的算力”，这种双重制约下的算力资源现状，体现了大模型时代中一个核心的矛盾和挑战：如何在当前资源的限制之下，同时规划和适应不断进化和增强的计算能力。这对应用场景选择、资源投入、大模型部署方式等方面提出了复杂的要求。1、算力永远短缺：随着大模型参数量的持续膨胀，其对算力资源的消耗显著增长。同时，在 AI 持续“重塑”业务流程的过程中，对算力资源的需求也出现了急剧飙升。这两方面因素相叠加，共同加剧了现有算力资源供不应求的局面，使得算力短缺成为了一个常态性的挑战。2、硬件高速迭代：GPU 每 18 到 24 个月，迭代出一代新产品，配备更先进的架构和更强大的计算能力，而通常采购周期都以年为单位，使得我们将不得不面对，刚上线的算力资源，就被新一代所淘汰，性价比下降，同时还要面对算力利用率不高，资源极度浪费的情况。3、资源兼容优化配置：国内外的不同厂商 GPU 算力水平参差不齐，技术框架互不兼容，整合这些异构的资源，管理配置和优化算力的使用，将是我们面临的又一个挑战。金融企业拥抱大模型面临的挑战百炼成金 大金融模型新篇章10问题 2:“开源模型 vs 商业模型”，左右互搏的自建大模型之路在大模型选型之路上，是选择开源模型还是商业模型？开源大模型和开源软件是一回事吗？成熟开源软件与当下开源模型区别：1、成熟开源软件通常是技术和能力相对成熟和稳定的软件应用和系统，分享的是完整的代码库和文档，用户可以自由地对与自身业务有关的代码进行修改，一般以使用核心能力为主定制为辅，版本迭代周期相对比较慢，同时也会规定了用户使用软件的权利和限制条件。2、当下开源模型是专注于数据科学、人工智能和相关领域，作为数据处理和分析的关键组件，正处于技术迭代的高速发展期，一般以月或季度为单位进行新版本发布，并且技术和能力持续性攀升，一般版本开源是有限的，无法按照客户业务进行深度的定制，并且全局能力一般不建议调整。开源模型与商业模型的优势与不足：1、开源模型：通常允许用户审查和验证模型的代码和架构，不需要支付额外的许可费用，能够通过社区迭代升级。但需要专业人才研究和业务磨合尝试，周期长见效慢，缺少专门维护和支持，不包含商业产品中的安全和稳定性，文档和易用性支持较弱，模型升级迭代周期一般6-12 个月，业务集成应用的时间会更长。我们不应该拘泥于对种类繁多参数的基础模型进行训练或微调，模型能力比对和测评，应该把更多精力放在如何让模型在业务中产生价值，因为不同的模型因训练数据的差别，业务适配能力又有不同。2、商业模型：提供商虽然提供全面的客户支持和服务，附带明确的服务等级协议（SLA），模型迭代升级非常快，公有云以月为单位小版本迭代，线下以季度订阅更新，并提供对兼容性、稳定性和安全性的保证，能够满足金融行业的法规和遵从性要求，也提供完整的解决方案，软硬件产品的良好整合，降低业务场景落地的风险。但技术透明性较差，长期依赖特定的商业模型和平台可能导致供应商锁定，降低切换供应商的灵活性。金融企业拥抱大模型面临的挑战百炼成金 大金融模型新篇章11问题 3:“大模型 vs 越来越大的模型”，模型 size 的军备竞赛OpenAI 的研究者在 2020 年发现，大语言模型也遵循着规模定律（ScalingLaw），模型参数数量的增加常常被看作是提高模型性能的一个关键因素。这导致了一种被业界戏称为“模型参数的军备竞赛”的现象，即科研机构和科技公司不断推出参数量更大、计算需求更高的模型，以追求在特定任务上的最佳性能。然而，这种军备竞赛带来了诸多挑战：越来越大的模型通常具有更强的学习能力和泛化能力，因为有更多的参数可以捕捉数据中的复杂特征和模式。能够处理更复杂的任务和数据集，通常在各种基准和实际问题上表现更好。随着参数数量的增加，模型通常能够更好地理解语言的细微差别或更精准地识别图像中的对象。但越来越大的模型带来能力提升的同时，也带来了海量的算力消耗，如何根据不同的业务场景选择合适的模型将是一个迫在眉睫的问题？大模型推理运行时，核心消耗的资源是显存，推理过程中除了要加载对应参数的模型，还与输入输出的参数量有关，输入参数越多显存消耗越大，输出参数量越多模型响应越慢，我们根据一个简单的估算公式，来评估不同业务场景的资源消耗：大模型推理的总显存占用公式：1.2（详见参考：TransformerInferenceArithmetic|kipplysblog）以 72B 参数的模型，在 BF16 精度下（浮点数 2 个字节）1.2*（72 亿*2）172.8G运行一个 72B 的大模型至少需要 3 张 A100（80G），现以企业知识库和智能外呼场景为例进行资源评估：知识库检索场景：典型的 RAG 增强检索高并发场景，输入少输出多，每次问题请求处理时间在 1-2s，峰值支持 50 并发（按照 5000 人的金融机构有 1%的并发率），需要的 GPU卡的数量在150-300张A100（80G），如果想要更精准的回复，可以选择200B或更大的模型，金融企业拥抱大模型面临的挑战百炼成金 大金融模型新篇章12但 200B 大模型算力消耗会有 2.7 倍的增加。智能外呼场景：典型的高并发低延时场景，输入多输出少，每次意图识别响应时间 200-300ms，峰值支持 1000 并发，需要的 GPU 卡的数量在 600-900 张 A100（80G）。在正式生产业务应用时，业务是有典型的波峰波谷的，如果我们按照波峰要求建设算力池，势必会带来资源的低效使用，例如：知识库检索应用的平均资源利用率在 20%-30%；智能外呼应用的平均资源利用率在 5%-10%。如何提高算力资源利用率将是一个颇具挑战的问题？问题 4:“大模型 RAG 一天入门 vs 365天的持续优化”，RAG 系统的修行Retrieval-AugmentedGeneration(RAG)技术巧妙融合了信息检索与文本生成的双重优势，为应对复杂查询和生成任务（如问答系统、内容创造）提供了强有力的支持。尽管 RAG技术展现出显著提升模型效能与拓展应用领域的潜力，它也遭遇了几点核心挑战，制约着其性能的极致发挥：1、语义检索难关：实现精准的语义检索面临重重障碍，首要在于深入理解用户查询与文档内容的深层含义，并准确评估两者间的语义契合度。当前普遍采用基于数据向量化的手段，在向量空间通过距离或相似度指标来衡量语义接近度，但这种方法难以完美解决语义多义性、信息粒度不匹配、全局与局部相关性的权衡，以及向量空间分布不均带来的检索效率与效果问题。2、信息增强的精细度：整合检索信息的过程中，若缺乏对上下文的把握，生成的文本容易显得碎片化，连贯性缺失。特别是在处理来自多个来源、风格迥异的段落时，既要避免内容重复，又要依据查询语境对检索片段精挑细选并合理排序，以确保输出的一致性和流畅度，这一过程考验着信息增强机制的智能化水平。3、延迟挑战：在即时交互场景，如在线客服对话系统中，检索与生成的响应时间直接关系到用户体验。为了减少延迟，优化模型效率与系统架构成为迫切需求，要求 RAG 技术能在高时效性要求的应用中稳定运行。金融企业拥抱大模型面临的挑战百炼成金 大金融模型新篇章13问题 5:“杀手级通用大模型 vs 百花齐放专属大模型”，企业级AI应用的价值自证？企业在利用大模型进行业务升级改造时，选择使用一个杀手级通用大模型，还是百花齐放的专属大模型，取决于您具体的业务需求、战略目标和资源限制。无论选择哪种模式，都会面临挑战和价值自证。杀手级通用大模型：选择大参数的基础模型，结合企业的数据进行微调，构建企业级的杀手级通用大模型。其优势在于能快速处理多样化的任务和应用场景，更快的带来直接的业务价值和经济收益；其挑战在于越大参数的模型微调需要的数据量就越大，算力消耗也更大，而且也较难应对特殊的高并发低延时场景。百花齐放的专属大模型：根据不同知识域的业务需要，选择适合参数的大模型微调业务专属大模型，能够吸引和满足更广泛的客户群体和个性化定制服务的需要。通常情况越小参数的大模型，微调的效果越好，越大参数的模型微调的效果越难保障。多样化的模型和应用需求，可以快速推动企业在不同领域进行技术和业务创新。但多样化专属大模型，贵在精不在多，如何决策需要构建哪些专属大模型呢？又如何解决多个专属大模型统一运维管理的挑战？无论选择哪种方式，都要确保大模型构建的 AI 应用能够与企业的长期战略相契合，并在实现业务目标的同时，提升客户体验和企业运营效率。因企业的自身特有数据量有限，大模型的微调需量力而行，比如当前千亿参数以上的大模型就不适合微调，不仅成本消耗大且能力提升有限，有可能还会影响原有大模型的推理能力。更为重要的是要建立收集反馈和定期评估应用的机制，推动大模型和业务应用的优化，在不断调整和完善中体现出 AI 大模型的价值。金融企业拥抱大模型面临的挑战百炼成金 大金融模型新篇章14问题 6:“大模型广泛应用 vs 应用安全隐患”，大模型面临的安全挑战随着大模型深入应用，一些因大模型关联引发的安全问题让大家重视起来，如大规模数据采集和应用带来的个人隐私泄露和滥用的问题，大模型生成内容可能带有的偏见歧视、违法违规、科技伦理类问题，以及利用大模型强大能力用于欺诈等恶意应用场景的问题等。总的来说，大模型在安全方面面临大模型自身安全和模型应用安全两个方面的挑战。大模型自身安全的挑战：1、大模型训练安全：如何使用数字加密技术和差分隐私技术在训练过程中保护敏感数据安全？如何清洗训练数据，以避免潜在的恶意数据注入或偏差造成的训练问题？如何定期对训练数据和模型权重进行审计，以检测潜在的安全隐患或异常模式？2、大模型生成的风险：涉及敏感知识点的问题不允许答错：但大模型本身的幻觉问题严重，怎样避免？隐晦风险和多轮对话上下文：传统的防控手段很难应对这么复杂的风险，怎么办？复杂的指令对抗：对于层出不穷的诱导、变种等攻击，怎样能做到全面的防控？大模型应用与部署安全的挑战：1、大模型部署安全：如何针对模型抵抗对抗性攻击做强化训练，例如将对抗性样本加入训练集进行鲁棒性提升？如何对模型输入实施严格的验证和过滤机制，以防止恶意输入？如何实施访问控制和身份验证机制，确保只有授权用户才能访问和使用模型？2、模型应用部署安全：如何针对模型应用服务访问控制和输入输出进行安全防控？如何进行防御 DDoS 攻击、防范恶意勒索、大促安全风控、远程办公安全等风险的实时防护？如何持续监控模型性能和行为，以及它们对输入反馈的响应，以便及时发现问题，实施日志记录和异常检测系统来追踪潜在的安全事件？如何构建有效的大模型安全围栏，制定安全措施和策略，保障大模型应用的完整性、隐私、可控性和抵御外部攻击？金融级 AI 原生的 要素与蓝图3 金融级 AI 原生的发展 金融级 AI 原生的六大要素 构建金融级 AI 原生的蓝图金融级 AI 原生的要素与蓝图百炼成金 大金融模型新篇章16金融级 AI 原生的发展讲到 AI，业内主要分为生成式 AI（GenerativeAI）与判别式 AI（DiscriminantAI）这两种不同类型的机器学习模型，它们在数据建模和应用领域上存在显著差异。判别式 AI，主要关注基于已有数据进行分析和预测。它通过学习输入和输出之间的关系来建立决策边界，对新的输入数据进行分类或回归等任务。常见的判别式 AI 模型包括逻辑回归、支持向量机和深度神经网络等。判别式 AI 在推荐系统、风控系统等领域有广泛应用。生成式 AI 则关注学习输入数据的分布规律，并模拟出与输入数据类似的新数据。它不仅能预测数据之间的关系，还能够生成新的数据。AI 原生系统从一开始就被设计成能够充分利用判别式 AI 和生成式 AI 技术，以实现数据驱动、智能化决策和服务的自动化。AI 原生涵盖了从数据处理、模型训练、推理应用到迭代优化的全过程，目的是让 AI 技术如同操作系统一样成为日常业务运行的基础。判别式模型客户推荐信用评分文本分类情感分析生成式模型图像生成代码生成视频生成文本生成AI 驱动数据驱动智能交互端到端智能化用户体验优化AI 原生金融级 AI 原生低延时高并发准确严谨开放兼容可靠稳定安全合规灵活扩展金融级 AI 原生的要素与蓝图百炼成金 大金融模型新篇章17AI 原生是一种全新的技术架构和思维方式，将 AI 技术作为一种基础能力，深度整合到企业的基础设施、业务流程、产品设计和服务模式中。金融机构作为国民经济的中枢支柱，其运作效能、风险管控及服务质量对社会经济的整体稳定与发展具有深远影响。金融级 AI 原生（Financial-GradeAINative）是一个综合性概念，旨在描述那些专为满足金融行业最严格需求而设计和优化的 AI 系统和应用。这些系统不仅在技术层面上高度先进，还在安全性、可靠性、可扩展性和合规性等方面达到了金融行业的高标准。金融级 AI 原生的六大要素AI 技术在金融行业中扎根生长并深入应用，必须严格遵循金融行业的业务规则与标准，这就催生了专为金融领域打造的金融级 AI 原生。综合考虑金融级行业要求、AI 原生核心技术，我们将金融级 AI 原生总结为如下 6 大要素：安全性和合规性扩展性与多样性可靠性和稳定性低延时与高并发开放性与兼容性准确性与严肃性知识密集型应用全链路数字化应用多模态数字化应用低延时：推理优化与加速高并发：调度优化来支撑准确性：输出与真实答案或标准标签的匹配程度严肃性：生成内容的专业性、可靠性、责任性和道德规范性。可靠性：自动容错和作业自动重启、模型自动保存与恢复稳定性：采用云原生技术提供弹性伸缩，保证稳定性扩展性：计算资源可以根据需求动态增减多样性：模型尺寸的多样性、多模态、模型部署形态的多样性安全性：模型安全和内容安全合规性：综合技术、法律和道德考虑来处理开放性：开源与商业版大模型相结合，打造 AI 原生生态兼容性：工具平台的兼容性和可移植性金融行业AI 原生金融级 AI 原生金融级 AI 原生的要素与蓝图百炼成金 大金融模型新篇章18要素 1：可靠性和稳定性当前金融行业随着数字化、智能化的转型，越来越多的金融级 AI 原生应用涌现，大规模智算资源的统筹管理和编排调度，对于确保金融基础设施的连续性与稳定性成为至关重要的能力基石。下面从训练态和推理态两个方面来说明智算平台需要提供怎样的能力来保证应用的可靠性和稳定性。训练态：智算平台需要大规模集群调度管理，洞察集群状态与性能变化，掌控系统全貌。通过训练引擎自动容错来屏蔽底层错误，提升任务稳定性和鲁棒性。通过实时保存模型文件，大幅度提高训练任务的整体效率。通过云原生性能测试平台，完成一键测试系统性能，及时发现隐藏的瓶颈。RDMA 网络全自动化开通，开箱即用，内置监控、诊断、性能分析，支持白屏化和 api，实现真正的 zero-touchRDMA。大规模集群网络管理系统模型自动保存与恢复容错训练与故障自愈组件一键性能评测工具自动容错和作业自动重启等，自定义错误监测，只需配置少量参数，对用户训练代码无侵入。支持秒级 checkpoint，保障训练任务快速回复，训练精度无损；上手容易，仅需 5 行左右代码。云原生性能测试平台，自动完成典型 AIGC 场景标准化模型的性能回归，构建性能基线，让系统性能“可管可控”。NUSA网络硬件系统（不同网卡/不同网络架构）GDR 驱动AlibondingRDMA 基础库网卡固件网卡驱动基础组件统一数据管理统一配置通道硬件资源编排硬件资源采集硬件资源抽象硬件资源识别中间组件资源管理性能分析周期巡检秒级监控自动升级拓扑生成性能测试实时诊断监控上报自动部署服务组件客户自有管控系统灵骏控制台统一故障信息采集平台持久化层PyTorchEasyCkptPyTorchEasyCkpt按需ckptAIMaster数据层集群监控组件作业控制器调度器控制层作业容错处理重建隔离替换机器坏机器提示金融级 AI 原生的要素与蓝图百炼成金 大金融模型新篇章19推理态：目前大模型的推理部署还没有一个事实标准，一方面不断有新的模型发布，另一方面也不断有新的训练和推理方法被提出，再者国产化 GPU 硬件和软件生态也在快速迭代，这给大模型推理服务生产上落地带来不小挑战。为了应对上述挑战在模型准备和部署阶段，我们建议