2023大模型落地应用案例集.pdf

大模型落地应用Foundation ModelPractical Application Collections大模型测试验证与协同创新中心中国信息通信研究院华东分院中国信息通信研究院人工智能研究中心上海人工智能实验室开源生态发展中心/主编单位/牵头单位大模型落地应用Foundation ModelPractical Application Collections大模型测试验证与协同创新中心中国信息通信研究院华东分院中国信息通信研究院人工智能研究中心上海人工智能实验室开源生态发展中心/主编单位/牵头单位大模型落地应用案例集2023Foundation ModelPractical Application Collections大模型测试验证与协同创新中心牵头单位中国信息通信研究院华东分院中国信息通信研究院人工智能研究中心上海人工智能实验室开源生态发展中心/主编单位/编辑委员会主编廖运发 乔 宇 魏 凯编辑陈俊琰 许劭华 李 论 牛晓芳 常永波执行编辑周芷含 章 舟 朱嘉琳 刘晶晶主编单位中国信息通信研究院华东分院中国信息通信研究院人工智能研究中心上海人工智能实验室开源生态发展中心上海人工智能实验室上海商汤智能科技有限公司上海说以科技有限公司上海昇腾人工智能生态创新中心上海特赛发信息科技有限公司上海天壤智能科技有限公司上海稀宇科技有限公司上海岩芯数智人工智能科技有限公司上海智象未来计算机科技有限公司上海众深科技股份有限公司上海卓繁信息技术股份有限公司壹沓科技（上海）有限公司优刻得科技股份有限公司云从科技集团股份有限公司云南联合视觉科技有限公司云知声（信阳）数字科技有限公司支付宝（中国）网络技术有限公司中国金茂控股集团有限公司中国商飞上海飞机设计研究院中企网络通信技术有限公司竹间智能科技（上海）有限公司阿里云计算有限公司北京百度网讯科技有限公司北京九章云极科技有限公司北京泡泡玛特文化创意有限公司北京水木分子生物科技有限公司北京信工博特智能科技有限公司北京智谱华章科技有限公司北京中科汇联科技股份有限公司东方财富信息股份有限公司恒生电子股份有限公司华为技术有限公司京东云（*按单位首字拼音排序）对案例集的参编单位表示感谢：九度数字科技（苏州）有限公司昆仑万维科技股份有限公司蚂蚁科技集团股份有限公司蚂蚁星河(重庆)信息技术有限公司OPPO 广东移动通信有限公司软通动力信息技术（集团）股份有限公司三六零安全科技股份有限公司上海百川智能技术有限公司上海传之神科技有限公司（OpenCSG）上海道客网络科技有限公司上海氪信信息技术有限公司上海蜜度科技股份有限公司上海人工智能实验室上海商汤智能科技有限公司上海说以科技有限公司上海昇腾人工智能生态创新中心上海特赛发信息科技有限公司上海天壤智能科技有限公司上海稀宇科技有限公司上海岩芯数智人工智能科技有限公司上海智象未来计算机科技有限公司上海众深科技股份有限公司上海卓繁信息技术股份有限公司壹沓科技（上海）有限公司优刻得科技股份有限公司云从科技集团股份有限公司云南联合视觉科技有限公司云知声（信阳）数字科技有限公司支付宝（中国）网络技术有限公司中国金茂控股集团有限公司中国商飞上海飞机设计研究院中企网络通信技术有限公司竹间智能科技（上海）有限公司东方财富自研金融大模型.基于大模型的信息结构化抽取方法.天津金城银行金融大模型示范应用.文修大模型助力中文校对提质增效.新型金融风险防范可信金融大模型.信阳市智慧工业平台.遥感大模型在农业信贷场景的应用.中国金茂人工智能大模型企业内部场景应用.中山大学附属医院智慧医院项目.阿斯利康：基于学术文献溯源的药品不良反应报告生成助手.基于知识图谱和大语言模型的制造业数字化转型平台.东方翼风大模型.智己汽车：用大模型打造智能时代出行变革者.基于山下话童大模型的贷后催收示范应用.海淀区一网统管接诉即办工程项目.风乌气象大模型.基于大模型的智能培训.面向围手术期的医专大模型研究及其落地应用.通过大语言模型与材料领域技术文件集合对原材料质保书进行智能审查.智能投顾助手光子善策.支小助-大模型金融专家智能助理.AGI 云上模型服务平台.蚂蚁集团大模型数据高质量供给平台.基于大模型的壹沓数字员工超自动化平台.云原生大模型知识库平台.众调科技：营销 AI 培训产品.信息安全大模型平台.全自研 AI 整合平台“HeyLisa”.第一章 通用大模型基于人工智能大模型技术的开放平台.可控可信的私域知识问答系统.MiniMax 大模型医疗咨询解决方案.言犀基础大模型.国内首款可私有化部署的企业级数据分析智能体TableAgent.九章云极知识管家打造企业专属大模型智能底座.“Pixeling 千象”.书生筑梦视频生成大模型.书生浦语开源大模型.百川大模型在娱乐领域的应用.AnimateDiff ：一项基于个性化文生图模型扩展后的视频生成框架.通义千问 2.0 在企业场景的应用.昆仑万维“天工”大模型.第二章 垂类大模型梧桐招聘-基于百度智能云千帆大模型平台的智能招聘系统.面向游戏行业的图像内容生成式大模型.中公网校：小鹿老师，为年轻人创造更多就业与成长机会.新华妙笔 AI.小布助手.ChatDD 新一代对话式药物研发助手.大模型数据分析智能助理 DeepInsight Copilot.单晶炉自动化工艺识别多模态大模型.基于 NDAI 大模型的政务元宇宙平台.慧政大模型面向政务服务垂直大模型.基于循道政务大模型的免申即享系统示范应用.第三章 大模型服务目 录CONTENTS101420243034384448525458606670748084889498104108112116120124128132136142146150156160166170174178182184186192194200204210214216220222226东方财富自研金融大模型.基于大模型的信息结构化抽取方法.天津金城银行金融大模型示范应用.文修大模型助力中文校对提质增效.新型金融风险防范可信金融大模型.信阳市智慧工业平台.遥感大模型在农业信贷场景的应用.中国金茂人工智能大模型企业内部场景应用.中山大学附属医院智慧医院项目.阿斯利康：基于学术文献溯源的药品不良反应报告生成助手.基于知识图谱和大语言模型的制造业数字化转型平台.东方翼风大模型.智己汽车：用大模型打造智能时代出行变革者.基于山下话童大模型的贷后催收示范应用.海淀区一网统管接诉即办工程项目.风乌气象大模型.基于大模型的智能培训.面向围手术期的医专大模型研究及其落地应用.通过大语言模型与材料领域技术文件集合对原材料质保书进行智能审查.智能投顾助手光子善策.支小助-大模型金融专家智能助理.AGI 云上模型服务平台.蚂蚁集团大模型数据高质量供给平台.基于大模型的壹沓数字员工超自动化平台.云原生大模型知识库平台.众调科技：营销 AI 培训产品.信息安全大模型平台.全自研 AI 整合平台“HeyLisa”.（*案例排名不分先后）1第 一 篇 章Chapter One.通用大模型大模型落地应用案例集Foundation ModelPractical Application Collections08091Chapter One.通用大模型第 一 篇 章大模型落地应用案例集Foundation ModelPractical Application Collections0809通用大模型垂类大模型大模型服务2023大模型落地应用案例集Foundation ModelPractical Application Collections1011通用大模型垂类大模型大模型服务2023大模型落地应用案例集Foundation ModelPractical Application Collections1011 1860 亿参数规模的基础大模型：该平台配备了规模庞大的基础大型模型，拥有卓越的内容生成、智能推理、语义检索、情景感知和多语言转换等智能交互能力。这使得用户能够在各种应用场景中更灵活地应用大型语言模型。丰富大模型类型：平台提供 130 亿参数通用大模型、130 亿参数代码专用大模型、130 亿参数 SQL 专用大模型以及 130 亿参数 10K 上下文专用大模型，以满足不同领域的需求，从通用应用到特定任务，都能得到支持。大型语言模型服务接入：平台支持大型语言模型服务的接入，为开发者提供了广泛的选择，使他们能够根据具体要求轻松定制模型。微调与部署能力：平台提供方便快捷的大型语言模型微调和部署功能，让开发者能够快速生成多领域的定制模型，以满足特定应用的需求。高效的应用开发能力：平台支持多项技术创新，包括提示词工程、敏感词检测、多格式文件输入增强以及文档集搜索增强，这些技术创新使应用开发更加高效。多渠道支持：平台支持 WebAPP 页面应用以及后台 API 调用管理，提供了多种应用渠道，以满足不同应用场景的需求。资源动态调配：基于分布式计算集群的资源动态调配，确保平台在不同负载下的高效性能，为用户提供卓越的体验。高效模型训练：平台提供适用于不同场景的预训练模型，基于预训练模型的专业模型优化，极大地削减了模型开发周期和资源成本。概 述需求分析案例介绍本项目通过搭建高性能 GPU 计算集群、训练通用大语言模型、训练垂类大语言模型、搭建大语言模型微调平台、搭建大语言模型应用开放平台等核心模块，旨在打造大语言模型服务和应用平台，为大语言模型技术的研究和应用提供一个开放、可扩展、可协作的环境。这个平台除了通用大语言模型外，还提供大量共享的数据集、算法库、模型微调工具等资源供开发者使用，同时大语言模型应用开放平台提供一整套完整的大语言模型生态应用工具链，从而加速大语言模型的训练以及大语言模型生态应用的开发和使用过程。随着生成式人工智能技术步入深化阶段，以 chatGPT 为代表的大语言模型潜力凸显，在各个领域得到了广泛的认同和应用。2022 年全球 GenAI 市场整体收入为 400 亿美元，预计 2027 年及 2032 年将分别达到 3990 亿美元和 1.3 万亿美元，20222032 年复合增长率高达 42%。而国内众多行业企业受到算力和数据等因素的制约，不能快速高效地使用最新的 AI 工具和成果。因此，建设一个高性能、稳定可靠的大模型开放平台，从而降低人工智能应用的门槛，提高开发效率和降低开发成本，促进人工智能领域的合作与交流，加快人工智能技术的创新与应用，成为了一个非常有意义的工作。大语言模型开放平台旨在为大语言模型技术的研究和应用提供一个开放、可扩展、可协作的环境。该平台不仅为开发者提供大型语言模型、大规模数据集、模型微调工具以及大型语言模型应用开发工具等资源，还加速了大型语言模型的训练过程，促进了大型语言模型在不同领域的应用落地。核心能力和技术创新点：天壤智能是国家高新技术企业，上海市专精特新企业。公司聚焦人工智能深度学习和大数据挖掘技术，开发大模型、小样本、多重迭代的人工智能决策优化算法，致力于打造复杂场景下的智能决策辅助体系和通用人工智能平台。现已成功落地生物制药、智慧交通、智慧商业、数字金融等多个领域。上海天壤智能科技有限公司基于人工智能大模型技术的开放平台通用大模型垂类大模型大模型服务2023大模型落地应用案例集Foundation ModelPractical Application Collections1213通用大模型垂类大模型大模型服务2023大模型落地应用案例集Foundation ModelPractical Application Collections1213目前，该开放平台已进入内测阶段，吸引了企业用户 1000+位，实现了 200+个大型模型应用的开发。平台与多家重要合作机构建立了合作关系，其中包括中国人民解放军军事科学院、国防科技大学、中科院生命科学研究院、苏州超算中心、加拿大 Ploytide 生物科技有限公司等等。这些机构基于平台提供的大语言模型应用建设能力，共同推动了大型语言模型技术的应用和研究。应用落地与合作机构：效益分析该平台的建成能提高企业的大语言模型应用开发速度，降低开发成本，并提供了良好的商业模式：平台可以通过提供专业领域增值服务、付费订阅等方式从用户中获取收益，从而推动平台的可持续发展，而平台本身的开放性和共享性也能够吸引更多的开发者加入，进一步扩大平台的规模和影响力。此外，本项目可以推动人机交互模式和工作模式的变革，加速 AI 应用的落地和普及，从而营造大模型产业生态。通用大模型垂类大模型大模型服务2023大模型落地应用案例集Foundation ModelPractical Application Collections1415通用大模型垂类大模型大模型服务2023大模型落地应用案例集Foundation ModelPractical Application Collections1415上海岩芯数智人工智能科技有限公司可控可信的私域知识问答系统概 述需求分析RockAI（岩芯数智）是以认知智能为基础，专注于自然语言理解、人机交互的科技创新型企业，是A 股上市公司（002195.SZ）上海岩山科技股份有限公司的控股子公司，公司秉承“新科技改变生活”的理念，致力于构建自研基础 AI 大模型+行业垂直模型的技术结构，实现“1 个 MaaS 平台，多种应用场景”策略，打造客户信赖的认知智能平台。私域知识问答系统是一种旨在满足特定组织或团队内部需求的智能信息获取工具。其产品形式包括：知识问答、企业助理、办公助手、智能客服、数字员工等。岩芯数智通过自研构建可控可信的通用大模型，缓解了行业中大模型幻觉问题，提升模型的精准问答能力，回答准确率达到 90%，目前已在多家企业内部部署应用。信息是解决问题的基础，在企业和组织内部，员工和团队通常需要访问特定领域的知识和信息，以解决问题、获得支持或做出决策。传统的知识库和文档系统可能存在检索和更新的问题，导致信息不易获取。在传统的知识获取中，用户将知识库放入到全文索引库中，然后用户利用关键词获取全文检索的结果，即属于当前传统搜索引擎的模式，该模式下主要存在以下两方面的问题：全文检索的方式需要关键词精准命中，对用户的输入要求更高。全文检索命中的是相关性，只是找到答案附近的文本，无法精准定位答案。本私域知识问答系统的背景是通过结合岩芯数智可控可信的通用大模型，提供一种更智能、互动和高效的方式来访问和共享知识。案例介绍 知识管理私域的知识问答系统具有强大的知识管理能力，允许用户创建、编辑和组织知识文档、常见问题解答（FAQ）、操作手册和培训材料等；多轮点的知识问答系统提供高效的问答功能，用户可以轻松查找所需的信息，以减少时间浪费和提高生产率；权限管理系统提供灵活的权限管理，确保只有授权人员可以访问和编辑特定的知识文档，以维护知识的安全性和可维护性。技术上为缓解大模型的幻觉问题以及提升模型回答问题的准确性，岩芯数智专研模型的可控可信能力。模型结构采用岩芯数智完全独立自研的可线性计算的自然语言关联特征表示模型，相比基于 Attention 机制的 Transformer 架构大模型，可大幅度的提升模型训练效率和应用效果。图 1 基本流程基本流程：主要能力：技术创新：通用大模型垂类大模型大模型服务2023大模型落地应用案例集Foundation ModelPractical Application Collections1617通用大模型垂类大模型大模型服务2023大模型落地应用案例集Foundation ModelPractical Application Collections1617图 2 自然语言关联特征表示的简单示例过程图 3 自然语言关联特征的现象计算单元叠加示例图 4 标准 Transformer 架构训练某一任务 loss 变化趋势图 5 岩芯数智自研模型训练某一任务 loss 变化趋势模型的结构基础是基于线性计算的自然语言关联特征表示方法，为了增强的应用能力，需对线性计算的特征进行不断地叠加。通用大模型垂类大模型大模型服务2023大模型落地应用案例集Foundation ModelPractical Application Collections1819通用大模型垂类大模型大模型服务2023大模型落地应用案例集Foundation ModelPractical Application Collections1819图 4 与图 5 是相近参数量下，针对同一任务的训练，标准 Transformer 模型与岩芯数智自研模型的 loss 变化趋势。图 4 为基于 Transformer 架构的预训练模型在训练集和验证集上的损失值表现情况，图 5 为岩芯数智自研大模型。可以发现在训练 100 个 epoch 下，岩芯数智自研模型已经出现过拟合的现象，其中验证集中的最低损失值在 3.5 左右，而基于 Transformer 架构的大模型，在 100 个 epoch 下未完成收敛，且验证集中损失值依然在 4 以上。上述也表明改进后的模型具备更快的收敛效率，基本上在第 10 个 epoch 下就达到了最佳状态，因此收敛效率远高于 Transformer 架构。提高生产力处于私域的人员能够更快地找到所需的信息，解决问题，减少工作中的困惑，从而提高生产力；知识共享促进了内部知识共享和协作，有助于打破信息孤岛，使组织更加协调一致；风险降低通过更好的知识管理，组织可以减少风险，提高合规性。本私域的知识问答系统已经在多家企业内部落地，回答准确率达到 90%以上。实施效果：应用落地情况：效益分析经济效益私域的知识问答系统有助于提高生产力和效率，减少支持部门的负担，降低了组织的运营成本；商业模式通过许可付费、订阅付费以及自定义解决方案三种方式实现用户付费；应用推广前景 企业内部应用：私域的知识问答系统在企业内部可以用于知识管理、员工培训、问题咨询以及改善组织内部的工作流程；教育领域：学校、大学和教育机构可以本系统来改善教育过程，促进学生之间和教师之间的知识共享，提高教育质量；医疗健康领域：可以提高医疗专业人员之间的知识共享，改善患者护理，提高医疗服务质量；私域的知识问答系统可以在各种领域都有广泛的应用，为组织带来经济效益、社会效益，同时提供多样化的商业模式选择。通用大模型垂类大模型大模型服务2023大模型落地应用案例集Foundation ModelPractical Application Collections2021通用大模型垂类大模型大模型服务2023大模型落地应用案例集Foundation ModelPractical Application Collections2021上海稀宇科技有限公司MiniMax 大模型医疗咨询解决方案概 述MiniMax 成立于 2021 年 11 月，是一家专注于通用人工智能的科技创业公司。成立至今，MiniMax自主研发了“MiniMax-abab”文本、语音、视觉三模态的千亿参数大语言模型，在中、英文服务领域均已超过 GPT-3.5 的水平。2023 年 8 月，“MiniMax-abab”大模型通过了国家首批大模型服务备案，可以面向社会公众提供服务。立足自研的大语言模型，MiniMax 布局 2B、2C 业务，是商业化落地最快的中国大模型初创企业之一。在赋能千行百业方面，公司的 MiniMax 开放平台已服务数百家行业客户，是公用云上在线调用量最大的大模型开放平台，在金山办公、腾讯、小米、阅文、小红书等多个行业头部客户取得了实际落地。在服务终端用户方面，已在国内上线“星野”、“应事”等多个 APP。项目背景在我国的医疗健康产业领域，医疗咨询场景对于专业度与紧迫性要求极强。MiniMax 发挥算法优势，突破应用落地，协同药师和患者双方进行辅助咨询，助力实现全体公民的健康福祉。技术解决路径面对庞大的患者数量、极高的专业性要求与人工成本，MiniMax 为医疗咨询行业提供了解决方案，通过协助药师定期回访并回答患者的专业问题，极大提高了服务效率和专业水平。精准学习垂类医疗领域知识挑战 1：大语言模型在专业知识方面缺乏有效回应MiniMax 的解决方案：构建外挂知识库，提升通用大模型回答垂类领域问题的准确性。轻松应对个性化、多样化的用户提问挑战 2：如何回答个性化、多样化的用户问题类型并给予针对性回复MiniMax 的解决方案：凭借大模型长记忆能力，进行多轮对话，提供给个性化用药咨询。准确理解问题意图与专业概念挑战 3：尽管大型语言模型在处理问题意图和回答问题方面取得了进展，但对医学文献中概念的理解能力仍有待提高MiniMax 的解决方案：通过提高大语言模型自身的能力、应用少样本提示和模型微调等方法，结合多种手段以提升模型对专业领域概念的理解。通用大模型垂类大模型大模型服务2023大模型落地应用案例集Foundation ModelPractical Application Collections2223通用大模型垂类大模型大模型服务2023大模型落地应用案例集Foundation ModelPractical Application Collections2223需求分析案例介绍效益分析医疗咨询行业的困境以肿瘤治疗为例 肿瘤治疗的成功是实现全民健康的关键环节中国每年新增肿瘤患者超过 400 万，每年去世肿瘤患者大约 300 万。这一数据表明，肿瘤治疗已成为全民健康实现的关键环节。院外个性化用药咨询对肿瘤患者不可或缺在肿瘤患者就医的全周期中，院内时间仅占10%左右，而其余90%的时间都在院外度过。在此期间，患者的用药依存性、转移情况、疗效追踪、不良反应、营养情况、心理状态等方面都需要药师或医生及时随访，并提供相应的咨询服务。以患者为中心的人工服务面临挑战以患者为中心的人工服务在专业度、成本和可扩展性方面存在诸多挑战。首先，数十种肿瘤病种和数百种抗肿瘤药物的知识体系庞大且复杂；其次，单病种就有成百上千篇知识文档，对药师的持续学习能力要求很高；最后，1 名药师每个月最多能服务 300-350位患者，这意味着需要数千名药师来满足患者的需求。以上如此庞大且急切的需求单凭人工手段无法得到全部满足。高济神农 是高济健康与 MiniMax 共同打造的智能患者管理系统。基于 MiniMax-abab 大语言模型，它构建了包含数亿条医学专家指南和共识的肿瘤知识库，同时包括营养、心理、疾病知识、康复预后等内容。通过知识增强技术外接到大模型中，以高济累积的超 80 万肿瘤患者真实服务场景为基础，经过 200 余家药房药师的反复调试优化，对于肿瘤用药及不良反应问题的回答准确率高达 97.6%。“高济神农”智能患者管理体系三大落地应用：专为药师打造的高济 HealthMate 智能助手、智能随访系统、数字人用药指导解读。高济 HealthMate 可以根据患者档案，在用药、不良反应、不良反应指导、饮食营养等多个维度辅助药师做出更准确、迅速、个性化的判断和建议，并建设流式回答来减少患者等待时间。通过智能随访系统，药师只需要输入对患者的基本情况、不良反应症状等信息，系统会给出相对应的处理建议。药师评估判断患者的健康情况，它便能生成更人性化、个性化以及易读性的随访小结，提升药师工作效率和患者体验度。给患者的用药指导、随访小结等相关内容都经过专业药师审核。同时，“高济神农”还利用数字人技术为老年患者提供易理解的药品说明和营养建议视频，帮助他们享受更便捷的互联网医疗体验。“高济神农”是一次对肿瘤患者安全用药管理未来方向的探索。在进博会上发布最新“高济神农 2.0”，增加了智能院外患者管理体系，旨在通过持续不断洞察患者需求，提升患者服务体验。经济效益高济神农产品的使用，可以有效提升高济药师咨询服务的专业水平，提升服务质量。同时，扩大可服务病患人群，覆盖数倍于之前规模，助力提升全民健康。商业模式针对知识库构建和调优服务一次性收费，同时，按照问答消耗的 token 数量，依照实际调用量按量计费。应用推广前景高济神农合作项目的知识库解决方案，有效提升了药师的专业性，可覆盖更多人群。知识库方案在医疗行业中，针对需要为患者提供专业咨询服务的场景，具备很强的可复制性，市场潜力很大。通用大模型垂类大模型大模型服务2023大模型落地应用案例集Foundation ModelPractical Application Collections2425通用大模型垂类大模型大模型服务2023大模型落地应用案例集Foundation ModelPractical Application Collections2425京东云言犀基础大模型概 述京东科技是京东集团旗下专注于以技术为政企客户服务的业务子集团，秉承科技引领、助力城市及产业数智化升级的使命，我们致力于为政府、企业、金融机构等各类客户提供全价值链的技术性产品与服务。基于人工智能、云计算、大数据、物联网等前沿科技，依托京东多年耕耘供应链的积累，京东科技是最懂产业的数智化解决方案提供商，面向不同行业提供以供应链为基础的数智化解决方案。2021 年 1 月，京东科技在原京东数科与京东智联云基础上重组完成，融合了两大技术业务板块的综合实力，京东科技现已成为整个京东集团对外提供技术服务的核心平台，拥有丰富的产业理解力、深厚的风险管理能力、用户运营能力和企业服务能力，能面向不同行业为客户提供行业应用、产品开发与产业数字化服务。京东作为一家新型实体企业，拥有着深厚的产业基因和供应链场景，源于真实的业务需求、深度复杂的场景任务和广泛的实体经济发展要求，促使京东的 AI 技术是面向知识密集型、任务型场景，解决真实产业问题的技术。且京东云旗下的言犀团队在任务型智能对话交互关键技术方向拥有丰富的积累和广泛的落地，拥有包括文本生成、语音生成、对话生成等系列领先技术，并打造出了智能客服系统、京小智平台商家服务系统、智能政务热线、言犀数字人等系列产品和解决方案。京东科技深耕人工智能领域多年，形成了从算法到应用场景的链路，并通过自研推出言犀基础大模型，赋予客户在各自行业中快速构建、部署，应用人工智能的能力。通过言犀基础大模型，企业可以建立从业务的大量数据中自我学习、自驱迭代的能力，并实现对企业实施、运营、维护的一体化覆盖，同时言犀大模型中的小型化技术能够使企业具备云管边端协同运营的能力，增强企业面对非标准化、算力通讯资源受限场景的应对能力，和面对业务变化的快速响应能力。需求分析案例介绍目前基础大模型正处于蓬勃发展阶段，各行业、各领域以构建数字化、线上化、搭建虚拟仿真场景为主要应用。在当前阶段下，基础大模型面临着以下问题：一、由于基础技术的限制以及大部分企业在大模型应用和硬件设备开发能力的不足，从而导致无法自主生产原生 AI 模型。二、除了用户单点大模型开发技术能力的不足，在各行业链条中的软硬件互通、数据标准化和应用功能融合等问题中都存在着无法克服的壁垒。三、大模型训练硬件的能源消耗问题，在当前全球绿色经济的背景下，平稳运行离不开大规模的数据中心和云计算中心等基础设施的支撑，而大部分企业则无法满足以上的要求，从而无法实现大模型的应用。针对以上情况，开发言犀基础大模型，以实现低门槛构建基于人工智能技术的解决方案，是本项目需要解决的问题。京东推出的言犀基础大模型，将着力围绕内容生成、人机对话、用户意图理解、信息抽取、情感分类等几大类任务，围绕零售、物流、金融、健康、政务场景进行落地应用。1)优质的场景和数据让模型产业属性更强京东的言犀大模型，是扎根产业的原生大模型。凭借着从基础设施、模型层、MaaS 层、SaaS 层全栈的技术布局，打造多款端到端的大模型技术产品。言犀大模型拥有三个差异化的特性：第一，它是产业原生的，有更强的产业属性。第二，它是价值驱动的，有更高的应用价值。第三，它是开放协同的，有更快的迭代效率。通用大模型垂类大模型大模型服务2023大模型落地应用案例集Foundation ModelPractical Application Collections2627通用大模型垂类大模型大模型服务2023大模型落地应用案例集Foundation ModelPractical Application Collections2627图 1 京东言犀大模型概览图 2 京东言犀大模型数据概览另一方面，京东连接着产业互联网和消费互联网，在对内实践和对外产业数智化过程中积累了众多优质的数据，区别于一些通用域数据的静态数据，京东的数据是“鲜活的”，凭借每年产生数百亿的交互数据，保证了模型的持续迭代和优化。京东的大模型是在预训练阶段就接了 70%通用域数据和接近 30%京东特有的产业数据相结合去做训练，这就保证了模型拥有大模型的“常识”，并拥有产业模型的“专业”。2)京东言犀大模型技术架构京东言犀大模型是基于京东云的高性能计算集群，采用 Megatron+DeepSpeed 的分布式训练框架，训练的 Decoder-Only 架构模型。在通用知识获取方面，言犀大模型添加了约 30%的京东域自身的产业数据，并通过构建高质量的指令数据，帮助模型具备更强的产业属性。除了模型训练本身，京东言犀大模型还在模型的转换层和服务层进行了自研算法的深耕，提升了大模型本身的推理速度和部署性能，让大模型的能力能够充分的下沉到业务端，并通过集成平台能力打造真正的模型及服务。3)前沿的算法能力保证模型具备高应用价值 预训练层面源于业务应用需求，京东在 2020 年就提出了 K-PLUG 模型，将领域知识注入大模型中，以提高大模型的专业性和忠实度，并在 2021 年对该项工作进行了发表。K-PLUG 方法是基于 Transformer 模型架构 X 京东的产业知识进行的预训练。该算法帮助模型在实体属性抽取准确率为 96%；在生成式多轮对话 ROUGE-L（指标主要是对比机器生成的内容与人类的标准内容的匹配度），以 27%领先于斯坦福经典的 Pointer-Generator；在上下文多轮问答知识检索率以 74%准确率领先于行业。图 3 京东言犀大模型架构通用大模型垂类大模型大模型服务2023大模型落地应用案例集Foundation ModelPractical Application Collections2829通用大模型垂类大模型大模型服务2023大模型落地应用案例集Foundation ModelPractical Application Collections2829效益分析图 4 京东言犀大模型 K-PLUG 算法图 5 京东言犀大模型推理部署 推理部署层面除了在大模型的预训练阶段，言犀大模型通过上述算法增强了产业领域知识，在模型的推理层面，京东言犀采用量化矩阵算子融合、自适应参数矩阵量化、自动算子切分与卡间并行、内存优化与缓存等多种策略，将推理速度提升 6.2 倍，且在“首字”推理速度的大模型推理难点上，京东言犀大模型采用自研的算法，极大程度的提升了大模型在推理方面的性能。在部署方向，依靠流式推理有效解码传输机制、动态批处理、异构集群部署等方法，将部署成本降低了 90%。此外，京东言犀大模型还拥有配套的 AI 开发计算平台，用于快速的模型迭代，效率提升 10 倍以上，让模型能够不断的学习新的知识。该解决方案以京东全产业链为核心优势，从产业场景、软件平台、安全合规等多个方面为用户带来价值。产业场景方面:用户将借助京东积累的历史行业知识，低成本快速构建该用户所在细分领域大模型应用，使用户快速取得局部市场的先发优势（量化标准为缩短开发周期及成本降低）。软件应用方面:为了让模型有更好的能力和应用，京东将开发言犀大模型过程中积累下来的能力解耦整合出来，以大模型开发平台的形式开放给京东的合作伙伴。该平台以京东云的私有云、公有云和混合云等高性能计算集群为底座，内置了包括数据、模型训练和部署推理等工具能力，不仅支持京东自身的言犀框架，也同时会支持各个主流的开源模型框架，促进大模型生态的发展。安全合规方面：言犀 AI 大模型具备数据隐私和内容安全可控的价值：5)数据隐私安全我司在人机交互研究中进行训练数据处理、人工智能模型的训练时，严格遵守使用深度合成技术中的个人隐私保护要求，确保训练数据数据来源合法性，并使用脱敏数据进行模型训练。6)内容生成可控性恶意代码、插件和网络钓鱼电子邮件有可能被 ChatGPT 生成。为了杜绝此安全隐患，京东云言犀团队会在模型训练时引入人工反馈机制降低和杜绝模型生成有害信息的回复。同时引入审核 API 来阻止某些有害内容的输出，例如，当收到要求编写用于从被黑客攻击的设备窃取数据的代码或制作网络钓鱼电子邮件时，模型会拒绝该要求并指出此类内容是“非法、不道德且有害的”。4)澎湃算力打造开放协同的大模型生态为了训练大模型，京东早在 2021 年就在重庆建成了大模型集群，也是全国首个基于 DGX SuperPOD 架构的超大规模计算集群天琴 ，该集群在保障京东自身大模型训练的同时，还将集群的每秒浮点运算次数提升 40%，多卡线性加速比提升 90%，为后续大模型的持续发展打下良好的基础。另一方面，为了更好的应对大模型背景下的海量数据存储问题，京东还自研了向量数据库 Vearch，支持百亿级向量监检索，召回实现毫秒级延迟，智能储存分层实现成本降低 60%，大幅提升了模型推理泛化能力与推理效率。通用大模型垂类大模型大模型服务2023大模型落地应用案例集Foundation ModelPractical Application Collections3031通用大模型垂类大模型大模型服务2023大模型落地应用案例集Foundation ModelPractical Application Collections3031北京九章云极科技有限公司国内首款可私有化部署的企业级数据分析智能体TableAgent 概 述北京九章云极科技有限公司（简称：九章云极DataCanvas）以“创造智能，探索未知”为使命，以“助力全球企业智能升级”为愿景，是中国人工智能基础软件领军者。公司致力通过自主研发的人工智能基础软件产品系列和解决方案为用户提供人工智能基础服务，助力用户在数智化转型中轻松完成模型和数据的双向赋能，低成本高效率地提升企业决策能力，实现企业级 AI 规模化应用。九章云极 DataCanvas 的核心产品系列 AIFS 人工智能基础软件和 DataPilot 数据领航员具有高度的灵活性和可扩展性，能够处理各种类型和规模的数据，简化了数据处理和分析的复杂性。产品集成了一系列先进人工智能技术，包括多模态向量数据库、因果学习、思维件等，为企业提供 AI 软件开发新范式。大模型技术催生了数据分析技术的进一步跨越，通过将大模型技术和具体的业务深度融合，数据分析成为直接为企业用户产生更富有商业价值的应用领域。基于 DataCanvas Alaya九章元识大模型微调出Alaya-ZeroX模型组，开发的TableAgent数据分析智能体，是从 0 到 1 的交互式结构化数据分析的突破，提供私有化部署方案，保障了业务数据的安全合规，是企业数据分析的全新方式。作为国内首款可以实现私有化部署的企业级数据分析智能体，TableAgent在充分理解用户意图后，可自主的利用统计科学、机器学习、因果推断等高级建模技术从数据中挖掘价值，进而提供分析观点和指导行动的深刻见解，赋予企业用户具备数据分析师的能力。2023 年 11 月 21 日，九章云极 DataCanvas TableAgent 产品面向社会开放公测（地址：https:/），助力企业借助大模型技术发挥数据价值，提高企业生产经营效率。需求分析案例介绍数字化时代，数据分析的重要性犹如空气般无处不在。商业数据分析是数字化管理、智能决策的基础，同时数据分析又是一个专业性极强的工作，描述性分析、诊断性分析、预测性分析，会让大多数只会用 Excel 的人望而生畏。作为一款企业级应用，业务数据的安全性、合规性不可忽略，一款可以私有化部署的方案在企业利用大模型技术进行数据分析应用落地迫在眉睫。九章云极 DataCanvas 公司自主研发的 TableAgent 数据分析智能体，可以实现私有化部署，保障安全、合规的前提下，让大模型对个人