Lindorm一站式AI数据平台实战.pdf

Lindorm一站式AI数据平台实战郑涔阿里云高级技术专家零基础搭建企业智能问答服务和多模态数据处理服务Contents目录01Lindorm AI介绍02零基础搭建企业智能问答服务03零基础搭建多模态检索服务Lindorm AI介绍一站式构建AIGC业务01Data+AI：AI驱动的一站式数据平台 在数据库内集成AI服务，一站式挖掘数据价值 通过SQL来实现模型训练、管理和推理，降低门槛 数据不出库，提升效率同时满足数据监管要求 数据库企业级优势，如高可用、加密、审计等 ChatGPT带来的LLM浪潮席卷而来，AI成为新的生产力 Data+AI=Data Storage/Managemeng/Processing/Science ML/AI工程化落地流程复杂，涉及数据准备、模型训练/调优/管理/部署等多个阶段，门槛高Lindorm技术架构数据引擎层计算层搜索引擎L-Search倒排索引宽表引擎L-TableLSM查询层统一查询引擎LSQL多模数据统一访问，兼容MySQL通信协议存储层向量引擎L-VectorHNSW按需插拔多模互通存算分离智能计算统一体验ECS(X86/ARM/倚天)块存储(ESSD PL1/PL0 高效)对象存储OSS本地盘(SSD/HDD)分布式文件系统 LDFSHDFS接口、一个目录结构、多种存储介质智能引擎LDAI模型管理、推理计算引擎LDPSETL、交互分析、机器学习开源兼容层LProxy兼容hbase、es、kafka、influxdb等接口列存引擎L-Column列式存储流引擎LStream流计算消息引擎L-MQueue日志队列云原生多模数据库 LindormLindorm AI支持一站式构建AIGC业务selectai_infer(rqa_model,Lindorm是什么？)fromdoc_table;CREATE MODEL rqa_modelFROMdoc_tableTARGETdoc_fieldTASKRETRIEVAL_QAALGORITHMCHATGLM_6B 数据与模型一站式管理，满足安全、监管需求数据不出库，一站式AI处理 原生SQL交互，结合数据库原有能力实现多模融合分析 支持丰富SQL生态工具和SDK，便于开发、运维一行SQL实现模型部署服务 支持一键导入模型平台（ModelScope、HuggingFace）中的模型 支持以API方式对接模型服务灵积（DashScope）支持用户上传自己的模型灵活模型导入，无缝对接外部模型平台与服务 云原生架构，支持弹性部署云上异构计算资源，包括CPU和GPU机型 AI推理引擎和多模引擎通过共享存储打通，节省数据传输开销，实现靠近数据的推理优化弹性异构计算应用层数据存取AI推理Lindorm SQL语义检索知识问答.多模态检索模型导入API调用Lindorm模型上传多模引擎宽表节点.Lindorm AI引擎AIGC 模型服务EmbeddingLLMStableDiffusionAIGC 推理引擎模型编排跨框架支持弹性扩展外部模型平台与服务模型平台ModelScopeHuggingFace模型服务DashScope通义千问.Lindorm DFC共享存储结构化数据非结构化数据模型仓库CPUGPULindorm AI扩展SQL语法零基础搭建企业智能问答服务02LLM知识茧房问题：驱动行业私域知识大脑的构建PROMPT_TEMPLATE=已知信息：context 根据上述已知信息，简洁和专业的回答问题。如果无法从中得到答案，请说“根据已知信息无法回答该问题”，不允许在答案中添加编造成分，答案请使用中文。问题是：question缺少行业私域数据缺少模型训练后产生的新信息专有问题解答效果差涉及新信息的问题效果差（时效性缺陷）LLM（知识+概括、推断、转换、扩展等能力）私域知识库(语义检索)精准推理解法通用模型数据样本(公开数据集)（知识茧房）训练推理LLM局限性：模型一旦训练完成，对于数据样本外的知识一无所知（知识茧房），出现胡说八道的现象。示例：相同问题，上图是ChatGLM-6B未叠加私域数据的答案，存在明显错误。下图是仅灌入一篇文档后的答案，精准度提升，描述更专业。构建私域知识大脑的挑战 文档源数据存储 AI模型（Embedding、LLM等）部署 向量数据库开发和运维 应用开发和部署、维护系统架构和流程复杂 文档格式繁杂，涉及大量预处理工作 文本分割策略选择 向量检索召回率和性能优化业务落地挑战大 数据安全、私密性等 高级功能支持：如多轮对话等其他考虑文本分割合法合规校验PromptLLM（通义千 问、ChatGLM，ChatG PT 等）查询/问题（输入）答案(输出)用户161、数据工程师准备好私域知识文档数据(PDF、网页、TXT 等）2、将源数据按格式要求做预处理，将格式转换成文本3、引入或开发文本分割算法，将文本分割成text chunks.4、引入或开发文本转向量算法，将text chunks 转换成向量5、将转换后的向量，及对应的数据按要求存放到向量敵据库6、用户输入查询问题向量数据库数 据 预 处 理、格 式 转 换文本准 备 文 档 数 据(PDF、TXT 等）文本转换成向量2345查询转换成向量向量相似查询9877、引入或开发合法合规校验系统，校验用户问题的合规性8、将询问题转换成向量9、调用向量数据库向量查询接口，做语义检索10、向量数据库 返回检索 到 的 topK 关 联 内 容11、用户将 topK内容以 查 询 问 题,填入到prompt模板12、部署LLM，输入prompt给LLM，LLM返回答案输出Topk关联内容111210AIGCLindorm AI：开箱即用的私域知识大脑方案方案亮点知识库即服务（开箱即用）：用户仅需两步就可便捷构建私域知识大脑。1、写入私域数据。2、输入问题，得到答案。知识库全自动加工：数据存取、文本分割、向量转换、索引构建、增量处理等数据加工流程，由平台全自动完成。支持全量、增量数据持续导入，支持数据更新。系统自动完成查询问题向量转换、语义检索。并将问题和语义检索得到的topK关联内容，填入prompt，调用LLM得到答案，返回给用户。向量数据库、LLM等组件自动化部署。算法模型：默认提供BERT、text2vec、BGE等开源SOTA模型。支持从ModelScope和HuggingFace平台导入模型。支持导入自研及客户的算法模型。向量数据库：自研向量引擎，ms级低时延、1G轻起配，支持向量检索、全文检索，多路召回。单实例支持千万级向量，可扩展分布式支持亿级向量。部署形态：支持公共云及线下部署，可打造客户专有LLM环境，专网专用，数据不外泄（Your data is your data）。兼容主流LLM：通义千问、ChatGLM等，满足客户个性化、多样性需求。多算力：CPU、GPU算力统一提供、统一管理，弹性扩缩。企业级特性：传输加密、安全审计、权限管理、HA、灾备、在线弹性扩缩、监控告警等丰富的企业级功能，保障数据安全，保障系统高可用。版本在线更新，模型在线更新。Lindorm AI 数据平台私域数据1、文档：pdf、docx、txt、md2、图片：OCR文字识别3、网站、网页等文本文本分割Text chunks合法合规校验输出TopK关联内容Prompt模板查询/问题（输入）答案(输出)预处理、格式转换。并写入数据知识库自动加工（离线）用户Lindorm多模引擎12LLM：通义千问、ChatGLM等GPUGPUGPUGPU算力Embedding精准问答AIGC（在线）SQL写入SQL查询增量更新：数据订阅/流处理LLM自动部署 or对接已部署好的模型服务构筑Prompt多路召回：向量检索+全文检索宽表引擎：数据存取(结构化/半结构化)搜索引擎：向量检索、全文检索流引擎：数据订阅、增量处理Lindorm AI演示：零基础搭建企业智能问答服务上传知识库文件创建专属模型开始智能问答三个步骤体验企业智能问答服务零基础搭建多模态检索服务03多模态检索：图搜图、文搜图图片元数据存取对象存储服务关系数据库AI 推理服务向量数据库多模态检索应用多模态检索现有多模态检索应用常见问题 整体解决方案涉及多个系统和服务，架构复杂，开发运维效率低 向量和标量数据共存，方便融合检索同时也带来一些问题向量本身无语义，影响直接通过CLI访问的体验AI模型调优迭代，向量可能需要频繁更新Lindorm一站式AI数据服务平台：多模态检索Step1 向量提取入库Step2 多模态检索多模态大模型AI引擎Lindorm向量引擎宽表引擎OSS图像视频搜索引擎LDFS：分布式文件存储文件引擎小汽车蓝色小汽车雨天蓝色小汽车人行道上有推婴儿车的行人文搜图查找“推婴儿车”的相似图图搜图Lindorm AI多模态检索：自研语义检索模型效果对比语义检索：非常靠近的货车语义检索：三角锥桶语义检索：白天空旷的道路上只有树和一盏路灯语义检索：施工路段Lindorm AI演示：零基础搭建多模态检索服务上传图片创建专属模型开始多模态检索三个步骤体验多模式检索服务Lindorm AI：AI驱动的数据库检索能力增强文档/图像入库后通过一个CREATEMODEL来触发全量文档/图像异步处理增量文档/图像更新自动处理AI驱动的非结构化数据语义索引AI驱动的SQL算子AI推理计算无缝融入SQL执行路径结构化与非结构化数据分析处理多模融合THANKS