AGI时代的“数据枢纽”——向量数据库.pdf

代 码 传 递 思 想 技 术 创 造 回 响腾讯云工具指南AGI时代的“数据枢纽”-向量数据库05目录CONTENTS产品价值向量数据库是AGI时代的数据枢纽0102行业实践向量数据库解决各行各业智能化场景痛点03用户声音开发者的产品实测报告用向量数据库构建图搜图系统14码农学习联盟重生之我是 戏精之王18齐光同辰全球产业数据库具有怎样的关键发展趋势？04中国信通院人工智能创新中心负责人、云计算与大数据研究所副所长魏凯为什么AGI时代需要向量数据库？05腾讯集团高级执行副总裁、云与智慧产业事业群CEO汤道生优质的向量数据库应该符合怎样的标准？06中国信通院云计算与大数据研究所大数据与区块链部主任姜春宇腾讯云向量数据库的具体优势及实践07腾讯云创始团队成员、腾讯云数据库副总经理兼向量数据库负责人罗云 百川智能:解决大模型企业的数据大规模与高性能需求09 销售易:向量数据库在智能CRM的实践11P A R T01产品价值向量数据库是AGI时代的数据枢纽AGI时代的到来激发了数据更大的生产力如何更好的管理、存储、检索非结构化数据将决定大模型在各行各业的应用前景及可能性而为AI而生的向量数据库，或许是大模型的“最佳拍档”全球产业数据库具有怎样的关键发展趋势？中国信通院人工智能创新中心负责人、云计算与大数据研究所副所长 魏凯趋势1:从类型看，非关系型数据库前景广阔就目前全球数据库产品分布来看，非关系型数据库数量已经超过了关系型数据库。相比之下，国内的数据库市场依然以关系型数据库为主（整体占比超过65%），这其中又以图数据库、时序数据库等关键领域类型数据库为主。趋势2:从创新看，我国的非关系型技术实力不断增强从VLDB、SIGMOD和ICDE三大数据库领域权威的学术会议来看，近三年，我国企业及高校平均贡献占比分别为23.81%、27.17%和40.70%，且数量呈逐年上升趋势。目前数据库行业玩家众多，亟需统一行业标准规范发展：主要面向三类参与方（数据库技术产品、数据库服务商以及数据库应用机构）建立不同的评判标准。04腾讯云工具指南 AGI时代的“数据枢纽”产品价值向量数据库是AGI时代的数据枢纽趋势3:从标准看，数据库需要从供给侧到标准侧制定相关标准分析型数据库事务型数据库关系云数据库时序数据库图数据库文档数据库全密态数据库数据库智能化分布式分析型分布式事务型时序数据库分析型大规模事务型一体化分析型一体化时空数据库数据库一体机内存数据库分析型数据库大规模SQL质量管理平台HTAP数据库数据库管理平台防篡改数据库数据库迁移工具搜索型数据库关系型安全关系型安全分布式分析型规划设计服务能力运维运营服务能力数据库应用迁移实施部署服务能力分布式事务型时序数据库数据库稳定性稳定性专项安全专项性能专项基础能力专项供给侧应用侧面向数据库技术产品面向数据库服务商面向数据库应用机构评测类型通用服务能力专项服务能力数据库运维管理能力成熟度模型2023上半年新增5个标准（上述图中标橙色显示）0.00%VLDBSIGMOD202020212022ICDESIGMODVLDBICDEVLDBSIGMODICDE10.00%13.68%16.68%14.58%43.15%44.68%65.43%20.15%28.01%28.65%23.81%27.17%40.70%20.00%30.00%40.00%50.00%60.00%70.00%2020-2022年我国中国高校及企业学术会议论文贡献情况2022年我国中国高校及企业学术会议论文贡献数量0510101111121313141521212324373810152025303540论文数量清华大学香港科技大学北京大学香港中文大学浙江大学华为中国科学技术大学北京理工大学华东师范大学中国人民大学香港浸会大学哈尔滨工业大学北京航空航天大学复旦大学腾讯我国数据库产品类型关系型数据库非关系型数据库-图数据库非关系型数据库-文档数据库非关系型数据库-列存数据库非关系型数据库-图数据库RDF存储非关系型数据库-原生XML数据库非关系型数据库-键值数据库非关系型数据库-时序数据库非关系型数据库-全文检索非关系型数据库-面向对象数据库非关系型数据库-多值数据库非关系型数据库-向量数据库非关系型数据库-图数据库非关系型数据库-键值数据库非关系型数据库-全文检索非关系型数据库-向量数据库关系型数据库非关系型数据库-时序数据库非关系型数据库-列存数据库非关系型数据库-文档数据库53.8%10.4%24.1%24.1%3.1%4.2%7.3%10.4%52.8%82.13%23.4%22.3%28.4%52.8%4.1%7.1%9.1%12.2%309.47%344.53%全球数据库产品类型156.66%82.34%数据来源：CCSA TC601，2023年6月数据来源：CCSA TC601，2023年6月为什么AGI时代需要向量数据库？腾讯集团高级执行副总裁、云与智慧产业事业群CEO 汤道生最近这一年，AIGC浪潮席卷全球，很多志向高远的企业，都在思考如何拥抱新技术，以AI重塑公司的业务和产品。很多客户也和腾讯开展了紧密的合作，探索如何将大模型在实际场景中用起来，帮助业务降本、提效、增收。众所周知，大模型应用的关键，不只是构建好模型算法，更重要的是做好数据的处理、挖掘等问题。数据贯穿了大模型从预训练到产业落地的全过程。一定程度上，智能时代，企业数据处理能力有多强，决定了业务发展的天花板有多高。企业在搭建和使用大模型时，需要把海量数据，安全高效地接入大模型，但在企业复杂的数据中，适合关系型数据库的，结构化数据仅有20%，其余80%是文本、图像、视频、音频等非结构化数据。向量数据库可以把复杂的非结构化数据，处理成多维逻辑的坐标值，与大模型进行连接，数据处理效率比传统方式提升10倍。同时，向量数据库也可以作为“外部知识库”，给大模型输送最新、最全面的信息，应对有时效性的问答；并且让大模型拥有长期记忆，避免聊天时“断片”。可以说是大模型的“最佳拍档”。AI驱动产业变革的时代正在到来，作为支撑大模型的重要基础设施，向量数据库也会从一个“领域型数据库”，变成覆盖广阔场景的“通用型数据库”，甚至是“数据枢纽”，前景广阔。05腾讯云工具指南 AGI时代的“数据枢纽”产品价值向量数据库是AGI时代的数据枢纽优质的向量数据库应该符合怎样的标准？中国信通院云计算与大数据研究所大数据与区块链部主任 姜春宇随着人工智能时代到来，一些非结构化数据需要通过机器学习算法从中提取出以向量为表示形式的“特征”，向量数据库的兴起便是为了解决对这些向量进行存储与计算的问题。相比其他类型数据库，向量数据库具有8大关键技术能力：更高效的分布式与并行计算可以让大规模向量数据在多个计算节点间进行分配，使得查询、排序等操作能够并发进行，大大缩短了计算时间。许多AI应用需求求向量数据库有高效的实时处理能力，即使是对大规模的向量数据，也能在最短的时间内找到最匹配的结果。高级查询功能，如范围查询、最近邻查询，甚至基于语义的查询等，将是向量数据库的必备功能。为了更高效地处理数据，硬件加速将是一种有效的解决方案。利用GPU的强大并行计算能力，或者利用定制的AI芯片，都可以大大提高向量数据库的处理能力。06腾讯云工具指南 AGI时代的“数据枢纽”产品价值向量数据库是AGI时代的数据枢纽分布式与并行计算能力实时处理能力提升高级查询功能硬件加速不同类型的大模型对数据的处理和计算需求可能会有所不同。向量数据库需要能够针对这些差异进行优化，以提供最佳的性能。随着大模型向多模态发展，如图文混合模型、音视频混合模型等，对应的数据也将会更为复杂多元。向量数据库需要能够有效地处理这些多模态数据。随着向量数据库的应用场景不断拓宽，提升其通用性和易用性成为一项重要任务。这包括提供更简单的数据导入导出，提供更易用的查询接口，以及提供更灵活的数据管理功能。未来，向量数据库将和深度学习、大模型更紧密地结合，共同推动AI的发展。向量数据库需要能够理解大模型的需求，为其提供最合适的数据服务。而大模型也需要能够利用向量数据库的能力，以提高自身的效率和效果。不同大模型的性能优化多模态数据处理能力提升通用性和易用性与大模型的深度融合基本功能安全性兼容性扩展性工具生态高可用运维管理27必选项+20可选项七大能力域、三十二个能力项 稠密向量部署方式监控巡检参数配置升级运维管理接口CPU兼容性编程接口节点动态扩容节点动态缩容多模态数据向量化能力大模型工具集成备份与恢复故障节点恢复系统日志向量数据类型近似检索标量的增删改查权限管理数据加密高可用审计日志稀疏向量半结构化数据类型精确检索向量的增删改查向量维度单行数据支持多个向量字段游标读取主键查询基础标量数值类型向量数据存储压缩标量与向量的融合查询.对此，信通院联合腾讯云等多家关键厂商制定向量数据库技术要求，针对七大能力域、三十二个能力项制定向量数据库行业标准。腾讯云向量数据库的具体优势及实践腾讯云创始团队成员、腾讯云数据库副总经理兼向量数据库负责人 罗云腾讯云将向量数据库定义为AGI时代的数据枢纽，其需要具备“企业化”及“智能化”两项关键能力：前者需要满足企业对分布式、高性能、高可用、安全性、可靠性及成本可控六个关键能力；后者则需要实现借口、计算、存储三个关键领域的智能化。一、企业化能力：千亿级数据规模、500万QPS、99.99%可用性二、智能化能力：内容召回率提升30%，推理速度大幅提升三、实践成果：集团内部 40+业务接入，1600亿次请求/天；1000+外部用户接入07腾讯云工具指南 AGI时代的“数据枢纽”产品价值向量数据库是AGI时代的数据枢纽集成Embedding，实现自然语言查询AI套件：端到端的RAG应用检索方案集团内部外部用户原始文本数据upsertsearchtextsvectors向量数据库Embessing模型P A R T02行业实践向量数据库解决各行各业智能化场景痛点解决大模型企业的数据大规模与高性能需求百川智能是一家为客户提供大模型服务的能力，基于搜索与输入法多年积累，以RAG框架为原型融合企业私有数据、实时性数据。为客户提供搜索增强的能力，一方面基于搜索经验优化大模型，另一方面基于搜索模型补齐大模型短板，解决大模型应用常见的模型幻觉与数据时效性问题。客户场景：搜索增强1.可用性较弱。作为算法级别的功能，在分布式系统下会存在扩展性、可用性等方面问题。2.消耗大量人力做二次开发。因为没有成熟体系化，需要消耗大量人力做二次定制开发。比如说向量数据的格式组织及管理，数据分片、导入、管理、删除、索引等。场景痛点09腾讯云工具指南 AGI时代的“数据枢纽”行业实践向量数据库解决各行各业智能化场景痛点搜索经验：帮助大模型优化大模型+搜索增强架构数据增强超大规模数据获取与清洗算法调优算法与工厂调优算力构建搭建大规模推理服务搜索能力：补齐大模型短板幻觉问题结合事实不瞎说时效性问题分钟更新不老化安全性问题技术融合不造谣User Question:Whats chatgpt?InstructionClassifierReferenceEnhanceHyperparam TunerSearch EnhancedGeneratorIntent UnderstandingIntelligent SearchKnowledge RefinementKnowledgedomain DatabaseLLM withRelevanceWeb SearchPluginPromptAugmentTask PlanningQueryResponseTimelinessAnalysisLLM withSearchEnhancedQueryGeneratorfine-tuned Baichuan LLMSearch result 1:ChatGPT is GPT.Search result 2:ChatGpT is a LlM created by OpenAI.Search result 3:ChatGpT is transformer.Database index1:The main idea of GPT.Database index2:Deep learning method.Score boardFromWebWebWebDBDB1-0.5-0.4-1.221320.7idxscore百川智能作为模型服务提供商，数据规模在亿级以上。使用向量数据库方案之前主要以“开源向量算法”支撑，其面临两个主要痛点：0.9一、管理个性化知识：在企业知识文档上传时统一化存储管理传统ES数据库是为关系型结构数据设计，向量数据库基于AI而生集成Embeding服务进行向量化处理二、问答个性化知识：在问答企业知识问题时实现搜索增强当大模型面对企业级数据问答时，如果不能融合企业私有数据及实时性数据即会出现常见的幻觉问题。向量数据库提供端到端的RAG检索方案。当外部用户向模型起初问题时把原始长文本内容分割为表征能力更强的短文本通过Embedding模型生成向量化数据将向量化数据在数据库内分区管理运用可视化数据管理平台在线执行互表操作解决方案：向量数据库的统一技术栈支持10腾讯云工具指南 AGI时代的“数据枢纽”行业实践向量数据库解决各行各业智能化场景痛点基于Embedding对问题结合其聊天历史向量化解析通过在线及离线方式检索融合知识库及网页端内容基于相关性模型进行精排再求解输出大模型基于更全面与实时数据推理答案并召回数据向量数据库在智能CRM的实践客户背景销售易将AIGC能力无缝融入CRM的销售及服务场景中，为客户提供“智能销售”与“智能服务”功能，前者包括：智能销售助理、日程会议纪要、客户画像标签、推荐解决方案、推荐潜在客户；后者包括：智能客服机器人、坐席辅助、智能会话质检、生成知识条目、工单创建分配。11腾讯云工具指南 AGI时代的“数据枢纽”行业实践向量数据库解决各行各业智能化场景痛点1.数据安全：企业的业务数据需要满足安全合规要求，不能直接用于大模型训练2.快速变化：企业时刻都在产生大量的数据，如何适应业务数据快速变化的需求3.实时响应：业务系统对实时响应要求很高，需要从海量数据中迅速检索问题答案4.场景落地：销售和服务场景众多，如何将数据结合大模型来解决实际业务问题场景痛点企业服务市场应用大模型的主要门槛是满足企业业务数据的安全性与时效性原来的关系型数据库因为其数据结构原因，更多应用于表单级系统，无法支撑智能化需求，主要因为1.其检索时依赖于关键词文本搜索而非语义搜索，需要做大量分词的词库词法维护2.其推荐时无法理解自然语言描述文本，无法做智能化推荐销售易主要应用向量数据库于底层知识库生成与检索向量数据库在SaaS领域的应用优势12腾讯云工具指南 AGI时代的“数据枢纽”行业实践向量数据库解决各行各业智能化场景痛点销售易智能架构向量数据库应用1.意图识别：通过语义分析和识别，在问题描述模糊的情况下，精准识别用户意图，结合知识库资源，准确解答问题2.检索信息：自然语言描述问题和需求，利用语义相关性检索知识库和CRM系统数据，综合内容生成结果3.多轮对话：对多轮对话和上下文理解，让用户感受到拟人化的服务体验，实现了自然、流畅的对话。4.创建信息：自主调用CRM系统API，创建CRM线索记录，保存潜在用户的信息；或创建服务工单，记录用户问题。基于向量数据库，智能机器人可以实现基于向量数据库，全内容语义检索和推荐相似客户知识库文档与语义搜索：知识库、文档、附件CRM数据相关性搜索：检索对象、会议纪要、活动记录推荐相似客户：基于相似特征及内容（而不是传统表单关键词检索）1.高性能大规模：企业的业务数据需要满足安全合规要求，不能直接用于大模型训练2.支持向量和标量:支持向量和标量字段的混合存储和检索，是文档内容和结构化字段之间的桥梁。3.运维轻量简便：按照帮助手册简单接入，无需安装、部署和运维，有效减少运维成本和人力成本。4.专家级服务支持：腾讯云数据库团队提供专家级的技术方案指导，赋能研发团队加速产品和架构落地。微信客户商机工单BI报表知识库文档图片音视频销售助理智能推荐智能机器人智能工单智能BI企微官网销售易智能应用销售易CRM销售易智能平台腾讯云向量数据库腾讯混元大模型APP电话邮件P A R T03用户声音开发者的产品实测报告用向量数据库构建图搜图系统码农学习联盟以图搜图案例构建项目下面我们使用 PyTorch 和腾讯云向量数据库构建一个以图搜图（Reverse Image Search）系统。下面会对重要的代码部分做详解，最终的 demo 代码，可以在文末获取，代码拉到本地就可以运行，对新手很友好。这个命令会将 torch、torchvision、Pillow、tcvectordb 库安装到上面创建的虚拟目录 venv 中。目录结构如下：2.创建一个新的 Python 虚拟环境（可选，但推荐）：创建一个新的 Python 虚拟环境能有效地隔离项目依赖，简化依赖管理。该系统以图片作为输入，基于图片的内容检索出最相似的图片。其背后的基本思想是利用预训练的深度学习模型提取出每个图片的特征，并将其表示为一个嵌入向量（Embedding）。然后，通过存储和比较这些图片嵌入向量，实现图片的检索。首先，使用 PyTorch 对输入图片进行预处理并提取特征，得到图片的嵌入向量。然后，将这个嵌入向量存入向量数据库中。当需要检索图片时，同样先对查询图片进行预处理和特征提取，得到查询图片的嵌入向量。在向量数据库中对该向量进行相似性检索，向量数据库会返回与该向量相似的 top k 个向量。14腾讯云工具指南 AGI时代的“数据枢纽”用户声音开发者的产品实测报告这里我们使用了 ImageNet 数据集的一个子集（100 个类别）。示例数据可在 Github 上获取。1.train：包含候选图片的目录，有 100 个不同的类别，每个类别 包含 10 张图片。2.test：包含查询图片的目录，与训练集同样的 100 个类别，但每个类别只有 1 张图片。3.reverse_image_search.csv：一个 csv 文件，包含每个训练集图片的 id、路径和标签。ImageNet 数据集是深度学习领域中广泛使用的大规模视觉数据集，用于图片分类和物体检测任务。在本文中，所使用的数据集是 ImageNet 的一个子集，这个子集为模型训练和验证提供了适当规模和复杂度的数据。准备数据工作流程如右图：3.安装需要的 Python 包:激活这个虚拟环境：Linux/macOSWindows候选图片是指可能会被检索的图片，查询图片是指用于检索的图片。1.创建一个新的项目目录：PyTorch 生态包括 torch 和 torchvision 两个重要的库。torch 包括了各种有用的数学函数，以及用于创建和训练神经网络的工具。torchvision 库专门用于处理图像数据。15腾讯云工具指南 AGI时代的“数据枢纽”用户声音开发者的产品实测报告连接 Tencent Vector DB 很简单，官方提供了多种语言的 SDK，本文使用 Python SDK：tcvectordb 操作向量数据。上面的 HOST 和 PORT、USERNAME 和 PASSWORD 是申请向量数据库后获取到的。新建之后，可以通过 DMC（数据库管理）方便的查看、管理向量数据库的数据。右侧利用 Pytorch 实现图片的特征提取：model.eval()将模型设置为评估模式。通常来说，在进行模型验证、测试时，我们将模型设置为评估模式。右侧是刚刚创建的 DB 和集合：1.首先利用 tcvectordb sdk 编写连接向量数据库的客户端代码：在向量数据库中创建 DB 和 Collection：2.然后调用 TcvdbClient 构建客户端：1.vector：索引有2048向量维度。维度越高，向量可以表达的信息越多，但同时计算复杂度也越高，存储需求也越大。2.IndexType.HNSW索引的类型。这是一种近似最近邻搜索算法，用来加速高维向量的搜索。3.MetricType.COSINE是余弦相似度，它可以衡量两个向量之间的角度，通常用于衡量高维向量的相似性。4.id是主键索引，用来唯一标识每个向量。5.path是过滤索引，用来加速基于 path 字段的查询。连接数据库并新建 CollectionEmbedding：图片转向量、入库只有当 checkpoints 目录下不存在时才会下载。预训练的 resnet50 模型，可以将图片转换为向量。ResNet50 是一种深度卷积神经网络，它在许多图像识别任务中表现出色。此模型通过学习图片的重要特征，并将这些特征嵌入到一个高维向量中，称为嵌入向量（embedding vector）。DMC 访问入口：https:/ Collection，并在这个 Collection 中添加了三个索引。在向量数据库中，Collection 是用来存储和检索向量的主要结构，创建索引的字段在检索时可以用作过滤（filter）。在机器学习领域中，把文本、图片，音频等其他类型原始输入数据转换为一种更适合机器学习的形式，即将复杂的数据结构（如图片、文本等）转换为固定长度的向量的过程成为 Embedding。以上代码段中，models.resnet50(weights=ResNet50_Weights.IMAGENET1K_V2)将会下载 resnet50 模型到$HOME/.cache/torch/hub/checkpoints/目录下，下载完成后会初始化模型。ResNet50 默认会输出 1000 维的特征向量（对应于 ImageNet 的 1000 个类别）。然而，torch.nn.Sequential(*(list(model.children():-1)可以将模型的最后一层移除，保留其他所有的层，我们可以得到一个2048 维的特征向量。这个特征向量包含了图像的更抽象的信息，在实际应用中（例如图像检索，图像聚类等）表现会更好。extract_features(image_path)函数利用 PyTorch 的 transforms 模块和预训练的模型ResNet50将一张输入图像转化为一个特征向量。由于向量数据一般很大，默认不会返回。如果要返回向量字段需要勾选retrieveVector。16腾讯云工具指南 AGI时代的“数据枢纽”用户声音开发者的产品实测报告然后我们对 reverse_image_search.csv 文件中的图片路径数据进行循环提取特征向量：以上部分已经完成了将候选图片提取为特征向量存入到向量数据库中。下面将完成对查询图片的最相似图片的检索。TcvdbClient 的 search 方法用来搜索与 query 向量参数最相似的数据：search_similar_image 函数接收一个图像路径，然后对每个匹配的图像提取特征，在腾讯云向量数据库中进行搜索，找出与其最相似的图像。将查询到的结果取 path字段，存储在 pred 中。将搜索结果存储在 result 中，其中包括：1.path：相似度较高的 候选图片 的路径。2.score：表示两个向量之间的相似度。因为我们使用了余弦相似度，所以 score 越接近 1，表示两个向量越相似。可以在 DMC 中，用刚刚创建了索引的字段进行过滤，精确查询到入库后的数据，例如搜索：path=./train/goldfish/n01443537_1903.JPEG：搜索相似图最终会将生成的向量调用 TcvdbClient 的 upsert 方法，插入到向量数据库中：演示代码地址：https:/ Gradio觉得上述示例中的代码演示对于非技术用户来说不够友好？出于演示目的，下面将通过输入图片路径，查询并展示相似的图片。search_similar_image 会返回类似下面的数据，最终这些图片路径会被展示到 Web UI 上。启动项目。用浏览器打开 http:/127.0.0.1:7860 即可看到成果。对图片 test/Afghan_hound/n02088094_4261.JPEG 的相似图进行搜索时，打印出10条结果如下：同样的，如果知道了一张图片的向量，可以在 DMC 中用向量检索相似的图片信息，查询到的结果默认按照 score 由高到低排序，越大表示相似度越高。我们可以使用 Gradio 提供的 Web UI，以更直观、更互动的方式来展示上述的查询和结果。几秒钟内就可以将上述工作流程以 Web UI 的形式呈现出来。这样，用户可以直接通过上传图片来进行搜索，在界面上展示出相似的图片。总结对于构建以图搜图、文字搜视频、私域对话机器人等系统，腾讯云向量数据库由于其卓越的稳定性、性能、易用性和便捷的运维，都展现出了显著优势。得益于大厂的背书，腾讯云向量数据库在 AI 领域中已经成为了领军者。输入：test/goldfish/*.JPEG 返回的结果都包含鱼。输入：test/Afghan_hound/n02088094_4261.JPEG 返回的结果都包含狗。17腾讯云工具指南 AGI时代的“数据枢纽”用户声音开发者的产品实测报告重生之我是 戏精之王齐光同辰社交游戏 重生之我是 戏精之王基于AI的生成式“人生剧本”快速语义搜索1.应用向量数据库能力18腾讯云工具指南 AGI时代的“数据枢纽”用户声音开发者的产品实测报告基于传统文化的知识IP进行演绎可强化其传播及教育意义。2.应用价值玩家可以通过多个维度的内容设定快速生成专属的个人角色，并通过文字及画面的方式演绎其独特的人生轨迹剧本。在此基础上可以与“江湖”中的其他角色进行竞技排名与社交互动。3.基础介绍我们是使用 ASP.NET CORE、微信小程序和腾讯云向量数据库构建一个以文字内容为主的趣味问答游戏系统。这个游戏系统通过AI的方式预设大量场景及场景人物的人设选择，在玩家挑选游戏剧本时，系统通过向量搜索的方式将游戏剧本的描述文本进行 Embedding后以向量数据与系统中预设的游戏场景进行匹配，然后抽取前5个符合剧本设定的游戏场景供玩家游玩，另外为了提升游戏的趣味性，我们通过玩家选择的人设描述特征对玩家的选择进行向量匹配的方式来判断玩家选择的结果是否正确。连接数据库与创建 Collection我们基于HTTP API开发了内部的腾讯向量数据库SDK：HttpVectorClient，封装了对HTTP API的一系列调用：创建数据库和Collection，以下代码演示了创建数据库，然后向数据库中创建集合的全过程：19腾讯云工具指南 AGI时代的“数据枢纽”用户声音开发者的产品实测报告代码中创建了一个名叫Subject的集合，同时映射了Embedding 的字段为 content。往集合中插入数据的时候文档中的Content 字段内容会中被向量化。我们还另外创建了3个索引。由于此游戏是文字类游戏，向量的索引类型选择了 FLAT 暴力检索。插入数据并向量化：由于我们使用腾讯向量数据库的 自动 Embedding 特性，同时需要向量化的内容为文本，所以无需额外把文本进行向量后再入库，仅需要直接将内容的实体插入对应的集合即可，（以下为演示代码）：数据检索：由于玩家在游戏开始需要选择剧本，我们会根据剧本类型的描述信息，检索对应的游戏题目场景供玩家游玩：在DMC中查询数据直观展示：了解更多产品详情