阿里云搜索产品年度升级发布.pdf

2008支撑淘宝、B2B的搜索业务,MLR iSearch 3.0/3.2YST,Vespa,Lucene单机Apache ModuleYahoo19992011 iSearch4.5/HA2/HA3 HA32018AI(AI Online Serving)AI“AIOS”Havenask 2017 Elastic Elasticsearch2013 HA3OpenSearch2022 AIOSHA3 Havenask专有云基础设施(飞天底座)公共云基础设施(ECS/神龙服务器/ALB等)MC/Flink/EMRPlatform For AI（PAI）基础设施大模型检索分析服务ES版场景化产品召回引擎BE图引擎iGraph搜索引擎Havenask计算引擎Qwen-13B搜索引擎HavenaskElasticsearch自主开源社区共建通用商业版Elasticsearch Serverless版ES DSLOpen APISQLGremlin流批一体索引构建存算分离/冷热分离向量引擎Vector Store第三方开源大模型日志增强版OpenSearch高性能检索版Elasticsearch ESREOpenSearch高性能向量检索版OpenSearch LLM智能问答版图计算服务GraphCompute智能推荐AIRec日志、业务文本分析检索大模型应用、知识问答关系召回、知识图谱等电商、内容、视频推荐ElasticsearchAIOS商业化开源生态PAI-EASServerlessServerlessElasticsearch OpenSearchOpenSearch LLMHavenaskContents01Serverless020304ServerlessElasticsearch Serverless 1min 50%CU 0.3975/CU/ES280+APIKibana 111 16:30-17:10D4-1 Elasticsearch Serverless*ESElasticsearchESESQoS Gig GB Analyticsearch50%Openstore2.070%*迁移前ES源集群（自建或云实例）迁移中ES融合集群（云平台统一管控）迁移后ES目标集群（云实例）场景丰富 操作友好API 过程平滑 能力灵活 验证简单ES 运维简单 199.99%*ServerlessQPS80%80%OpenSearch NLP SQLServerless*MN4J%OPUVWXYbcddefghi1jk?lmno+pqrstuvXV;ghi1!#$%&A/0=.D!?!?!?!?!?EFGH!#$%&(%&)*%&IJKLA+,-%&.-%&/0%&.;bqr:xybqrqra1a2ana1a2an0.01673270.34589670.05478930.03249810.01354970.0216549Elasticsearch Relevance Engine向量维度扩展、检索加速使用已有_search API 可部署和使用自定义模型可与第三方模型集成 内置RRF 混合排序算法KNN+BM25开箱即用、无需调整或训练多领域，结果相关度高Elasticsearch 8.58.9ElasticC-17VectorStore Havenask Havenask ElasticsearchOpenSearch AIVectorStoreHNSW1960Milvus QPS6090%latency4050%GPU+CPUMilvusQPS180400%latency60300%*国内知名图片内容分享社区图片搜索场景国内知名母婴类社区平台LLM对话式搜索场景亿级别向量数据检索毫秒级检索5k级别内容条件查询，分类筛选新数据实时导入与检索LLM对话式搜索解决方案模型灵活选择基于平台内容生成，安全可靠语料更新，实时检索*Contents01Serverless020304LLMOpenSearchLLM结构化数据开箱即用企业数据非结构化数据 对话结果企业专属对话搜索参考链接OpenSearchQwen-13B第三方开源大模型PoCQwenSFT80%+*OpenSearch检索增强大模型SFT Passage1Passage2AnswerQuery企业专属大模型SFT20%20%40%+token2323GPU4050%GPU50%*搜索组件库&SFT第三方开源大模型CTRLLMLLM+Flacon_ standardQwen_contentQwen_ecommerceQwen_standardQuery模型训练框架客户自定义模型客户业务数据OpenSearch VectoStoreElasticsearch ESREMilvusHavenaskElasticsearchGraphCompute在线服务123410+5+OpenSearch*案例：自如AI客服基于大语言模型的企业专属客服，智能理解并生成对话结果更了解业务客服领域以及企业内部知识一个月快速上线80%+对话结果准确率大幅降低客服系统人工成本和运维成本*Contents01Serverless020304QPSHavenaskGithubhttps:/ ibaba/havenaskTPSHavneask Processor 0Processor nProcessorSwift(ProcessedDoc)BS AdminQrs 0Qrs mSearcher 0Searcher 0Searcher 1Searcher 1Searcher nSearcher nHA Adminp0p1pnTable 0Cluster 0Cluster nHapeHa toolsSwift toolsBs toolsOnlineOffline Broker 0 Broker n Index DataIndex DataBuilder 0Builder nBuilderMerger 0Merger nMergerTable nHDFSOSSMax ComputeSwift()Havenask read-your-writes DDLBroker 0 HA AdminSearcher 0 Follower nSearcher 0 LeaderBroker 1Broker nSwift AdminQrs 0Qrs nSearcher n Follower 0Searcher n Follower nSearcher n Leader IndexIndexLog DataWALCluster nHapeHa toolsSwift toolsCluster 0LogLogSearcher 0 Follower 0+DPS Read your writes+QPS hnswqclinear GPU*QueryQuery QuerySQLUDF UDAF TVFC-SmartArXivOpenSearch LLMSmartArXiv-智能论文工具学术调研用自然语言（中英双语）的方式找到相关论文每日推荐为用户提供每天有趣和有价值的论文推荐速读论文（too long；didnt read），速读论文文献综述调研具体方向时找到相关文章并生成综述https:/ THANKS