elasticsearch分享PPT.ppt

ElasticSearch的用法介绍研发部 李延念1 2大纲ElasticSearch的介绍ElasticSearch的相关概念ElasticSearch安装ElasticSearch索引的增删改ElasticSearch检索22024/11/2 周六一、ElasticSearch的介绍Elasticsearch是一个实时的分布式搜索分析引擎，它能让你以一个之前从未有过的速度和规模，去探索你的数据。它被用作全文检索、结构化搜索、分析以及这三个功能的组合：lWikipedia 使用 Elasticsearch 提供带有高亮片段的全文搜索，还有search-as-you-type和did-you-mean的建议。l卫报使用 Elasticsearch 将网络社交数据结合到访客日志中，实时的给它的编辑们提供公众对于新文章的反馈。lStack Overflow 将地理位置查询融入全文检索中去，并且使用more-like-this接口去查找相关的问题与答案。lGitHub 使用 Elasticsearch 对1300亿行代码进行查询。32024/11/2 周六二、ElasticSearch的相关概念1.Cluster集群集群:ES可以作为一个独立的单个搜索服务器。不过，为了处理大型数据集，实现容错和高可用性，ES可以运行在许多互相合作的服务器上。这些服务器的集合称为集群。2.Node节点节点:形成集群的每个服务器称为节点。3.Shard分片分片:当有大量的文档时，由于内存的限制、磁盘处理能力不足、无法足够快的响应客户端的请求等，一个节点可能不够。这种情况下，数据可以分为较小的分片。每个分片放到不同的服务器上。当你查询的索引分布在多个分片上时，ES会把查询发送给每个相关的分片，并将结果组合在一起，而应用程序并不知道分片的存在。即：这个过程对用户来说是透明的。4.Replia副本副本:为提高查询吞吐量或实现高可用性，可以使用分片副本。副本是一个分片的精确复制，每个分片可以有零个或多个副本。ES中可以有许多相同的分片，其中之一被选择更改索引操作，这种特殊的分片称为主分片。当主分片丢失时，如：该分片所在的数据不可用时，集群将副本提升为新的主分片。5.全文检索全文检索:全文检索就是对一篇文章进行索引，可以根据关键字搜索，类似于mysql里的like语句。全文索引就是把内容根据词的意义进行分词，然后分别创建索引，例如”你们的激情是因为什么事情来的”可能会被分词成：“你们“，”激情“，“什么事情“，”来“等token，这样当你搜索“你们”或者“激情”都会把这句搜出来。42024/11/2 周六二、ElasticSearch的相关概念6.Cluster索引索引:索引是具有某些相似特征的文档的集合，它和数据库中的索引概念并不十分相同。我们可以把索引理解为数据库文档中的数据库。事实上，我们的数据被存储和索引在分片(shards)中，索引只是一个把一个或多个分片分组在一起的逻辑空间。然而，这只是一些内部细节我们的程序完全不用关心分片。7.Type类型:在索引中，我们可以定义一个或多个类型。类型是索引的逻辑类别/分区，其语义完全由开发者决定。但在6.x版本中只支持一种类型_doc.7.Document文档文档:文档是可索引信息的基本单元，以JSON表示。你可以用其来定义单个产品信息或是员工信息。我们可以把文档理解为数据库文档中的行列数据。在索引/类型中，您可以存储任意数量的文档。文档有几个共同不可缺的属性，分别为 _index,_type,_id,针对特定一个或一类文档进行操作时，必须指定这些属性。52024/11/2 周六ES数据架构的主要概念（与关系数据库数据架构的主要概念（与关系数据库Mysql对对比）比）62024/11/2 周六三、ElasticSearch安装l1、下载并解压elasticsearch-6.2.3.zipl2、由于es不能用root启动需创建用户：useradd esl3、给es赋权：chown-R es/opt/elasticsearch-6.2.3l4、启动es:./bin/elasticsearchl5、验证集群是否可用：curl-XGET http:/localhost:9200/?prettyl6、检查集群健康：curl-XGET localhost:9200/_cat/health?v&pretty72024/11/2 周六四、ElasticSearch索引的增删改查1、创建索引，索引名称必须全部为小写字母curl-XPUT localhost:9200/customer?pretty&pretty2、向customer添加文档，content-type必须填写curl-XPUT localhost:9200/customer/_doc/1?pretty&pretty-H Content-Type:application/json-d name:John Doe3、获取数据curl-XGET localhost:9200/customer/_doc/1?pretty&pretty4、删除索引curl-XDELETE localhost:9200/customer?pretty&pretty82024/11/2 周六四、ElasticSearch索引的增删改查5、创建索引，索引名称必须全部为小写字母curl-XPUT localhost:9200/customer?pretty&pretty6、向customer添加文档，content-type必须填写，id也可自动生成curl-XPUT localhost:9200/customer/_doc?pretty&pretty-H Content-Type:application/json-d name:John Doe7、更新数据curl-XPOST localhost:9200/customer/_doc/1/_update?pretty&pretty-H Content-Type:application/json-ddoc:name:Jane Doe curl-XPOST localhost:9200/customer/_doc/1/_update?pretty&pretty-H Content-Type:application/json-ddoc:name:Jane Doe,age:20 curl-XPOST localhost:9200/customer/_doc/1/_update?pretty&pretty-H Content-Type:application/json-dscript:ctx._source.age+=592024/11/2 周六四、ElasticSearch索引的增删改查8、批量添加：curl-XPOST localhost:9200/customer/_doc/_bulk?pretty&pretty-H Content-Type:application/json-dindex:_id:1name:John Doe index:_id:2name:Jane Doe 102024/11/2 周六四、ElasticSearch索引的增删改查9、批量更新删除：curl-XPOST localhost:9200/customer/_doc/_bulk?pretty&pretty-H Content-Type:application/json-dupdate:_id:1doc:name:John Doe becomes Jane Doe delete:_id:2112024/11/2 周六五、ElasticSearch检索1、执行检索l简单字段检索：match_all/match/match_phrase/terml布尔检索：bool-must/must_not/shoulel示例：curl-XGET localhost:9200/bank/_search?pretty-H Content-Type:application/json-dquery:match:address:mill curl-XGET localhost:9200/bank/_search?pretty-H Content-Type:application/json-dquery:match:address:mill lane curl-XGET localhost:9200/bank/_search?pretty-H Content-Type:application/json-dquery:match_phrase:address:mill lane 122024/11/2 周六五、ElasticSearch检索curl-XGET localhost:9200/bank/_search?pretty-H Content-Type:application/json-dquery:bool:must:match:address:mill ,match:address:lane curl-XGET localhost:9200/bank/_search?pretty-H Content-Type:application/json-dquery:bool:should:match:address:mill ,match:address:lane curl-XGET localhost:9200/bank/_search?pretty-H Content-Type:application/json-dquery:bool:must_not:match:address:mill ,match:address:lane curl-XGET localhost:9200/bank/_search?pretty-H Content-Type:application/json-dquery:bool:must:match:age:40 ,must_not:match:state:ID 132024/11/2 周六五、ElasticSearch检索2、执行过滤器Elasticsearch所有的查询都会触发相关度得分计算，每个文档都有相关性评分,用一个正浮点数字段 _score来表示。_score 的评分越高，相关性越高。curl-XGET localhost:9200/bank/_search?pretty-H Content-Type:application/json-dquery:bool:must:match_all:,filter:range:balance:gte:20000,lte:30000142024/11/2 周六五、ElasticSearch检索3、执行聚合curl-XGET localhost:9200/bank/_search?pretty-H Content-Type:application/json-dsize:0,aggs:group_by_state:terms:field:state.keyword,aggs:average_balance:avg:field:balance152024/11/2 周六谢谢16 2