ElasticSearch文档批量操作[ES系列] - 第503篇
AI音乐，8大变现方式——Suno：音乐版的ChatGPT - 第505篇
日赚800，利用淘宝/闲鱼进行AI音乐售卖实操 - 第506篇
如何让AI生成自己喜欢的歌曲-AI音乐创作的正确方式 - 第507篇
最近体验了下AI生成音乐，感觉效果很不错，有兴趣的可以访问如下地址体验一下：
https://suno3.cn/#/?i=8NCBS8_WXTT
导读
Hi，大家好，我是悟纤。我就是我，不一样的烟火。我就是我，与众不同的小苹果。
这一节来看看ES全文检索能力。
全文检索查询（Full Text Queries）和术语级别查询（Term-Level Queries）是 Elasticsearch 中搜索和检索数据的两种不同方法。
全文检索查询旨在基于相关性搜索和匹配文本数据。这些查询会对输入的文本进行分析，将其拆分为词项（单个单词），并执行诸如分词、词干处理和标准化等操作。Elasticsearch 中的一些全文检索查询示例包括 match、match_phrase 和 multi_match 查询。
全文检索的关键特点：
- 对输入的文本进行分析，并根据分析后的词项进行搜索和匹配。全文检索查询会对输入的文本进行分析，将其拆分为词项，并基于这些词项进行搜索和匹配操作。
- 以相关性为基础进行搜索和匹配。全文检索查询使用相关性算法来确定文档与查询的匹配程度，并按照相关性进行排序。相关性可以基于词项的频率、权重和其他因素来计算。
- 全文检索查询适用于包含自由文本数据的字段，例如文档的内容、文章的正文或产品描述等。
一、query匹配查询
1.1 match query匹配查询
match在匹配时会对所查找的关键词进行分词，然后按分词匹配查找。
match支持以下参数：
- query : 指定匹配的值
- operator : 匹配条件类型
- and : 条件分词后都要匹配
- or : 条件分词后有一个匹配即可(默认)
- minmum_should_match : 最低匹配度，即条件在倒排索引中最低的匹配度
#match 分词后or的效果GET /es_db/_search{"query": {"match": {"address": "广州白云山公园"}}}# 分词后 and的效果GET /es_db/_search{"query": {"match": {"address": {"query": "广州白云山公园","operator": "and"}}}}
在match中的应用：当operator参数设置为or时，minnum_should_match参数用来控制匹配的分词的最少数量。
# 最少匹配广州，公园两个词GET /es_db/_search{"query": {"match": {"address": {"query": "广州公园","minimum_should_match": 2}}}}
对于match查询，其底层逻辑的概述：
n 分词：首先，输入的查询文本会被分词器进行分词。分词器会将文本拆分成一个个词项（terms），如单词、短语或特定字符。分词器通常根据特定的语言规则和配置进行操作。
n 倒排索引：ES使用倒排索引来加速搜索过程。倒排索引是一种数据结构，它将词项映射到包含这些词项的文档。每个词项都有一个对应的倒排列表，其中包含了包含该词项的所有文档的引用。
n 匹配计算：一旦查询被分词，ES将根据查询的类型和参数计算文档与查询的匹配度。对于match查询，ES将比较查询的词项与倒排索引中的词项，并计算文档的相关性得分。相关性得分衡量了文档与查询的匹配程度。
n 结果返回：根据相关性得分，ES将返回最匹配的文档作为搜索结果。搜索结果通常按照相关性得分进行排序，以便最相关的文档排在前面。
1.2 multi_match query 多字段查询
可以根据字段类型，决定是否使用分词查询，得分最高的在前面
GET /es_db/_search{"query": {"multi_match": {"query": "长沙张龙","fields": ["address","name"]}}}
注意：字段类型分词,将查询条件分词之后进行查询，如果该字段不分词就会将查询条件作为整体进行查询。
1.3 match_phrase query短语查询
短语搜索(match phrase)会对搜索文本进行文本分析，然后到索引中寻找搜索的每个分词并要求分词相邻，你可以通过调整slop参数设置分词出现的最大间隔距离。match_phrase 会将检索关键词分词。
GET /es_db/_search{"query": {"match_phrase": {"address": "广州白云山"}}}GET /es_db/_search{"query": {"match_phrase": {"address": "广州白云"}}}
思考：为什么查询广州白云山有数据，广州白云没有数据？
分析原因：
先查看广州白云山公园分词结果，可以知道广州和白云不是相邻的词条，中间会隔一个白云山，而match_phrase匹配的是相邻的词条，所以查询广州白云山有结果，但查询广州白云没有结果。
POST _analyze{"analyzer":"ik_max_word","text":"广州白云山"}
如何解决词条间隔的问题？可以借助slop参数，slop参数告诉match_phrase查询词条能够相隔多远时仍然将文档视为匹配。
#广州云山分词后相隔为2，可以匹配到结果GET /es_db/_search{"query": {"match_phrase": {"address": {"query": "广州云山","slop": 2}}}}
1.4 query_string query
允许我们在单个查询字符串中指定AND | OR | NOT条件，同时也和 multi_match query 一样，支持多字段搜索。和match类似，但是match需要指定字段名，query_string是在所有字段中搜索，范围更广泛。
注意: 查询字段分词就将查询条件分词查询，查询字段不分词将查询条件不分词查询
GET /es_db/_search{"query": {"query_string": {"query": "赵六 AND 橘子洲"}}}
- 指定单个字段查询：
GET /es_db/_search{"query": {"query_string": {"default_field": "address","query": "白云山 OR 橘子洲"}}}
- 指定多个字段查询：
GET /es_db/_search{"query": {"query_string": {"fields": ["name","address"],"query": "张三 OR (广州 AND 王五)"}}}
1.5 simple_query_string
类似Query String，但是会忽略错误的语法,同时只支持部分查询语法，不支持AND OR NOT，会当作字符串处理。支持部分逻辑：
l + 替代AND
l | 替代OR
l - 替代NOT
GET /es_db/_search{"query": {"simple_query_string": {"fields": ["name","address"],"query": "广州公园","default_operator": "AND"}}}GET /es_db/_search{"query": {"simple_query_string": {"fields": ["name","address"],"query": "广州 + 公园"}}}
1.6 bool query布尔查询
布尔查询可以按照布尔逻辑条件组织多条查询语句，只有符合整个布尔条件的文档才会被搜索出来。
在布尔条件中，可以包含两种不同的上下文。
（1）搜索上下文(query context)：使用搜索上下文时，Elasticsearch需要计算每个文档与搜索条件的相关度得分，这个得分的计算需使用一套复杂的计算公式，有一定的性能开销，带文本分析的全文检索的查询语句很适合放在搜索上下文中。
（2）过滤上下文(filter context)：使用过滤上下文时，Elasticsearch只需要判断搜索条件跟文档数据是否匹配，例如使用Term query判断一个值是否跟搜索内容一致，使用Range query判断某数据是否位于某个区间等。过滤上下文的查询不需要进行相关度得分计算，还可以使用缓存加快响应速度，很多术语级查询语句都适合放在过滤上下文中。
布尔查询一共支持4种组合类型:
类型 | 说明 |
must | 可包含多个查询条件，每个条件均满足的文档才能被搜索到，每次查询需要计算相关度得分，属于搜索上下文 |
should | 可包含多个查询条件，不存在must和fiter条件时，至少要满足多个查询条件中的一个，文档才能被搜索到，否则需满足的条件数量不受限制,匹配到的查询越多相关度越高，也属于搜索上下文 |
filter | 可包含多个过滤条件，每个条件均满足的文档才能被搜索到，每个过滤条件不计算相关度得分，结果在一定条件下会被缓存， 属于过滤上下文 |
must_not | 可包含多个过滤条件，每个条件均不满足的文档才能被搜索到，每个过滤条件不计算相关度得分，结果在一定条件下会被缓存， 属于过滤上下文 |
PUT /books{"settings": {"number_of_replicas": 1,"number_of_shards": 1},"mappings": {"properties": {"id": {"type": "long"},"title": {"type": "text","analyzer": "ik_max_word"},"language": {"type": "keyword"},"author": {"type": "keyword"},"price": {"type": "double"},"publish_time": {"type": "date","format": "yyy-MM-dd"},"description": {"type": "text","analyzer": "ik_max_word"}}}}POST /_bulk{"index":{"_index":"books","_id":"1"}}{"id":"1", "title":"Java编程思想", "language":"java", "author":"Bruce Eckel", "price":70.20, "publish_time":"2007-10-01", "description":"Java学习必读经典，殿堂级著作！赢得了全球程序员的广泛赞誉。"}{"index":{"_index":"books","_id":"2"}}{"id":"2","title":"Java程序性能优化","language":"java","author":"葛一鸣","price":46.5,"publish_time":"2012-08-01","description":"让你的Java程序更快、更稳定。深入剖析软件设计层面、代码层面、JVM虚拟机层面的优化方法"}{"index":{"_index":"books","_id":"3"}}{"id":"3","title":"Python科学计算","language":"python","author":"张若愚","price":81.4,"publish_time":"2016-05-01","description":"零基础学python，光盘中作者独家整合开发winPython运行环境，涵盖了Python各个扩展库"}{"index":{"_index":"books","_id":"4"}}{"id":"4", "title":"Python基础教程", "language":"python", "author":"Helant", "price":54.50, "publish_time":"2014-03-01", "description":"经典的Python入门教程，层次鲜明，结构严谨，内容翔实"}{"index":{"_index":"books","_id":"5"}}{"id":"5","title":"JavaScript高级程序设计","language":"javascript","author":"Nicholas C. Zakas","price":66.4,"publish_time":"2012-10-01","description":"JavaScript技术经典名著"}GET /books/_search{"query": {"bool": {"must": [{"match": {"title": "java编程"}},{"match": {"description": "性能优化"}}]}}}GET /books/_search{"query": {"bool": {"should": [{"match": {"title": "java编程"}},{"match": {"description": "性能优化"}}],"minimum_should_match": 1}}}GET /books/_search{"query": {"bool": {"filter": [{"term": {"language": "java"}},{"range": {"publish_time": {"gte": "2010-08-01"}}}]}}}
1.7 highlight高亮
highlight 关键字: 可以让符合条件的文档中的关键词高亮。
highlight相关属性：
· pre_tags 前缀标签
· post_tags 后缀标签
· tags_schema 设置为styled可以使用内置高亮样式
· require_field_match 多字段高亮需要设置为false
示例数据：
PUT /products{"settings" : {"index" : {"analysis.analyzer.default.type": "ik_max_word"}}}PUT /products/_doc/1{"proId" : "2","name" : "牛仔男外套","desc" : "牛仔外套男装春季衣服男春装夹克修身休闲男生潮牌工装潮流头号青年春秋棒球服男 7705浅蓝常规 XL","timestamp" : 1576313264451,"createTime" : "2019-12-13 12:56:56"}PUT /products/_doc/2{"proId" : "6","name" : "HLA海澜之家牛仔裤男","desc" : "HLA海澜之家牛仔裤男2019时尚有型舒适HKNAD3E109A 牛仔蓝(A9)175/82A(32)","timestamp" : 1576314265571,"createTime" : "2019-12-18 15:56:56"}测试：GET /products/_search{"query": {"term": {"name": {"value": "牛仔"}}},"highlight": {"fields": {"*":{}}}}
1.7.1 自定义高亮html标签
可以在highlight中使用pre_tags和post_tags
GET /products/_search{"query": {"multi_match": {"fields": ["name","desc"],"query": "牛仔"}},"highlight": {"post_tags": ["</span>"],"pre_tags": ["<span style='color:red'>"],"fields": {"*":{}}}}
1.7.2多字段高亮
GET /products/_search{"query": {"term": {"name": {"value": "牛仔"}}},"highlight": {"pre_tags": ["<font color='red'>"],"post_tags": ["<font/>"],"require_field_match": "false","fields": {"name": {},"desc": {}}}}
