0
点赞
收藏
分享

微信扫一扫

ES插件elasticsearch-analysis-pinyin和analysis-icu的区别

惠特曼 2024-06-24 阅读 29
spring boot

插件elasticsearch-analysis-pinyin和analysis-icu的区别:Elasticsearch中的两个插件elasticsearch-analysis-pinyin和analysis-icu都有助于文本分析和处理，但它们的功能和应用场景有所不同。以下是这两个插件的主要区别和用途：

1、elasticsearch-analysis-pinyin

功能：

  • 主要用于汉字拼音转换。
  • 适用于中文文本的拼音分析和搜索。
  • 提供了将汉字转换为拼音全拼和拼音首字母的功能。

应用场景：

  • 中文搜索优化。例如，通过拼音进行搜索或自动补全。
  • 支持汉字的拼音索引和查询。
  • 适合需要拼音匹配功能的应用场景，如拼音输入法、搜索建议等。

配置示例：

{
  "settings": {
    "analysis": {
      "analyzer": {
        "pinyin_analyzer": {
          "tokenizer": "my_pinyin"
        }
      },
      "tokenizer": {
        "my_pinyin": {
          "type": "pinyin",
          "keep_first_letter": true,
          "keep_separate_first_letter": false,
          "keep_full_pinyin": true,
          "keep_original": true,
          "limit_first_letter_length": 16,
          "lowercase": true,
          "trim_whitespace": true
        }
      }
    }
  }
}

2、analysis-icu

功能：

  • 基于ICU（International Components for Unicode）库，提供高级的文本分析和处理功能。
  • 支持多语言和复杂的Unicode文本处理。
  • 包含ICU分词器（ICU Tokenizer）和ICU标准化过滤器（ICU Normalizer）。

应用场景：

  • 多语言文本分析，适用于处理各种语言的文本。
  • 支持Unicode标准化和处理复杂字符。
  • 提供高级的文本处理功能，如正则表达式替换、文本转换等。

配置示例：

{
  "settings": {
    "analysis": {
      "analyzer": {
        "icu_analyzer": {
          "tokenizer": "icu_tokenizer",
          "filter": ["icu_normalizer"]
        }
      },
      "tokenizer": {
        "icu_tokenizer": {
          "type": "icu_tokenizer"
        }
      },
      "filter": {
        "icu_normalizer": {
          "type": "icu_normalizer",
          "name": "nfc",
          "mode": "compose"
        }
      }
    }
  }
}

3、主要区别

  • 用途不同：

    • elasticsearch-analysis-pinyin专注于中文拼音转换和搜索优化。
    • analysis-icu提供了多语言支持和高级的Unicode文本处理能力。

  • 功能范围：

    • elasticsearch-analysis-pinyin主要处理汉字到拼音的转换，适用于中文环境。
    • analysis-icu处理范围广泛，适用于多种语言和复杂的文本处理需求。

  • 配置方式：

    • elasticsearch-analysis-pinyin需要特定的配置来处理拼音转换。
    • analysis-icu使用ICU分词器和标准化过滤器，适用于需要高级文本处理的场景。
  • 如何选择：
  • 如果你的主要需求是处理中文文本并需要拼音转换和匹配功能，选择elasticsearch-analysis-pinyin。
  • 如果你需要处理多语言文本或需要高级的Unicode文本处理能力，选择analysis-icu。

4、elasticsearch-analysis-pinyin 插件的业务场景

业务场景： 中文搜索优化，通过拼音进行搜索或自动补全。

Java代码示例：

假设我们有一个Java应用程序，需要使用elasticsearch-analysis-pinyin插件来处理中文拼音转换和搜索优化。以下是一个简单的示例，演示如何创建Elasticsearch索引，并使用自定义分析器进行拼音处理。

import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.index.IndexResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.client.indices.CreateIndexRequest;
import org.elasticsearch.client.indices.CreateIndexResponse;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.xcontent.XContentType;
import org.elasticsearch.index.mapper.ObjectMapper;
import org.elasticsearch.index.mapper.ParseContext.Document;

import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

public class ElasticsearchPinyinExample {

    private static final String INDEX_NAME = "my_index";
    private static final String TYPE_NAME = "_doc";
    private static final String FIELD_NAME = "content";

    public static void main(String[] args) throws IOException {
        // 创建Elasticsearch客户端连接
        RestHighLevelClient client = new RestHighLevelClient();

        try {
            // 创建索引请求
            CreateIndexRequest request = new CreateIndexRequest(INDEX_NAME);
            request.settings(Settings.builder()
                    .put("index.number_of_shards", 1)
                    .put("index.number_of_replicas", 0));

            // 创建自定义分析器，包括拼音转换器
            Map<String, Object> pinyinAnalyzer = new HashMap<>();
            pinyinAnalyzer.put("tokenizer", "my_pinyin");

            Map<String, Object> tokenizer = new HashMap<>();
            tokenizer.put("type", "pinyin");
            tokenizer.put("keep_first_letter", true);
            tokenizer.put("keep_separate_first_letter", false);
            tokenizer.put("keep_full_pinyin", true);
            tokenizer.put("keep_original", true);
            tokenizer.put("limit_first_letter_length", 16);
            tokenizer.put("lowercase", true);
            tokenizer.put("trim_whitespace", true);

            Map<String, Object> analysis = new HashMap<>();
            analysis.put("analyzer", pinyinAnalyzer);
            analysis.put("tokenizer", tokenizer);

            request.mapping(TYPE_NAME, new ObjectMapper().toSource());

            // 执行创建索引请求
            CreateIndexResponse createIndexResponse = client.indices().create(request, RequestOptions.DEFAULT);

            // 准备文档数据
            Map<String, Object> document = new HashMap<>();
            document.put(FIELD_NAME, "你好，世界");

            // 创建文档请求
            IndexRequest indexRequest = new IndexRequest(INDEX_NAME, TYPE_NAME)
                    .source(document);

            // 执行文档创建请求
            IndexResponse indexResponse = client.index(indexRequest, RequestOptions.DEFAULT);

            // 输出结果
            System.out.println("Indexed document ID: " + indexResponse.getId());

        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            // 关闭客户端连接
            client.close();
        }
    }
}

5、analysis-icu 插件的业务场景

业务场景： 多语言文本处理和Unicode标准化。

Java代码示例：

下面是一个简单的示例，演示如何使用analysis-icu插件来处理多语言文本和Unicode标准化。

import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.index.IndexResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.client.indices.CreateIndexRequest;
import org.elasticsearch.client.indices.CreateIndexResponse;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.xcontent.XContentType;

import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

public class ElasticsearchIcuExample {

    private static final String INDEX_NAME = "my_index";
    private static final String TYPE_NAME = "_doc";
    private static final String FIELD_NAME = "content";

    public static void main(String[] args) throws IOException {
        // 创建Elasticsearch客户端连接
        RestHighLevelClient client = new RestHighLevelClient();

        try {
            // 创建索引请求
            CreateIndexRequest request = new CreateIndexRequest(INDEX_NAME);
            request.settings(Settings.builder()
                    .put("index.number_of_shards", 1)
                    .put("index.number_of_replicas", 0));

            // 创建自定义分析器，包括ICU分词器和标准化过滤器
            Map<String, Object> icuAnalyzer = new HashMap<>();
            icuAnalyzer.put("tokenizer", "icu_tokenizer");
            icuAnalyzer.put("filter", "icu_normalizer");

            Map<String, Object> tokenizer = new HashMap<>();
            tokenizer.put("type", "icu_tokenizer");

            Map<String, Object> filter = new HashMap<>();
            filter.put("type", "icu_normalizer");
            filter.put("name", "nfc");
            filter.put("mode", "compose");

            Map<String, Object> analysis = new HashMap<>();
            analysis.put("analyzer", icuAnalyzer);
            analysis.put("tokenizer", tokenizer);
            analysis.put("filter", filter);

            request.mapping(TYPE_NAME, new ObjectMapper().toSource());

            // 执行创建索引请求
            CreateIndexResponse createIndexResponse = client.indices().create(request, RequestOptions.DEFAULT);

            // 准备文档数据
            Map<String, Object> document = new HashMap<>();
            document.put(FIELD_NAME, "Hello, 世界");

            // 创建文档请求
            IndexRequest indexRequest = new IndexRequest(INDEX_NAME, TYPE_NAME)
                    .source(document);

            // 执行文档创建请求
            IndexResponse indexResponse = client.index(indexRequest, RequestOptions.DEFAULT);

            // 输出结果
            System.out.println("Indexed document ID: " + indexResponse.getId());

        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            // 关闭客户端连接
            client.close();
        }
    }
}

6、注意事项

  • 上述示例中的RestHighLevelClient类是Elasticsearch官方提供的Java高级客户端，用于与Elasticsearch进行交互。确保项目中包含正确的Elasticsearch Java客户端依赖。
  • 在实际应用中，根据具体需求和业务场景，可以调整和配置不同的分析器、标记器和过滤器，以达到最佳的文本处理效果。
  • 请根据实际情况替换示例中的索引名称、文档类型和字段名称，以及相应的配置参数。
举报

相关推荐

Windows下中文分词插件elasticsearch-analysis-ik安装

elasticsearch闪退Linux系统/运维

Elasticsearch·倒排序索引与分词Analysis

elasticsearches索引倒排索引HarmonyOS后端开发

clock sense和analysis mode

java

windows系统安装Elasticsearch+Kibana+ik analysis分词

elasticsearch搜索引擎

docker部署elasticsearch7.7.0级拼音(pinyin)插件和分词(ik)插件

golang

【Elasticsearch】文本分析 Text analysis 配置文本分析 (2)

elasticsearcheshtmlideanalyzer

Elasticsearch(006)：es中filtered和filter的区别

java后端

ES004-Elasticsearch插件的介绍

elasticsearchgithubElasticJavaScript前端开发

浅谈JVM中的逃逸分析(Escape Analysis)

JVMJVM · J...Java

3步搞定GWAS中的Gene Set Analysis

数据库数据数据分析Java编程语言
0 条评论