• ElasticSearch 实现 全文检索 支持（PDF、TXT、Word、HTML等文件）通过 ingest-attachment 插件实现 文档的检索

    一、Attachment 介绍

    Attachment 插件是 Elasticsearch 中的一种插件，允许将各种二进制文件（如PDF、Word文档等）以及它们的内容索引到 Elasticsearch 中。插件使用 Apache Tika 库来解析和提取二进制文件的内容。通过使用 Attachment 插件，可以轻松地在 Elasticsearch 中建立全文搜索功能，而无需事先转换二进制文件为文本。

    优点：

    1. 可以将各种类型的二进制文件以原始形式存储在 Elasticsearch 中。这使得保存和访问二进制文件变得更加简单和高效。

    2. 插件使用 Apache Tika 库来解析和提取二进制文件的内容，因此可以提取并存储内容、元数据以及格式化的文本数据。这使得 Elasticsearch 可以轻松地对文档执行全文搜索以及文档内容的其他分析操作。

    3. 在 Elasticsearch 中使用 Attachment 插件，可以轻松地实现以下一些功能：搜索文档、生成全文搜索报告、自动标记文件、提取数据并进行分析，在文档中查找特定项等。

    缺点：

    1. Attachment 插件对性能有一定的影响，因为执行全文搜索需要解析和提取二进制文件的内容。如果处理大量的二进制文件，可能会影响搜索性能。

    2. Attachment 插件有一些限制，例如插件不支持对二进制文件进行过滤或排除，因此如果文件内容包含敏感信息，则不应使用 Attachment 插件进行索引。

    二、初始化 ingest-attachment

    1、windows安装

     1、先在ES的bin目录下执行命令 安装 ngest-attachment插件

    elasticsearch-plugin install ingest-attachment

    作者已经安装过了 所以不能重复安装，插件下载过程中会出现

    2、Liunx安装 

    通过官网下载，找到对应的版本号：attachment下载网站

    下载好后上传到服务器，进入elasticsearch安装目下的bin目录下。
    执行sudo ./elasticsearch-plugin install file:///home/ingest-attachment-7.9.0.zip 即可
    重启ES  打印 [apYgDEl] loaded plugin [ingest-attachment] 表示安装成功

    3、小结

    安装完成后需要重新启动ES

    接下来我们需要创建一个关于ingest-attachment的文本抽取管道

    1. PUT /_ingest/pipeline/attachment
    2. {
    3.     "description": "Extract attachment information",
    4.     "processors": [
    5.         {
    6.             "attachment": {
    7.                 "field": "content",
    8.                 "ignore_missing": true
    9.             }
    10.         },
    11.         {
    12.             "remove": {
    13.                 "field": "content"
    14.             }
    15.         }
    16.     ]
    17. }

    后续我们的文件需要base64后储存到 attachment.content 索引字段中

    三、如何应用？

    1、通过命令语句简易检索

    # 创建一个ES 索引 并且添加一些测试数据

    1. POST /pdf_data/_doc?pretty
    2. {
    3.  
    4.   "id": "3",
    5.  
    6.   "name": "面试题文件1.pdf",
    7.  
    8.   "age": 18,
    9.  
    10.   "type": "file",
    11.  
    12.   "money": 1111,
    13.  
    14.   "createBy": "阿杰",
    15.  
    16.   "createTime": "2022-11-03T10:41:51.851Z",
    17.  
    18.   "attachment": {
    19.  
    20.     "content": "面试官：如何保证消息不被重复消费啊？如何保证消费的时候是幂等的啊？Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么区别，以及适合哪些场景？",
    21.  
    22.     "date": "2022-11-02T10:41:51.851Z",
    23.  
    24.     "language": "en"
    25.  
    26.   }
    27. }

    # 通过插入的文档内容为条件进行检索

    1. # 简单 单条件查询 文档内容检索
    2. GET /pdf_data/_search
    3. {
    4.   "query": {
    5.     "match": {
    6.       "attachment.content": "面试官：如何保证消息不被重复消费啊？如何保证消费的时候是幂等的啊？"
    7.     }
    8.   }
    9. }

    2、整合java代码实现ES通过ingest-attachment进行全文检索

     1、首先将文件转为BASE64进行ES数据插入

    1. /**
    2.      * 将文件 文档信息储存到数据中
    3.      * @param file
    4.      * @return
    5.      */
    6.     @PostMapping("/insertFile")
    7.     @ApiOperation(value="创建索引ES-传入ES索引-传入文件", notes="创建索引ES-传入ES索引-传入文件")
    8.     public IndexResponse insertFile(@RequestAttribute("file") MultipartFile file,@RequestParam("indexName")String indexName){
    9.         FileObj fileObj = new FileObj();
    10.         fileObj.setId(String.valueOf(System.currentTimeMillis()));
    11.         fileObj.setName(file.getOriginalFilename());
    12.         fileObj.setType(file.getName().substring(file.getName().lastIndexOf(".") + 1));
    13.         fileObj.setCreateBy(RandomNameGenerator.generateRandomName());
    14.         fileObj.setCreateTime(String.valueOf(System.currentTimeMillis()));
    15.         fileObj.setAge(RandomNameGenerator.getAge());
    16.         fileObj.setMoney(RandomNameGenerator.getMoney());
    17.         // 文件转base64
    18.         byte[] bytes = new byte[0];
    19.         try {
    20.             bytes = file.getBytes();
    21.             //将文件内容转化为base64编码
    22.             String base64 = Base64.getEncoder().encodeToString(bytes);
    23.             fileObj.setContent(base64);
    24.  
    25.            IndexResponse indexResponse=  ElasticsearchUtil.upload(fileObj,indexName);
    26.             if (0==indexResponse.status().getStatus()){
    27.                 // 索引创建并插入数据成功
    28.                 System.out.println("索引创建并插入数据成功");
    29.             }
    30.             return indexResponse;
    31.  
    32.         } catch (Exception e) {
    33.             e.printStackTrace();
    34.         }
    35.         return null;
    36.     }

     2、创建索引、插入数据，并且将文档数据抽取到管道中

    1.     @Autowired
    2.     private RestHighLevelClient restHighLevelClient;
    3.  
    4.     private  static  RestHighLevelClient levelClient;
    5.  
    6.     @PostConstruct
    7.     public void initClient() {
    8.         levelClient = this.restHighLevelClient;
    9.     }
    10.  
    11. /**
    12.      * 创建索引并插入数据
    13.      * @param file
    14.      * @param indexName
    15.      * @return
    16.      * @throws IOException
    17.      */
    18.     public static IndexResponse upload(FileObj file,String indexName) throws IOException {
    19.         // TODO 创建前需要判断当前文档是否已经存在
    20.         if (!isIndexExist(indexName)) {
    21.             CreateIndexRequest request = new CreateIndexRequest(indexName);
    22.         // 如果需要ik分词器就添加配置，不需要就注释掉 
    23.             // 添加 IK 分词器设置  ik_max_word
    24. //            request.settings(Settings.builder()
    25. //                    .put("index.analysis.analyzer.default.type", "ik_max_word")
    26. //                    .put("index.analysis.analyzer.default.use_smart", "true")
    27. //            );
    28.             
    29.             // 添加 IK 分词器设置 ik_smart 
    30.             request.settings(Settings.builder()
    31.                     .put("index.analysis.analyzer.default.type", "ik_smart")
    32.             );
    33.             CreateIndexResponse response = levelClient.indices().create(request, RequestOptions.DEFAULT);
    34.             log.info("执行建立成功？" + response.isAcknowledged());
    35.         }
    36.         IndexRequest indexRequest = new IndexRequest(indexName);
    37.         //上传同时，使用attachment pipline进行提取文件
    38.         indexRequest.source(JSON.toJSONString(file), XContentType.JSON);
    39.         indexRequest.setPipeline("attachment");
    40.         IndexResponse indexResponse= levelClient.index(indexRequest,RequestOptions.DEFAULT);
    41.         System.out.println(indexResponse);
    42.         return indexResponse;
    43.     }

      3、其他代码补充

       ES Config 配置类 

    1. /**
    2.  * ES配置类
    3.  * author: 阿杰
    4.  */
    5. @Configuration
    6. public class ElasticSearchClientConfig {
    7.  
    8.     /**
    9.      * ES 地址：127.0.0.1:9200
    10.      */
    11.     @Value("${es.ip}")
    12.     private String hostName;
    13.  
    14.     @Bean
    15.     public RestHighLevelClient restHighLevelClient() {
    16.         String[] points = hostName.split(",");
    17.         HttpHost[] httpHosts = new HttpHost[points.length];
    18.         for (int i = 0; i < points.length; i++) {
    19.             String point = points[i];
    20.             httpHosts[i] = new HttpHost(point.split(":")[0], Integer.parseInt(point.split(":")[1]), "http");
    21.         }
    22.         RestHighLevelClient client = new RestHighLevelClient(
    23.                 RestClient.builder(httpHosts));
    24.         return client;
    25.     }
    26.  
    27.     @Bean
    28.     public ElasticsearchUtil elasticSearchUtil() {
    29.         return new ElasticsearchUtil();
    30.     }
    31.  
    32.  
    33. }

    数据插入使用的实体类

    1. /**
    2.  * author: 阿杰
    3.  */
    4. @Data
    5. public class FileObj {
    6.     /**
    7.      * 用于存储文件id
    8.      */
    9.     String id;
    10.     /**
    11.      * 文件名
    12.      */
    13.     String name;
    14.     /**
    15.      * 文件的type，pdf，word，or txt
    16.      */
    17.     String type;
    18.     /**
    19.      * 数据插入时间
    20.      */
    21.     String createTime;
    22.     /**
    23.      * 当前数据所属人员
    24.      */
    25.     String createBy;
    26.  
    27.     /**
    28.      * 当前数据所属人员的年龄
    29.      */
    30.     int age;
    31.  
    32.     /**
    33.      * 当前数据所属人员的资产
    34.      */
    35.     int money;
    36.  
    37.     /**
    38.      * 文件转化成base64编码后所有的内容。
    39.      */
    40.     String content;
    41. }

     四、补充一点

    QueryBuilders.matchPhraseQuery 和 QueryBuilders.matchQuery 都是 Elasticsearch Java API 中用于构建查询的方法，它们在使用上有以下区别：

    1. 匹配方式不同：

      • matchPhraseQuery 是短语匹配查询，它会将输入的文本作为一个短语进行匹配。短语匹配要求查询的字段包含输入的短语且顺序一致。
      • matchQuery 是多词项匹配查询，它会将输入的文本根据分词器进行分词，并对分词结果进行匹配。匹配结果是包含输入的任意词项的文档。

    2. 查询方式不同：

      • matchPhraseQuery 使用短语查询方式，它会对输入的短语进行关键词匹配，精确匹配所有词项并保留顺序。
      • matchQuery 使用与布尔查询相似的查询方式，它会将输入的文本进行分词，并生成与分词结果匹配的查询条件。

    3. 分词不同：

      • matchPhraseQuery 不会对输入的短语进行分词，而是将输入的短语作为整个短语进行匹配。
      • matchQuery 会对输入的文本进行分词，并将分词结果作为关键词进行匹配。

    下面是使用示例：

    1. import org.elasticsearch.index.query.QueryBuilders;
    2. import org.elasticsearch.index.query.QueryBuilder;
    3.  
    4. // 使用 matchPhraseQuery 进行短语匹配查询
    5. QueryBuilder matchPhraseQueryBuilder = QueryBuilders.matchPhraseQuery("fieldName", "input phrase");
    6.  
    7. // 使用 matchQuery 进行多词项匹配查询
    8. QueryBuilder matchQueryBuilder = QueryBuilders.matchQuery("fieldName", "input text");

    根据实际需求，选择合适的查询方式来构建你的查询条件。如果需要精确匹配全部词项且保留顺序，使用 matchPhraseQuery；如果需要简单的多词项匹配，使用 matchQuery。

    完整代码可通过： 完整代码包下载

    制作不易，给个小赞！

                      

  • 相关阅读:
    丹麦能源袭击预示着更关键的基础设施成为目标
    ArcGIS Pro脚本工具（11）——修改图层唯一值符号的标注
    Spring MVC组件之HandlerAdapter
    JAVA计算机毕业设计游戏分享平台Mybatis+源码+数据库+lw文档+系统+调试部署
    Python算法例1 完美平方
    旋转矩阵与欧拉角的相互转换
    程序调试技巧
    Maven(4)-利用intellij idea创建maven 多模块项目
    TDengine负载均衡测试（运维场景）
    神经网络算法数学建模,神经网络模型数据处理
  • 原文地址：https://blog.csdn.net/lijie0213/article/details/134205963