【全文检索_03】Lucene 基本使用

/**
 * @author Demo_Null
 * @version 1.0
 * @date 2021/1/22
 * @desc 默认分词器的分词效果
 */
@SpringBootTest
public class Lucene {
@Test
public void analyzerTest() throws IOException {
    // 1. 创建标准分词器
    Analyzer analyzer = new StandardAnalyzer();

    // 2. 获取 tokenStream 对象, 第一个参数：域名，可以随便给一个, 第二个参数：要分析的文本内容
    TokenStream tokenStream = analyzer.tokenStream("text", "中国码农, Chinese programmer");

    // 3.1 添加一个引用，可以获得每个关键词
    CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class);
    // 3.2 添加一个偏移量的引用，记录了关键词的开始位置以及结束位置
    OffsetAttribute offsetAttribute = tokenStream.addAttribute(OffsetAttribute.class);
    // 3.3 将指针调整到列表的头部
    tokenStream.reset();

    // 4. 遍历关键词列表，通过 incrementToken 方法判断列表是否结束
    while (tokenStream.incrementToken()) {
        System.out.println("关键词：" + charTermAttribute);
    }

    // 5. 释放资源
    tokenStream.close();
}

}

<dependency>

<groupId>com.janeluo</groupId>

<artifactId>ikanalyzer</artifactId>

<version>2012_u6</version>

</dependency>

/**



@author Demo_Null


@version 1.0


@date 2021/1/22


@desc IK 分词器的分词效果

*/

@SpringBootTest

public class Lucene {
@Test

public void analyzerTest() throws IOException {

// 1. 创建 Ik 分词器

IKAnalyzer analyzer = new IKAnalyzer(true);
 // 2. 获取 tokenStream 对象, 第一个参数：域名，可以随便给一个, 第二个参数：要分析的文本内容
 StringReader stringReader = new StringReader("中国码农, Chinese programmer");
 TokenStream tokenStream = analyzer.tokenStream("text", stringReader);

 // 3.1 添加一个引用，可以获得每个关键词
 CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class);
 // 3.2 添加一个偏移量的引用，记录了关键词的开始位置以及结束位置
 OffsetAttribute offsetAttribute = tokenStream.addAttribute(OffsetAttribute.class);
 // 3.3 将指针调整到列表的头部
 tokenStream.reset();

 // 4. 遍历关键词列表，通过 incrementToken 方法判断列表是否结束
 while (tokenStream.incrementToken()) {
     System.out.println("关键词：" + charTermAttribute);
 }

 // 5. 释放资源
 tokenStream.close();

}

}

<!-- IKAnalyzer.cfg.xml -->

<?xml version="1.0" encoding="UTF-8"?>

<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">

<properties>

<comment>IK Analyzer 扩展配置</comment>

<!-- 可以配置多个词典文件，文件使用";"号分隔。文件路径为相对 java 包的起始根路径 -->

<!-- 用户可以在这里配置自己的扩展字典, 一行一词 -->

<entry key="ext_dict">ext.dic;</entry>

<!-- 用户可以在这里配置自己的停止词字典, 一行一词 -->

<entry key="ext_stopwords">stopword.dic;</entry>

</properties>

/**



@author Demo_Null


@version 1.0


@date 2021/1/21


@desc Lucene 入门案例, 创建索引

*/

@SpringBootTest

public class LuceneDemo {
@Test

public void create() throws IOException {

// 1. 指定索引库位置

Directory directory = FSDirectory.open(new File("C:\Users\softw\Desktop\temp").toPath());
 // 2. 创建 IndexWriterConfig 对象
 IndexWriterConfig indexWriterConfig = new IndexWriterConfig();

 // 3. 创建 IndexWriter 对象
 IndexWriter indexWriter = new IndexWriter(directory, indexWriterConfig);

 // 4. 获取原始文档信息
 File file = new File("C:\\Users\\softw\\Desktop\\file\\双城记.txt");
 String name = file.getName();
 String path = file.getPath();
 // 使用 org.apache.commons.io.FileUtils 工具类读取信息
 String content = FileUtils.readFileToString(file, "GBK");
 long size = FileUtils.sizeOf(file);

 // 5. 创建 Field 域, 第一个参数：域的名称, 第二个参数：域的内容, 第三个参数：是否存储
 TextField fileNameField = new TextField("filename", name, Field.Store.YES);
 TextField filePathField = new TextField("path", path, Field.Store.YES);
 TextField fileContentField = new TextField("content", content, Field.Store.YES);
 LongPoint fileSizeField = new LongPoint("size", size);

 // 6. 创建 Document 文档, 存入 Field 域
 Document document = new Document();
 document.add(fileNameField);
 document.add(filePathField);
 document.add(fileContentField);
 document.add(fileSizeField);

 // 7. 创建索引并写入索引库
 indexWriter.addDocument(document);

 // 8. 释放资源
 indexWriter.close();

}

}

@Test

public void deleteAll() throws IOException {

// 1. 指定索引库位置保存到本地

Directory directory = FSDirectory.open(new File("C:\Users\softw\Desktop\temp").toPath());

// 2. 创建 IndexWriterConfig 对象

IndexWriterConfig indexWriterConfig = new IndexWriterConfig();
// 3. 创建 IndexWriter 对象

IndexWriter indexWriter = new IndexWriter(directory, indexWriterConfig);
// 4. 删除全部, 将索引目录的索引信息全部删除, 直接彻底删除, 无法恢复

indexWriter.deleteAll();
// 5. 释放资源

indexWriter.close();

}

@Test

public void deleteQuery() throws IOException {

// 1. 指定索引库位置保存到本地

Directory directory = FSDirectory.open(new File("C:\Users\softw\Desktop\temp").toPath());

// 2. 创建 IndexWriterConfig 对象

IndexWriterConfig indexWriterConfig = new IndexWriterConfig();
// 3. 创建 IndexWriter 对象

IndexWriter indexWriter = new IndexWriter(directory, indexWriterConfig);
// 4. 创建查询

Query query = new TermQuery(new Term("filename", "apache"));
// 5. 删除指定条件

indexWriter.deleteDocuments(query);
// 6. 释放资源

indexWriter.close();

}

@Test

public void update() throws IOException {

// 1. 指定索引库位置保存到本地

Directory directory = FSDirectory.open(new File("C:\Users\softw\Desktop\temp").toPath());

// 2. 创建 IndexWriterConfig 对象

IndexWriterConfig indexWriterConfig = new IndexWriterConfig();
// 3. 创建 IndexWriter 对象

IndexWriter indexWriter = new IndexWriter(directory, indexWriterConfig);
// 4. 创建一个 Document 对象, 存放新数据

Document document = new Document();

document.add(new TextField("filename", "apache lucene", Field.Store.YES));

document.add(new TextField("content", "Lucene 是 Apache 的子项目", Field.Store.YES));
// 5. 更新数据, 其实是先根据 term 删除后添加

indexWriter.updateDocument(new Term("filename", "apache"), document);
// 6. 释放资源

indexWriter.close();

}

/**



@author Demo_Null


@version 1.0


@date 2021/1/26


@desc TermQuery 查询索引库

*/

@SpringBootTest

public class CreateIndex {
@Test

public void search() throws IOException {

// 1. 指定索引库

Directory directory = FSDirectory.open(new File("C:\Users\softw\Desktop\temp").toPath());
 // 2. 创建 IndexReader 对象
 IndexReader indexReader = DirectoryReader.open(directory);

 // 3. 创建 IndexSearcher 对象
 IndexSearcher indexSearcher = new IndexSearcher(indexReader);

 // 4. 创建查询, TermQuery 不使用分析器所以建议匹配不分词的 Field 域查询
 Query query = new TermQuery(new Term("content", "apache"));

 // 5. 执行查询, 第一个参数是查询对象, 第二个参数是查询结果返回的最大值
 TopDocs search = indexSearcher.search(query, 10);

 System.out.println("查询结果条数：" + search.totalHits);

 // 6. 遍历查询结果
 for (ScoreDoc scoreDoc : search.scoreDocs) {
     // 6.1 根据 id 获取 Document, scoreDoc.doc 属性就是 document 对象的 id
     Document doc = indexSearcher.doc(scoreDoc.doc);
     System.out.println("文件名：" + doc.get("filename"));
     System.out.println("文件路径：" + doc.get("path"));
     System.out.println("文件大小：" + doc.get("size"));
 }

 // 7. 释放资源
 indexReader.close();

}

}

/**



@author Demo_Null


@version 1.0


@date 2021/1/26


@desc 数字范围查询索引库

*/

@SpringBootTest

public class CreateIndex {
@Test

public void search() throws IOException {

// 1. 指定索引库

Directory directory = FSDirectory.open(new File("C:\Users\softw\Desktop\temp").toPath());
 // 2. 创建 IndexReader 对象
 IndexReader indexReader = DirectoryReader.open(directory);

 // 3. 创建 IndexSearcher 对象
 IndexSearcher indexSearcher = new IndexSearcher(indexReader);

 // 4. 创建查询
 Query query = LongPoint.newRangeQuery("size", 1, 1024000);

 // 5. 执行查询, 第一个参数是查询对象, 第二个参数是查询结果返回的最大值
 TopDocs search = indexSearcher.search(query, 10);

 System.out.println("查询结果条数：" + search.totalHits);

 // 6. 遍历查询结果
 for (ScoreDoc scoreDoc : search.scoreDocs) {
     // 6.1 根据 id 获取 Document, scoreDoc.doc 属性就是 document 对象的 id
     Document doc = indexSearcher.doc(scoreDoc.doc);
     System.out.println("文件名：" + doc.get("filename"));
     System.out.println("文件路径：" + doc.get("path"));
     System.out.println("文件大小：" + doc.get("size"));
 }

 // 7. 释放资源
 indexReader.close();

}

}

/**



@author Demo_Null


@version 1.0


@date 2021/1/26


@desc QueryParser 查询索引库

*/

@SpringBootTest

public class CreateIndex {
@Test

public void search() throws Exception {

// 1. 指定索引库

Directory directory = FSDirectory.open(new File("C:\Users\softw\Desktop\temp").toPath());
 // 2. 创建 IndexReader 对象
 IndexReader indexReader = DirectoryReader.open(directory);

 // 3. 创建 IndexSearcher 对象
 IndexSearcher indexSearcher = new IndexSearcher(indexReader);

 // 4.1 创建查询, 第一个参数默认搜索的域, 第二个参数就是分析器(最好与创建索引库使用的一致)
 QueryParser queryParser = new QueryParser("content", new StandardAnalyzer());
 // 4.2 QueryParser 提供一个 Parse 方法，此方法可以直接根据查询语法来查询
 Query query = queryParser.parse("双城记");

 // 5. 执行查询, 第一个参数是查询对象, 第二个参数是查询结果返回的最大值
 TopDocs search = indexSearcher.search(query, 10);

 System.out.println("查询结果条数：" + search.totalHits);

 // 6. 遍历查询结果
 for (ScoreDoc scoreDoc : search.scoreDocs) {
     // 6.1 获取 Document
     Document doc = indexSearcher.doc(scoreDoc.doc);
     System.out.println("文件名：" + doc.get("filename"));
     System.out.println("文件路径：" + doc.get("path"));
     System.out.println("文件大小：" + doc.get("size"));
 }

 // 7. 释放资源
 indexReader.close();

}

}