Solr和Spring Data Solr - 成就云开发者社区

一.Solr概述与安装

1.Solr简介

Solr是一个开源搜索平台，用于构建搜索应用程序。它建立在Lucene(全文搜索引擎)之上。 Solr是企业级的，快速的和高度可扩展的。Solr可以和Hadoop(http://www.yiibai.com/hadoop/)一起使用。由于Hadoop处理大量数据，Solr帮助我们从这么大的源中找到所需的信息。不仅限于搜索，Solr也可以用于存储目的。像其他NoSQL数据库一样，它是一种非关系数据存储和处理技术。总之，Solr是一个可扩展的，可部署，搜索/存储引擎，优化搜索大量以文本为中心的数据。

2.Linux下Solr的安装

1：把Tomcat安装包导入Linux系统，解压 Tomcat并重命名tomcat-solr

2：导入solr的Linux安装包到Linux服务器，解压 solr-4.10.3.tgz.tgz。

命令：tar -zxvf solr-4.10.3.tgz.tgz

3：把 solr 下的example/webapps/solr.war部署到 Tomcat-solr\webapps下(去掉版本号)。

命令：cp solr-4.10.3/example/webapps/solr.war tomcat-solr/webapps/

4：使用命令解压：unzip -oq solr.war -d solr

5：把solr下example/lib/ext 目录下的所有的 jar 包，添加到 solr 的工程中(\WEB-INF\lib目录下)。

命令：cp solr-4.10.3/example/lib/ext/* tomcat-solr/webapps/solr/WEB-INF/lib/

6：创建一个索引仓库。solr 下的/example/solr 目录就是一个索引仓库。复制此目录【solr】到任意磁盘即可完成自定义索引仓库创建。

命令：cp -r solr-4.10.3/example/solr . (把solr索引库仓库文件夹拷贝当前目录; . 表示当前目录)

7：关联tomcat服务器中 solr项目和索引仓库solr。修改Tomcat/bin/catalina.sh文件指定索引仓库路径即可

代码语言：javascript

复制

 //在Tomcat/bin/catalina.sh第二行指定索引仓库路径即可
    export JAVA_OPTS="-Dsolr.solr.home=/usr/local/dintalk/singleSolr/solr"

8：启动 Tomcat

http://IP:8080/solr/

9.加载contrib,dist依赖类库

把solr-4.10.3/contrib,dist 文件夹拷贝索引仓库目录下（和索引库在同一级目录）

命令：cp -r solr-4.10.3/contrib/ solr-4.10.3/dist/ solr

配置solr索引库中核心配置文件：solrConfig.xml 加载contrib，dist依赖jar包

3.中文分析器IK Analyzer的安装

IK Analyzer 是一个开源的，基亍 java 语言开发的轻量级的中文分词工具包。最初，它是以开源项目Luence 为应用主体的，结合词典分词和文法分析算法的中文分词组件。从 3.0 版本开始，IK 发展为面向 Java 的公用分词组件，独立亍 Lucene 项目，同时提供了对 Lucene 的默认优化实现。在 2012 版本中，IK 实现了简单的分词歧义排除算法，标志着 IK 分词器从单纯的词典分词向模拟语义分词衍化。

3.1IK Analyzer配置

1、把IKAnalyzer2012FF_u1.jar 添加到 solr 工程的 lib 目录下

2、创建WEB-INF/classes（手动创建）文件夹把扩展词典、停用词词典、配置文件放到 solr 工程的 WEB- INF/classes 目录下：

3、修改索引库的 schema.xml 文件，配置一个 FieldType，使用 IKAnalyzer。

代码语言：javascript

复制

<fieldType name="text_ik" class="solr.TextField">
     <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>
</fieldType>

4.业务域配置

域相当于数据库的表字段，用户存放数据，因此用户根据业务需要去定义相关的Field（域），一般来说，每一种对应着一种数据，用户对同一种数据进行相同的操作。

域的常用属性：

name：指定域的名称
type：指定域的类型
indexed：是否索引
stored：是否存储
required：是否必须
multiValued：是否多值

4.1普通域

修改solrhome的schema.xml 文件设置业务系统 Field :

代码语言：javascript

复制

<!-- 域的配置 :普通域 -->
<!--name:字段名称  type:字段类型 stored:是否存储分词前内容(复制域选择false) 
required:是否必填  indexed：索引(是否进行查询)  -->
<field name="item_goodsid" type="long" indexed="true" stored="true"/>
<field name="item_title" type="text_ik" indexed="true" stored="true"/>
<field name="item_price" type="double" indexed="true" stored="true"/>
<field name="item_image" type="string" indexed="false" stored="true" />
<field name="item_category" type="string" indexed="true" stored="true" />
<field name="item_seller" type="text_ik" indexed="true" stored="true" />
<field name="item_brand" type="string" indexed="true" stored="true" />

4.2复制域

复制域的作用在于将某一个Field中的数据复制到另一个域中 :

代码语言：javascript

复制

<!-- 域的配置 :复制域 -->
<!--multiValued 是否有多值  stored="false" 不需要存储 -->
<field name="item_keywords" type="text_ik" indexed="true" stored="false" multiValued="true"/>
<copyField source="item_title" dest="item_keywords"/>
<copyField source="item_category" dest="item_keywords"/>
<copyField source="item_seller" dest="item_keywords"/>
<copyField source="item_brand" dest="item_keywords"/>

4.3动态域

当我们需要动态扩充字段时，我们需要使用动态域。所以我们需要使用动态域来实现。需要实现的效果示例如下 :

代码语言：javascript

复制

<!-- 域的配置:动态域 -->
<!--因为数据中的item_spec_后面的内容不固定所以用*号代替(即动态查询条件匹配) -->
<dynamicField name="item_spec_*" type="string" indexed="true" stored="true" />

二.Spring Data Solr

如何将Solr的应用集成到Spring中？Spring Data Solr就是为了方便Solr的开发所研制的一个框架，其底层是对SolrJ（官方API）的封装。

1.Spring Data Solr 使用步骤

第一步:导入相关坐标

代码语言：javascript

复制

<!-- SpringDataSolr的坐标 -->
<dependency>
    <groupId>org.springframework.data</groupId>
    <artifactId>spring-data-solr</artifactId>
    <version>1.5.5.RELEASE</version>
</dependency>

第二步:resources下编写配置文件(applicationContext-solr.xml)

代码语言：javascript

复制

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns:solr="http://www.springframework.org/schema/data/solr"
       xsi:schemaLocation="http://www.springframework.org/schema/data/solr
      http://www.springframework.org/schema/data/solr/spring-solr-1.0.xsd
    http://www.springframework.org/schema/beans 
    http://www.springframework.org/schema/beans/spring-beans.xsd">
&lt;!-- 0.配置包扫描(注解) 

<context:component-scan base-package="cn.dintalk.solrutil"></context:component-scan>

-->
&lt;!-- 1.solr服务器地址 --&gt;
&lt;solr:solr-server id=&#34;solrServer&#34; url=&#34;http://127.0.0.1:8080/solr&#34;/&gt;

&lt;!-- 2.solr模板，使用solr模板可对索引库进行CRUD的操作 --&gt;
&lt;bean id=&#34;solrTemplate&#34; class=&#34;org.springframework.data.solr.core.SolrTemplate&#34;&gt;
    &lt;constructor-arg ref=&#34;solrServer&#34;/&gt;
&lt;/bean&gt;

</beans>

第三步:为操作的实体类添加@Filed注解

代码语言：javascript

复制

public class TbItem implements Serializable{
// id 和solr中的主键名称一致可以不用写
@Field
private Long id;

@Field("item_title")

private String title;
@Field(&#34;item_image&#34;)
private String image;
...</code></pre></div></div><h4 id="1vq49" name="%E7%AC%AC%E5%9B%9B%E6%AD%A5:%E5%9F%BA%E6%9C%AC%E7%9A%84CRUD"><strong>第四步:基本的CRUD</strong></h4><div class="rno-markdown-code"><div class="rno-markdown-code-toolbar"><div class="rno-markdown-code-toolbar-info"><div class="rno-markdown-code-toolbar-item is-type"><span class="is-m-hidden">代码语言：</span>javascript</div></div><div class="rno-markdown-code-toolbar-opt"><div class="rno-markdown-code-toolbar-copy"><i class="icon-copy"></i><span class="is-m-hidden">复制</span></div></div></div><div class="developer-code-block"><pre class="prism-token token line-numbers language-javascript"><code class="language-javascript" style="margin-left:0">/**



测试Solr的简单操作


@author Mr.song


@date 2019/06/13 16:55

*/

@RunWith(SpringJUnit4ClassRunner.class)

@ContextConfiguration("classpath:applicationContext-solr.xml")

public class SolrTest {
@Autowired

private SolrTemplate solrTemplate;
@Test   //增加item

public void testAddItemToSolrHome(){

TbItem item = new TbItem();

item.setId(1L);

item.setTitle("测试Title");

item.setImage("这是图片");

solrTemplate.saveBean(item);

//增删改需要提交

solrTemplate.commit();

}
//重新赋值便是更新
@Test //根据主键查询

public void testQueryById(){

TbItem item = solrTemplate.getById(1L, TbItem.class);

System.out.println(item.getTitle());

}
@Test  //条件查询

public void testQuery(){

//查询所有, :  前面是字段  后面是条件

SimpleQuery simpleQuery = new SimpleQuery(":");

//设置分页

simpleQuery.setOffset(5);//开始索引

simpleQuery.setRows(5);//每页记录数

//拼接条件

Criteria criteria = new Criteria("item_title");

criteria = criteria.contains("苹果");

simpleQuery.addCriteria(criteria);
 ScoredPage&lt;TbItem&gt; items = solrTemplate.queryForPage(simpleQuery, TbItem.class);
 for (TbItem item : items) {
     System.out.println(item.getTitle());
 }

}
@Test  //删除item(根据主键删除)

public void testDelItem(){

solrTemplate.deleteById("1");

solrTemplate.commit();

}
@Test //清空

public void delSolrHome(){

SimpleQuery query = new SimpleQuery(":");

solrTemplate.delete(query);

solrTemplate.commit();

}

}

三.SpringDataSolr的常用API示例

代码语言：javascript

复制

/**


@author Mr.song


@date 2019/06/13 18:22

*/

@Service

public class ItemSearchServiceImpl implements ItemSearchService {
@Autowired

private TbItemMapper itemMapper;
@Autowired

private SolrTemplate solrTemplate;
/**


根据关键字查询solr索引库


@param searchMap 前端的查询条件,封装为Map


@return 查询的结果,不封装为实体,返回Map效果一样

*/

@Override

public Map search(Map searchMap) {
//1.关键字查询

String keywords = searchMap.get("keywords").toString();

//2.封装查询条件(高亮查询)

SimpleHighlightQuery simpleHighlightQuery = new SimpleHighlightQuery();

if (keywords != null) {

//这是查询的域

Criteria criteria = new Criteria("item_keywords");

criteria = criteria.contains(keywords);

simpleHighlightQuery.addCriteria(criteria);

}
//1.高亮查询的高亮设置(即查询关键字的高亮显示)

HighlightOptions options = new HighlightOptions();

//设置高亮的头部和尾部

options.setSimplePrefix("<em style='color:red'>");

options.setSimplePostfix("</em>");

//设置高亮的域名字,设置查询的选项

options.addField("item_title");

simpleHighlightQuery.setHighlightOptions(options);
//2.过滤查询条件=====分类相关

String categoryStr = (String) searchMap.get("category");

if (categoryStr != null){

//2.1按照传入的分类字符串进行查询,创建过滤查询对象

SimpleFilterQuery filterQuery = new SimpleFilterQuery();

//2.2创建条件,设置域的名称

Criteria criteria = new Criteria("item_category");

//2.3设置匹配字符串

criteria = criteria.contains(categoryStr);

//2.4过滤查询添加条件

filterQuery.addCriteria(criteria);

//2.5查询添加过滤查询

simpleHighlightQuery.addFilterQuery(filterQuery);

System.out.println("分类过滤查询:"+categoryStr);

}
//3.过滤查询条件=====品牌相关

String brand = (String) searchMap.get("brand");

if (brand != null){

SimpleFilterQuery filterQuery = new SimpleFilterQuery();

Criteria criteria = new Criteria("item_brand");

criteria = criteria.contains(brand);

filterQuery.addCriteria(criteria);

simpleHighlightQuery.addFilterQuery(filterQuery);

System.out.println("品牌过滤查询:"+brand);

}
//4.过滤查询条件=====规格相关

Map<String,String> specMap = (Map) searchMap.get("spec");

if (specMap != null){

for (String s : specMap.keySet()) {

SimpleFilterQuery filterQuery = new SimpleFilterQuery();

Criteria criteria = new Criteria("item_spec_"+s);

criteria = criteria.contains(specMap.get(s));

filterQuery.addCriteria(criteria);

simpleHighlightQuery.addFilterQuery(filterQuery);

System.out.println("规格滤查询:"+s);

}

}
//4.过滤条件查询=====价格相关

String price = (String) searchMap.get("price");//0-199

if (price != null){

//1500-2000

String[] prices = price.split("-");
 //过滤条件增加起始价格
 SimpleFilterQuery filterQuery1 = new SimpleFilterQuery();
 Criteria criteria1 = new Criteria(&#34;item_price&#34;);
 criteria1 = criteria1.greaterThanEqual(prices[0]); //大于等于起始价格
 filterQuery1.addCriteria(criteria1);
 simpleHighlightQuery.addFilterQuery(filterQuery1);

 //过滤条件增加结束价格
 if(!&#34;*&#34;.equals(prices[1])){  //防止3000元以上的*号
     SimpleFilterQuery filterQuery2 = new SimpleFilterQuery();
     Criteria criteria2 = new Criteria(&#34;item_price&#34;);
     criteria2 = criteria2.lessThanEqual(prices[1]); //小于等于结束价格
     filterQuery2.addCriteria(criteria2);
     simpleHighlightQuery.addFilterQuery(filterQuery2);
 }
 System.out.println(&#34;价格过滤查询:&#34;+price);

}
//5.价格升降序=======价格升降序,前端设置默认是desc

String sort = (String) searchMap.get("sort");

//定义排序对象

Sort orders = null;

if ("DESC".equalsIgnoreCase(sort)){

//降序查询 :参数1-指定升降序   参数2-指定域

orders = new Sort(Sort.Direction.DESC,"item_price");

System.out.println("价格降序过滤查询:"+sort);

}else {

orders = new Sort(Sort.Direction.ASC,"item_price");

System.out.println("价格升序过滤查询:"+sort);

}

//为查询添加排序

simpleHighlightQuery.addSort(orders);
//6.分页相关

Integer pageSize = (Integer) searchMap.get("pageSize");

Integer pageNo = (Integer) searchMap.get("pageNo");

//设置分页参数 :起始索引和每页条数

simpleHighlightQuery.setOffset((pageNo-1)*pageSize);

simpleHighlightQuery.setRows(pageSize);
//查询

HighlightPage<TbItem> tbItems = solrTemplate.

queryForHighlightPage(simpleHighlightQuery, TbItem.class);

//将高亮设置后的属性赋值给查出的内容

List<TbItem> contents = tbItems.getContent();

for (TbItem content : contents) {

List<HighlightEntry.Highlight> highlights = tbItems.getHighlights(content);

if (highlights.size()>0){//防止数组空内容

List<String> snipplets = highlights.get(0).getSnipplets();

if (snipplets.size()>0){//防止空内容

content.setTitle(snipplets.get(0));

}

}

}
//构建返回的map对象

Map returnMap = new HashMap();

returnMap.put("rows", contents);

//分页需要总记录数

returnMap.put("total",tbItems.getNumberOfElements());

return returnMap;

}


/**

根据商品的id(spu)将商品(sku)导入到solr索引库中
@param ids 商品的id数组(spu)

*/

@Override

public void importItemsByGoodsId(Long[] ids) {

//goods的所有ids,查询其列表导入到solr索引库

TbItemExample example = new TbItemExample();

example.createCriteria().andGoodsIdIn(Arrays.asList(ids));

List<TbItem> tbItems = itemMapper.selectByExample(example);

//将数据存入solr索引库

solrTemplate.saveBeans(tbItems);

solrTemplate.commit();

System.out.println("solr库导入了商品："+tbItems.size()+"个");

}

/**

根据商品的id(spu)将商品(sku)从solr索引库中删除
@param ids 商品的id数组(spu)

*/

@Override

public void delItemsByGoodsId(Long[] ids) {

//id是goods的id

TbItemExample example = new TbItemExample();

example.createCriteria().andGoodsIdIn(Arrays.asList(ids));

List<TbItem> tbItems = itemMapper.selectByExample(example);

//循环删除sku(solr索引库中的)

for (TbItem tbItem : tbItems) {

solrTemplate.deleteById(tbItem.getId().toString());

}

solrTemplate.commit();

System.out.println("solr库删除了商品："+tbItems.size()+"个");

}

}