E往无前 | 腾讯云大数据 ElasticSearch 高级功能：Cross Cluster Replication实战

发布于

前言

Elasticsearch在platinum版本中，推出了Cross Cluster Replication特性（以下简称CCR），也即跨集群远程复制。

该特性可以解决两类问题：

1，数据迁移；

2，异地备份。

本文以实战为主，基本概念及原理可参考官网文档。https://www.elastic.co/guide/en/elasticsearch/reference/current/xpack-ccr.html

基本架构

图1.CCR结构

需要注意的点：

1、CCR是针对索引的主从复制，且复制动作是由从端发起的pull操作；

2、主端索引（即leader index）可以读写，从端索引（follower index）只读；

3、主端索引的属性 index.soft_deletes.enabled 必须为 true（具体原因可参考官方文档）

https://www.elastic.co/guide/en/elasticsearch/reference/current/ccr-requirements.html#ccr-overview-soft-deletes

4、CCR功能需白金版license。

实战

1、环境简介

腾讯云大数据 Elasticsearch 6.8.2 白金版 集群 * 2，下面简称为集群A（remote cluster）和集群B（local cluster）

图2.实战架构图

2、配置

1）配置远端集群数据源

在集群A上执行：

代码语言：javascript
复制
PUT test
{
  "settings": {
    "index.soft_deletes.enabled": true
  }
}

2）在远端集群查询节点transport_address

在集群A上执行：

代码语言：javascript
复制
GET _nodes

‍

结果如下，选取任意一个节点的 transport_address即可

图3.任意一个节点的transport_ip

3）在本地集群的Kibana上添加远端集群

图4.添加远端集群

图5.添加远端集群

如上图，依次操作，在本地集群，也即集群B添加远端集群A。

需要注意，节点IP & PORT需要填写上一步获取到的transport_address。

4）在Kibana部署CCR

图6.在Kibana部署CCR

图7.在Kibana部署CCR

图8.在Kibana部署CCR

如上图，配置好CCR后，可以看到，CCR实例的状态会很快由Paused变为Active。

至此，已完成CCR的基本配置。

3、测试

我们可以使用如下方法测试上面配置的CCR是否生效。

1）在远端集群PUT文档

图9.在远端集群创建索引

2）在本地集群GET对应索引

图10.在本地集群，查看索引内容

我们可以通过以上2步看到，远端集群的leader index索引test中的内容，已经通过CCR复制到了本地集群的follower index索引new中。

除创建以外，索引的变更、删除也都同上，此处不再赘述。

那么，我们如果在本地集群修改或删除follower索引，会如何呢？

图11.修改follower index

为什么会出现无法写入的情况，请参考官方文档，如下图：

https://www.elastic.co/guide/en/elasticsearch/reference/current/ccr-overview.html

图12.follower index无法写入的原因

总结

以上简单介绍了通过Kibana配置并使用Cross Cluster Replication的方法，实际仍然可以使用RESTFUL API完成所有上述操作，具体可以参考官方文档。有关CCR中，自动生成索引部分，这里也不再展开来讲。

CCR功能的提供，让集群间索引级别的数据复制变得简单。在实际商业应用中，往往是通过CCR将生产环境的数据复制到各个集群，供各业务部门分析使用，既能够满足数据分析需要，也避免了业务分析时因误操作修改了生产数据。

免费体验活动专区

Elasticsearch 新用户可享 2核4G，0元 体验 30 天！顺畅体验云上集群

推荐阅读

关注腾讯云大数据公众号

邀您探索数据的无限可能

点击阅读原文，了解更多相关资讯

↓↓↓

#大数据#腾讯云#elasticsearch#replication#集群