本文介绍通过第三方社区提供的solr-to-es工具,将Solr节点中的文档迁移到阿里云Elasticsearch(简称ES)中的方法。

环境准备

  1. 创建阿里云ES实例,要求版本为6.x,本文使用6.3.2 版本,详情请参见创建阿里云Elasticsearch实例
    注意 本文使用的solr-to-es迁移工具仅支持阿里云ES 6.x版本,其他版本需自行测试。
  2. 开启目标阿里云ES的自动创建索引功能,详情请参见开启自动创建索引
  3. 创建阿里云ECS实例,本文使用CentOS 7.3版本,详情请参见步骤一:创建ECS实例
    注意 ECS实例需要与阿里云ES实例在同一区域和可用区,以及同一专有网络VPC(Virtual Private Cloud)下。
  4. 在ECS上安装Solr,本文使用5.0.0版本的Solr,详情请参见Solr官方文档
  5. 在ECS上安装Python,要求3.0及以上版本,本文使用Python 3.6.2。
  6. 在ECS上安装PySolr,要求3.3.3及以上,4.0以下版本。

安装solr-to-es工具

  1. 连接ECS服务器,下载solr-to-es工具
  2. 进入setup.py所在的目录,运行python setup.py install命令,安装solr-to-es工具。
  3. 安装成功后,参考以下命令进行文档迁移。
    python __main__.py <solr_url>:8983/solr/<my_core>/select http://<username>:<password>@<elasticsearch_url>:9200 <elasticsearch_index> <doc_type>
    表 1. 参数说明
    参数 说明
    <solr_url> Solr集群的完整访问地址。例如,http://116.62.**.**。
    <my_core> 迁移文档对应的SolrCore的名称。
    <username> 阿里云ES的访问用户名,默认为elastic。
    <password> 阿里云ES的访问密码,在创建实例时设定。
    <elasticsearch_url> 阿里云ES实例的内网或外网访问地址。可在实例的基本信息页面获取,详情请参见查看实例的基本信息
    <elasticsearch_index> 待写入的Solr文档对应的索引名称。
    <doc_type> 对应索引的类型名称。
    注意 如果您使用的是其他版本的solr-to-es工具,也可以尝试使用如下命令进行文档迁移,参数详情请参见solr-to-es
    solr-to-es [-h] [--solr-query SOLR_QUERY] [--solr-fields COMMA_SEP_FIELDS]
                     [--rows-per-page ROWS_PER_PAGE] [--es-timeout ES_TIMEOUT]
                     solr_url elasticsearch_url elasticsearch_index doc_type

    本案例使用以上命令会输出-bash: solr-to-es.py: command not found的错误。

操作示例

通过以下命令,查询名称为my_core的SolrCore的所有文档,写入到阿里云ES实例中。对应的索引为elasticsearch_index,索引类型为doc_type

  1. 在Solr环境中,进入solr-to-es-master/solr_to_es文件夹下。
  2. 执行以下命令。
    python __main__.py 'http://116.62.**.**:8983/solr/my_core/select?q=*%3A*&wt=json&indent=true' 'http://elastic:替换密码@es-cn-so4lwf40ubsrf****.public.elasticsearch.aliyuncs.com:9200' elasticsearch_index doc_type
    参数 说明
    q Solr的查询语法,必选,可以使用运算符。*%3A*表示查询所有文档。
    wt 返回的数据类型,支持JSON、XML、Python、Ruby、CSV等格式。
    indent 返回结果是否需要格式化展示,默认为false

    其他参数说明请参见表 1

  3. 登录目标阿里云ES实例的Kibana控制台。
    登录控制台的具体操作步骤请参见登录Kibana控制台
  4. 单击左侧导航栏的Dev Tools(开发工具),在Console中执行以下命令,查看阿里云ES集群服务中是否已成功创建elasticsearch_index索引。
    GET _cat/indices?v
  5. 执行以下命令,查看迁移成功的文档详情。
    GET /elasticsearch_index/doc_type/_search
    查询成功后,返回如下结果。
    {
      "took" : 12,
      "timed_out" : false,
      "_shards" : {
        "total" : 5,
        "successful" : 5,
        "skipped" : 0,
        "failed" : 0
      },
      "hits" : {
        "total" : 2,
        "max_score" : 1.0,
        "hits" : [
          {
            "_index" : "elasticsearch_index",
            "_type" : "doc_type",
            "_id" : "Tz8WNW4BwRjcQciJ****",
            "_score" : 1.0,
            "_source" : {
              "id" : "2",
              "title" : [
                "test"
              ],
              "_version_" : 1648195017403006976
            }
          },
          {
            "_index" : "elasticsearch_index",
            "_type" : "doc_type",
            "_id" : "Tj8WNW4BwRjcQciJ****",
            "_score" : 1.0,
            "_source" : {
              "id" : "1",
              "title" : [
                "change.me"
              ],
              "_version_" : 1648195007391203328
            }
          }
        ]
      }
    }