通过OpenStore自定义冷热存储实现海量数据存储

使用OpenStore存储时，存在以下使用限制。

从Elasticsearch 7.10版本开始，索引模板默认会使用优先级最高的配置，不会自动组合两个索引模板内的配置。由于集群中已经存在默认的OpenStore索引模板，如果您需要再通过API自定义索引模板，而这两个模板的配置不会自动组合，因此可能会影响OpenStore功能的正常使用，所以建议您使用Elasticsearch组合模板进行配置。

开启OpenStore自定义冷热存储后，集群中会默认添加OpenStore的组合模板component-openstore-index-template。在自定义模板时，您只需要在脚本的composed_of参数中配置依赖的组合模板，即可使用OpenStore存储。自定义索引模板的示例脚本如下。

PUT _index_template/template_instance-sls
{
  "index_patterns" : [
    "-.*"
  ],
  "template" : {
    "settings" : {
            ...
    },
    "mappings" : {
            ...
    }
  },
  # 如果您使用了自定义的组合模板和策略，此处需要配置为您自定义的组合模板名称。
  "composed_of" : ["component-openstore-index-template"],
  "priority" : 100
}

开启OpenStore存储的实例默认提供其依赖的内容模板和生命周期策略，您可以通过对应命令获取配置信息：

• 通过GET _component_template/component-openstore-index-template命令获取内容模板

  {
    "component_templates" : [
      {
        "name" : "component-openstore-index-template",
        "component_template" : {
          "template" : {
            "settings" : {
              "index" : {
                "lifecycle" : {
                  "name" : "openstore_default_ilm_policy",
                  "rollover_alias" : ""
                },
                "apack" : {
                  "cube" : {
                    "following_index" : "true"
                  }
                },
                "codec" : "OpenIndex",
                "refresh_interval" : "1s"
              }
            }
          }
        }
      }
    ]
  }

• 通过GET _ilm/policy/openstore_default_ilm_policy命令获取生命周期策略

  {
    "openstore_default_ilm_policy" : {
      "version" : 2,
      "modified_date" : "2022-03-16T06:33:42.802Z",
      "policy" : {
        "phases" : {
          "hot" : {
            "min_age" : "0s",
            "actions" : { }
          },
          "cold" : {
            "min_age" : "3d",
            "actions" : {
              "openstore" : {
                "openstore_repository" : "aliyun_auto_snapshot",
                "force_merge_index" : true,
                "user_id" : "1330710960******",
                "region_id" : "cn-hangzhou",
                "instance_id" : "es-cn-7mz2lpnaf0012****"
              },
              "set_priority" : {
                "priority" : 50
              }
            }
          }
        }
      }
    }
  }

  以下参数均为actions中的必选参数，详细说明如下。

  参数	说明
  openstore_repository	OpenStore存储仓库名称，固定为aliyun_auto_snapshot，不支持其他名称。
  user_id	您阿里云账号的ID。在控制台上，将鼠标移至右侧头像处，获取账号ID。
  region_id	目标实例所在的地域ID。参见查看实例的基本信息，在实例的基本信息页面查看实例所在地域，并参见参数说明获取地域ID。
  instance_id	目标实例的ID。参见查看实例的基本信息，在实例的基本信息页面查看实例的ID。
  force_merge_index	是否执行forcemerge，必须设置为true，不能为false。设置为true，表示数据存储至OpenStore后，将处于只读状态。

集群中已经配置了OpenStore部分的索引模板和生命周期策略名称，建议不要修改。如果您的业务需要自定义组合模板和策略，可以参考默认模板结构进行配置，示例如下：

• 索引模板

  以下示例创建了名称为zlcomponent-openstore-index-template的OpenStore索引模板，并使用了自定义的zlopenstore_default_ilm_policy策略。

  PUT _component_template/zlcomponent-openstore-index-template
  {
    "template" : {
      "settings" : {
        "index" : {
          "lifecycle" : {
            "name" : "zlopenstore_default_ilm_policy"
          },
          "apack" : {
            "cube" : {
              "following_index" : "true"
            }
          },
          "codec" : "OpenIndex87",
          "refresh_interval" : "1s"
        }
      }
    }
  }

• 生命周期策略

  以下示例创建了名称为zlopenstore_default_ilm_policy的策略，并在模板的基础上添加了delete阶段的配置：

  PUT _ilm/policy/zlopenstore_default_ilm_policy
  {
      "policy" : {
        "phases" : {
          "hot" : {
            "min_age" : "0ms",
            "actions" : { }
          },
          "cold" : {
            "min_age" : "3d",
            "actions" : {
              "openstore" : {
                "openstore_repository" : "aliyun_auto_snapshot",
                "force_merge_index" : true,
                "user_id" : "1330710960******",
                "region_id" : "cn-hangzhou",
                "instance_id" : "es-cn-7mz2lpnaf0012****"
              },
              "set_priority" : {
                "priority" : 50
              }
            }
          },
            "delete": {
              "min_age": "40d",
              "actions": {
                "delete": {
                  "delete_searchable_snapshot": true
               }
            }
          }
      }
    }
  }