通过OpenStore智能混合存储实现海量数据存储

OpenStore存储引擎是阿里云Elasticsearch 7.10日志增强版的重要功能，结合Indexing Service写入托管服务，满足用户在日志场景下低成本的高并发写入及长期数据存储需求。

购买和使用OpenStore存储时，存在以下使用限制。

从Elasticsearch 7.10版本开始，索引模板默认会使用优先级最高的配置，不会自动组合两个索引模板内的配置。由于集群中已经存在默认的OpenStore索引模板，如果您需要再通过API自定义索引模板，而这两个模板的配置不会自动组合，因此可能会影响OpenStore功能的正常使用，所以建议您使用Elasticsearch组合模板进行配置。

开启OpenStore智能混合存储后，集群中会默认添加组合模板component-hybrid-openstore-index-template。自定义模板时，请按照实例对应的内核选择以下方式创建模板：

• 1.8.0及以下内核实例创建模板时需指定component-hybrid-openstore-index-template，该模板中包含了该集群的专有环境配置，涉及访问权限控制，非必要请勿修改，以免影响集群功能。

  PUT _index_template/test-template
  {
    "index_patterns" : [
      "test-index-*"
    ],
    "template" : {
      "settings" : {
        "index.number_of_replicas": "1",
        "index.number_of_shards": "6",
        "index.lifecycle.name": "zlopenstore_default_ilm_policy"
      },
      "aliases" : {}
    },
    "composed_of" : [
      # 混合存储组合模板
      "component-hybrid-openstore-index-template" 
    ],
    "priority" : 100
  }

• 1.9及以上内核小版本实例无需手动执行，默认会应用openstore模板，通过API自定义模板时必须将index.apack.cube.following_index设置为true，否则无法托管索引。

  PUT _index_template/test-template
  {
    "index_patterns" : [
      # 索引模板
      "test-index-*"
    ],
    "template" : {
      "settings" : {
        "index.number_of_replicas": "1",
        "index.number_of_shards": "6",
        "index.lifecycle.name": "zlopenstore_default_ilm_policy",
        "index.apack.cube.following_index": true
      },
      "aliases" : {}
    },
    "priority" : 100
  }

以下示例创建了名称为zlopenstore_default_ilm_policy的生命周期策略，并在模板的基础上添加了delete阶段的配置。

PUT _ilm/policy/zlopenstore_default_ilm_policy
{
  "policy" : {
    "phases" : {
      "hot" : {
        "min_age" : "0s",
        "actions" : {
          "rollover" : {           
            "max_size" : "50gb",
            "max_age" : "30d",
            "max_docs" : 10000
          },
          "cube_unfollow" : {      
            "max_age" : "3d",
            "force_merge" : true,
            "force" : false,
            "read_only" : true
          },
          "set_priority" : {
            "priority" : 1000
          }
        }
      },
      "delete" : {                 
        "min_age" : "30d",
        "actions" : {
          "delete" : {
            "delete_searchable_snapshot" : true
          }
        }
      }
    }
  }
}

开启OpenStore智能混合存储的实例默认提供其依赖的内容模板和生命周期策略，您可以通过对应命令获取配置信息：

• 通过GET _component_template/component-hybrid-openstore-index-template命令获取内容模板

  {
    "component_templates" : [
      {
        "name" : "component-hybrid-openstore-index-template",
        "component_template" : {
          "template" : {
            "settings" : {
              "index" : {
                "replication" : {
                  "type" : "segment"
                },
                "apack" : {
                  "cube" : {
                    "following_index" : "true"
                  }
                },
                "codec" : "OpenIndex",
                "allocation" : {
                  "existing_shards_allocator" : "open_store_allocator"
                },
                "refresh_interval" : "1s",
                "store" : {
                  "type" : "openstore",
                  "openstore" : {
                    "endpoint" : "http://oss-cn-hangzhou-internal.aliyuncs.com",
                    "ram_name" : "snapshot-role-133071096032****",
                    "type" : "hybrid",
                    "bucket_name" : "openstore-133071096032****-es-cn-2r42xjwrz0008****"
                  }
                }
              }
            }
          }
        }
      }
    ]
  }

  重要

  建议直接采用模板中的默认配置，尽量避免手动配置，以免影响集群使用。

• 通过GET _ilm/policy/hybrid_openstore_default_ilm_policy命令获取生命周期策略

  {
    "hybrid_openstore_default_ilm_policy" : {
      "version" : 1,
      "modified_date" : "2022-09-08T03:51:23.042Z",
      "policy" : {
        "phases" : {
          "hot" : {
            "min_age" : "0ms",
            "actions" : {
              "cube_unfollow" : {
                "max_age" : "3d",
                "force_merge" : true,
                "force" : false,
                "read_only" : true
              }
            }
          }
        }
      }
    }
  }

  actions中的cube_unfollow参数用来设置Indexing Service退出写入托管的相关配置，默认3天退出Indexing Service写入托管。