通过OpenStore实现海量数据存储

背景信息

当您有长时间存储数据、归档审计数据的需求时，通常需要通过阿里云Elasticsearch集群快照的方式将数据存储在对象存储OSS上，该方式虽然能够帮助您存储日志数据，但是存储后不能够直接进行信息查询。查询信息前，需要您调用相关API把快照信息恢复到集群中，等待快照中的索引初始化完成后才可以去查询。该场景面临着查询复杂度大、海量存储成本高的问题。为解决此问题，阿里云Elasticsearch团队自研OpenStore存储功能，该功能实现了基于计算存储分离的超低成本、弹性存储，可以帮助您实现根据实际数据的存储量按量计费，无须提前预留集群存储容量，并100%兼容Elasticsearch原生查询能力。真正做到有多少用多少，用多少付多少。在提升集群易用性的同时，大大降低了云上Elasticsearch海量数据的存储资源成本。

使用限制

购买和使用OpenStore存储时，存在以下使用限制。

操作流程

1. 步骤一：开启OpenStore存储
2. 步骤二：管理OpenStore索引模板
3. 步骤三：将数据流写入OpenStore索引

步骤一：开启OpenStore存储

阿里云Elasticsearch支持通用商业版和日志增强版两种类型的实例。您可以通过创建7.10日志增强版Indexing Service系列实例开启OpenStore存储功能；也可以将实例从7.10通用商业版升级至7.10日志增强版，开启OpenStore存储功能。

新购实例开启OpenStore存储

1. 登录阿里云Elasticsearch控制台。
2. 在左侧导航栏，单击Elasticsearch实例。
3. 在Elasticsearch实例页面，单击创建。
4. 在购买页面中，选择实例类型为日志增强版7.10，系列为Indexing Service。
   
5. 单击下一步：集群配置，在集群配置中打开OpenStore存储开关，并选择实例规格。
   您可以通过以下方式选择实例规格，开启OpenStore存储：

   • 开启独立冷数据节点（默认）：冷数据节点+数据节点+Kibana节点，其中冷数据节点规格固定为OpenStore存储型16核64 GB。
     说明 开启OpenStore存储，默认会开启数据节点，集群采用冷热分离架构。OpenStore存储仅应用在冷数据节点上，且仅支持16核64 GB的固定规格。
   • 选择冷热共享型数据节点：数据节点+Kibana节点，其中数据节点规格族需要选择冷热共享计算型。

   说明 每个OpenStore节点的最大存储数据量为20 TB。如果您有更大的单节点存储需求，请提交工单申请，最大支持50 TB。
6. 参见购买页面参数（增强版），配置其他参数，完成购买。

已购通用商业版实例开启OpenStore存储

1. 登录阿里云Elasticsearch控制台。
2. 在左侧导航栏，单击Elasticsearch实例。
3. 进入目标实例。
   1. 在顶部菜单栏处，选择资源组和地域。
   2. 在左侧导航栏，单击Elasticsearch实例，然后在Elasticsearch实例中单击目标实例ID。
4. 可选：升级内核版本。
   在基本信息页面，查看实例的内核版本是否过低。如果页面没有有可更新的内核补丁提示，说明当前内核版本为最新版本，无需升级，可忽略此步骤。如果有，请执行以下步骤升级内核版本：
   1. 单击有可更新的内核补丁。
      
   2. 参见升级版本，将内核版本升级到1.5.0及以上。
      
5. 在基本信息页面的节点可视化区域，开启OpenStore存储。
   1. 在OpenStore存储模块，打开OpenStore存储用量开关。
   2. 在弹出的对话框中，单击立即开启。
      注意

      • 如果集群已开启非OpenStore的冷数据节点，则系统不展示OpenStore模块，且不支持切换至OpenStore存储。
      • 如果您实例的内核版本过低，在开启OpenStore存储时，系统会提示您升级版本，请先按照提示升级实例的内核版本，具体操作请参见升级版本。
   3. 在升配页面开启OpenStore存储，勾选服务协议，单击立即购买，按照提示完成购买，并返回OpenStore存储模块。
      升配的具体操作，请参见升配集群。

步骤二：管理OpenStore索引模板

通过控制台管理索引模板

1. 进入已开启OpenStore存储的目标实例，在左侧导航栏选择配置与管理 > 索引管理中心。
   说明 本章节以7.10日志增强版Indexing Service实例为例进行介绍，商业版实例不支持索引管理中心功能，具体以页面显示为准。
2. 单击索引模板管理页签。
3. 在索引模板管理页面，管理您集群中的索引模板。
   阿里云Elasticsearch为您提供了OpenStore定制索引模板，您可以查看并修改OpenStore定制的索引模板和生命周期策略，将定制模板快速应用到您的业务索引上。您也可以创建自定义的索引模板，并配置生命周期策略。具体说明如下：

   • 查看并修改OpenStore定制的索引模板和生命周期策略：
     1. 单击openstore-index-template或openstore_default_ilm_policy名称，查看OpenStore定制的索引模板和生命周期策略。
     2. 单击openstore-index-template右侧的修改，修改定制的索引模板和生命周期策略。
        定制化的OpenStore模板默认仅对log-service-*索引进行管理。修改时可将索引模式指定为业务索引名称，并开启创建数据流，定制模板即可快速应用到业务索引上。
     3. 单击确认。
   • 创建自定义索引模板，并配置生命周期策略：
     1. 单击创建索引模板。
     2. 在索引生命周期策略配置向导中，参考下图配置索引生命周期策略。
        详细参数说明，请参见索引模板管理。

        注意

        • Indexing Service实例建议开启滚动更新，保证数据滚动更新后自动取消云托管能力。
        • 系统默认开启冷阶段和OpenStore存储，如果您的索引需要进行冷热生命周期配置，请勿关闭冷阶段和OpenStore存储开关。
     3. 单击保存并下一步，在索引模板配置向导中，参考下图配置索引模板。
        详细参数说明，请参见索引模板管理。

        注意 Indexing Service实例开启创建数据流后，才可在数据流管理页面管理写入的索引。详细信息请参见步骤三：将数据流写入OpenStore索引。
     4. 单击确认。

通过API管理索引模板

从Elasticsearch 7.10版本开始，索引模板默认会使用优先级最高的配置，不会自动组合两个索引模板内的配置。由于集群中已经存在默认的OpenStore索引模板，如果您需要再通过API自定义索引模板，而这两个模板的配置不会自动组合，因此可能会影响OpenStore功能的正常使用，所以建议您使用Elasticsearch组合模板进行配置。

PUT _index_template/template_instance-sls
{
  "index_patterns" : [
    "-.*"
  ],
  "template" : {
    "settings" : {
            ...
    },
    "mappings" : {
            ...
    }
  },
  # 如果您使用了自定义的组合模板和策略，此处需要配置为您自定义的组合模板名称。
  "composed_of" : ["component-openstore-index-template"],
  "priority" : 100
}

步骤三：将数据流写入OpenStore索引

1. 切换到数据流管理页签，单击创建数据流。
   注意 仅7.10日志增强版Indexing Service系列的实例支持在控制台进行数据流管理，通用商业版7.10升级到日志增强版后不支持Indexing Service，因此也不支持在控制台进行数据流管理。建议您使用数据流相关API（CreateDataStream、RolloverDataStream、ListDataStreams、DeleteDataStream）管理数据。
2. 输入与索引模板匹配的数据流名称，单击确定。
   数据流名称需要一个匹配的索引模板，此处需要输入ds-您在步骤二：管理OpenStore索引模板中定义的OpenStore索引模板名称。如果您忘记已创建的索引模板名称，可单击预览已有索引模板查看。
3. 登录Kibana控制台，通过bulk批量写入数据。
   在写入数据时，您可以通过设置写入的文档数量超过生命周期配置中文件数限制参数设置的值进行测试。文件数限制参数设置的值，可在步骤二：管理OpenStore索引模板中查看。
4. 切换至索引管理页签，查看OpenStore索引的写入托管状态、当前生命周期阶段等信息。
   
   说明 如果是非数据流场景，数据写入到OpenStore存储后，索引名称将以openstore-*开头，不影响业务查询。

常见问题

• Q：索引数据存储至OpenStore后，为什么无法写入更新，只能读取？

  A：集群提供的openstore_default_ilm_policy的actions中指定了force_merge_index参数为true，不可更改。当索引force_merge后，索引将处于只读状态，无法写入。

• Q：索引数据存储至OpenStore的过程中，集群状态为什么会变为异常（红色）？

  A：因为在索引数据复制进OpenStore冷存储的过程中，冷索引会处于写入状态，导致索引状态变为red，所以集群状态会变成红色。而在该复制过程中，热索引处于正常状态，并且是可持续对外提供服务的。当写入完成后，热索引被删除，冷索引恢复正常，此时集群也会恢复正常状态。