数据流可以跨多个索引存储实现数据时间序列的增加,而在使用数据流之前,需要创建索引模板,通过模板对数据流后备索引进行结构配置,对数据准确无误的实现快捷写入,本文主要介绍索引模板管理配置。

前提条件

  • 确保您已购买阿里云Elasticsearch 7.10日志增强版Indexing Service系列。
  • 数据场景为日志,事件,指标或其他持续生成的数据。
  • 写入到数据流中的每个文档都要求包含一个@timestamp,映射为date或者date_nanos类型的字段,请确保源端数据存在@timestamp字段数据,否则写入会报错。
    说明 如果源数据中没有@timestamp字段数据,可使用ingest pipeline指定_ingest.timestamp获取元数据值,从而引入@timestamp字段数据。

使用限制

阿里云Elasicsearch仅7.10日志增强版Indexing Service支持此功能。

创建索引模板

  1. 登录阿里云Elasticsearch控制台
  2. 在左侧导航栏,单击Elasticsearch实例
  3. 进入目标实例。
    1. 在顶部菜单栏处,选择资源组和地域。
    2. 在左侧导航栏单击Elasticsearch实例,然后在Elasticsearch实例中单击目标实例ID。
  4. 在左侧导航栏,选择配置与管理 > 索引管理中心
  5. 单击索引模板管理页签。
  6. 单击创建索引模板
  7. 可选:创建索引模板面板,配置索引生命周期策略配置
    1. 选择索引生命周期策略
    2. 输入策略名称,单击保存并下一步
      fig01
      选项 说明
      新建索引生命周期策略 创建新的索引生命周期策略。
      选择已有索引生命周期策略 集群中存在服务业务逻辑策略,点击下拉框选择即可。
      跳过此步 对数据流后备索引不进行生命周期策略管理。
      注意
      • 建议配置索引生命周期滚动策略,通过ILM自动管理数据流后备索引,实现云端托管空间最优化。如果不配置索引滚动策略,索引数据会全量存储在云托管服务Indexing Service中,将会增加云托管费用。
      • ILM默认10分钟检测一次符合策略标准的索引,在使用过程中您可能会发现索引已满足Rollover条件,但实际没有立即触发滚动。这主要与ILM检查周期有关,可通过indices.lifecycle.poll_interval参数修改检测周期。
  8. 输入模板名称索引模式,配置索引模版信息。
    figc
    名称 说明
    模板名称 定义的模板名称。
    索引模式 定义索引模式,使用通配符(*)表达式匹配数据流及索引名称,不允许使用空格和字符 \ /?" <>|
    创建数据流 开启数据流模式。如果未开启,索引模式无法生成数据流。详细信息,请参见data stream
    优先级 定义模板优先级,数值越大,优先级越高。
    索引生命周期策略 只能引用一个索引生命周期策略。
    内容模板配置 配置索引SettingsMappingsAliases
    注意
    • 数据流后备索引文档必须包含一个@timestamp映射为date或者date_nanos类型的字段,建议在索引模板中为@timestamp字段指定映射,如果不指定,则Elasticsearch会默认@timestamp映射为date类型。
    • 配置格式严格按照Elastic官方配置。
  9. 单击确定,索引模板管理页签下将显示对应的模板。
    figd

修改索引模板

  1. 登录阿里云Elasticsearch控制台
  2. 在左侧导航栏,单击Elasticsearch实例
  3. 进入目标实例。
    1. 在顶部菜单栏处,选择资源组和地域。
    2. 在左侧导航栏单击Elasticsearch实例,然后在Elasticsearch实例中单击目标实例ID。
  4. 在左侧导航栏,选择配置与管理 > 索引管理中心
  5. 单击索引模板管理页签。
  6. 在对应的索引模板名称后,点击修改,即可修改索引生命周期策略配置索引模板配置的相关信息。
  7. 单击确定,即可完成修改。
注意 除以上方式外,直接单击对应的索引模板名称或者索引生命周期策略,也可以进入修改页面,页面默认只读状态,单击页面下方的修改配置即可进行修改。

相关文档