本文介绍如何利用日志投递功能从日志服务(SLS)导入数据到云数据库ClickHouse。

前提条件

  1. SLS和ClickHouse集群在同一个region。
  2. 已创建ClickHouse数据表,详细步骤请参见创建ClickHouse数据表
说明 目前不支持数组类型的导入。ClickHouse数据类型参考:数据类型

操作步骤

  1. 打开ClickHouse的控制台,左侧导航选择日志投递,单击新建SLS日志投递。
    说明 如果没有相关的权限,新建SLS日志投递的时候需要进行授权。
  2. 填写数据投递的详细内容,相关字段说明如下:
    • 投递名称:新建的投递任务的名称,可以是任意的符合要求的名称。
    • 投递描述:投递任务的描述。
    • SLS名称:日志服务名称,如需新建,请参考日志服务
    • SLS日志库:需要投递的SLS日志库。
    • 集群名称:需要导入的ClickHouse集群的ID。
    • 数据库名称:需要导入的ClickHouse集群的数据库。
    • 表名:需要导入的ClickHouse集群的表名称。
    • 账号名称:需要导入的ClickHouse集群的账号。
    • 账号密码:需要导入的ClickHouse集群的账号密码。
    • 字段映射:SLS和ClickHouse表字段的映射。
    • 投递开始时间:日志写入SLS的时间。
      注意 这里填写的是日志写入SLS的时间,不具体指哪个字段的时间。
    • 是否过滤脏数据:建议打开开关,如果关闭,遇到无法解析的脏数据,会导致导入任务失败。
  3. 保存之后进入SLS投递任务管理页面,页面展示了已经建好的投递任务列表,可以进行任务的修改、启停,监控的查看等。如需查看投递过程中遇到的错误,单击监控进行查看。