您可以将日志文件保存到MaxCompute中,并通过数据导入方式将MaxCompute数据导入到日志服务,实现日志数据的查询分析、数据加工等操作。

前提条件

  • 已开通MaxCompute并上传日志文件数据,详情请参见导入数据
  • 已创建Project和Logstore,详情请参见准备流程

导入数据

  1. 登录日志服务控制台
  2. 接入数据区域,单击MaxCompute
  3. 选择日志空间。
    请选择Project和Logstore,您也可以直接单击立即创建新建Project和Logstore。具体步骤请参见准备流程

    如果您是通过日志库下的数据接入后的加号进入采集配置流程,系统会直接跳过该步骤。

  4. 设置导入配置。
    1. 数据源页签中,配置如下参数。
      参数 说明
      配置名称 设置配置的名称。
      MaxCompute项目 待导入数据所在的MaxCompute项目名称。
      Table 待导入数据所在的表名称。
      分区描述 MaxCompute的表分区描述,详情请参见分区

      如果存在多级分区,使用逗号(,)分隔。

      AccessKey ID 用于访问MaxCompute的AccessKey ID。
      说明 请确保您的AccessKey具有访问对应MaxCompute项目的权限。
      AccessKey Secret 用于访问MaxCompute的AccessKey Secret。
      Endpoint 用于访问MaxCompute的Endpoint,详情请参见配置Endpoint
      Tunnel Endpoint 用于访问MaxCompute的Tunnel Endpoint,详情请参见配置Endpoint
    2. 单击预览,查看文件预览结果。
    3. 确认无误后,单击下个配置
    4. 数据格式配置页签中,配置如下参数。
      参数 说明
      使用系统时间
      • 如果开启使用系统时间,则解析后的日志时间显示为导入时间。
      • 如果关闭使用系统时间,则需要手动配置时间格式。
      说明 推荐开启使用系统时间,日志时间可作为普通字段建立索引,用于日志查询。在导入历史数据时,如果数据时间早于当前时间减去Logstore数据保存时间,例如保存7天,那么时间为7天前的日志无法在控制台上查询。
      时间字段 如果关闭使用系统时间,需要指定一个用于提取日志时间的字段。
      时间格式 如果关闭使用系统时间,需要指定一个Java SimpleDateFormat语法的时间格式,用于解析时间字段或者使用正则表达式提取到的字符串。时间格式的语法详情请参见Class SimpleDateFormat
      说明 Java SimpleDateFormat不支持Unix时间戳,如果您要使用Unix时间戳,时间格式指定为epoch。
      时区 如果关闭使用系统时间,需要指定一个时区,用于解析日志时间的时区。如果日志格式中已经有时区信息,那此参数无效。
    5. 可选: 设置数据格式完成后,单击测试
    6. 测试成功后,单击下个配置
    7. 可选: 调度间隔页签中,配置如下参数。
      参数 说明
      导入间隔 MaxCompute数据导入日志服务的时间间隔。
      立即执行 开启立即执行,则立即执行一次导入操作。
    8. 配置完成后,单击下一步
  5. 设置索引。
    1. 查询分析配置页面中,您可以保持默认配置,也可以根据业务需求重新设置索引,详情请参见开启并配置索引
    2. 单击下一步,完成数据导入配置。

查看导入配置

创建导入配置成功后,您可以在控制台中查看已创建的导入配置及生成的统计报表。

  1. 单击目标Project。
  2. 选择目标日志库下的数据接入 > 数据导入,单击配置名称。
  3. 导入配置概览页面,查看导入配置的基本信息和统计报表。
    导入MaxCompute数据-001

相关操作

导入配置概览页面,您还可以进行如下操作。

  • 修改配置

    单击修改配置,修改导入配置的相关配置,具体配置请参见设置导入配置

  • 删除配置
    单击删除配置,删除该导入配置。
    说明 删除后不可恢复,请谨慎操作。

附录

时间格式语法如下表所示。
字符 解析 示例
G 纪元标记 AD
y 年份 2001
M 月份 July或者07
d 日期 10
h 小时,取值:1~12(AM/PM) 12
H 一天中的小时,取值:0~23 22
m 分钟 30
s 55
S 毫秒 234
E 星期 Tuesday
D 一年中的第几天 360
F 一个月中第几周的周几 2 (second Wed. in July)
w 一年中的第几周 40
W 一个月中的第几周 1
a AM/PM PM
k 一天中的小时,取值:1~24 24
k 小时,取值:0~11(AM/PM) 10
z 时区 Eastern Standard Time
' 文字定界符 Delimiter
" 单引号 `