您可以将日志文件保存到MaxCompute中,并通过数据导入方式将MaxCompute数据导入到日志服务,实现日志数据的查询分析、数据加工等操作。

前提条件

导入数据

  1. 登录日志服务控制台
  2. 接入数据区域,单击MaxCompute
  3. 选择日志空间页签中,选择目标Project和Logstore,单击下一步
    您也可以单击立即创建,重新创建Project和Logstore,详情请参见步骤1:创建Project和Logstore
  4. 设置导入配置。
    1. 数据源设置中,配置如下参数。
      参数 说明
      配置名称 设置配置的名称。
      MaxCompute项目 待导入数据所在的MaxCompute项目名称。
      Table 待导入数据所在的表名称。
      分区描述 MaxCompute的表分区描述,详情请参见分区

      如果存在多级分区,使用逗号(,)分隔。

      AccessKey ID 用于访问MaxCompute的AccessKey ID。
      说明 请确保您的AccessKey具有访问对应MaxCompute项目的权限。
      AccessKey Secret 用于访问MaxCompute的AccessKey Secret。
      Endpoint 用于访问MaxCompute的Endpoint,详情请参见配置Endpoint
      Tunnel Endpoint 用于访问MaxCompute的Tunnel Endpoint,详情请参见配置Endpoint
    2. 单击预览,查看文件预览结果。
    3. 确认无误后,单击下个配置
    4. 数据格式配置页签中,配置如下参数。
      参数 说明
      使用系统时间
      • 开启使用系统时间,则解析后的日志时间显示为导入时的系统时间。
      • 关闭使用系统时间,则需要手动配置时间字段和时间格式。
      说明 推荐开启使用系统时间,日志时间可作为普通字段建立索引,用于日志查询。在导入历史数据时,如果数据时间早于当前时间减去Logstore数据保存时间,例如保存7天,那么时间为7天前的日志无法在控制台上查询。
      时间字段 如果关闭使用系统时间,则需要指定一个用于提取日志时间的字段。
      时间格式 如果关闭使用系统时间,需要指定一个Java SimpleDateFormat语法的时间格式,用于解析时间字段或者使用正则表达式提取到的字符串。时间格式的语法详情请参见Class SimpleDateFormat
      说明 Java SimpleDateFormat不支持Unix时间戳,如果您要使用Unix时间戳,时间格式指定为epoch。
      时区 如果关闭使用系统时间,需要指定一个时区,用于解析日志时间的时区。如果日志格式中已经有时区信息,则此参数无效。
    5. 可选:设置数据格式完成后,单击测试
    6. 测试成功后,单击下个配置
    7. 可选:调度间隔页签中,配置如下参数。
      参数 说明
      导入间隔 MaxCompute数据导入日志服务的时间间隔。
      立即执行 开启立即执行,则立即执行一次导入操作。
    8. 配置完成后,单击下一步
  5. 查询分析配置页签中,设置索引。
    默认已设置索引,您也可以根据业务需求,重新设置索引,具体请参见开启并配置索引
    说明
    • 全文索引和字段索引属性必须至少启用一种。同时启用时,以字段索引属性为准。
    • 索引类型为long、double时,大小写敏感和分词符属性无效。
  6. 单击下一步,完成数据导入配置。

查看导入配置

创建导入配置成功后,您可以在控制台中查看已创建的导入配置及生成的统计报表。

  1. 单击目标Project。
  2. 选择目标日志库下的数据接入 > 数据导入,单击配置名称。
  3. 导入配置概览页面,查看导入配置的基本信息和统计报表。
    导入MaxCompute数据-001

相关操作

导入配置概览页面,您还可以进行如下操作。

  • 修改配置

    单击修改配置,修改导入配置的相关配置,具体配置请参见设置导入配置

  • 删除配置
    单击删除配置,删除该导入配置。
    说明 删除后不可恢复,请谨慎操作。

附录

时间格式语法如下表所示。
字符 解析 示例
G 纪元标记 AD
y 年份 2001
M 月份 July或者07
d 日期 10
h 小时,取值:1~12(AM/PM) 12
H 一天中的小时,取值:0~23 22
m 分钟 30
s 55
S 毫秒 234
E 星期 Tuesday
D 一年中的第几天 360
F 一个月中第几周的周几 2 (second Wed. in July)
w 一年中的第几周 40
W 一个月中的第几周 1
a AM/PM PM
k 一天中的小时,取值:1~24 24
k 小时,取值:0~11(AM/PM) 10
z 时区 Eastern Standard Time
' 文字定界符 Delimiter
" 单引号