通过数据湖转存和分析离线日志指离线日志转存服务,阿里云CDN会将加速过程中产生的日志通过数据湖处理后转存至OSS上进行长期保存,同时您可以调用数据湖的分析能力对日志进行分析。本文为您介绍开通离线日志转存服务的操作方法。

前提条件

开通离线日志转存服务前,需确保您已完成以下操作:

背景信息

离线日志转存是结合对象存储OSS和云原生数据湖分析DLA为一体的自动化转存管理服务。开通离线日志转存服务过程中,系统会为您自动创建一个服务关联角色AliyunServiceRoleForDCDNLogDelivery并授权CDN,用于访问对象存储OSS和云原生数据湖分析DLA的资源,以实现离线日志自动化转存。关于服务关联角色的详细信息,请参见日志转存服务关联角色(新版)

适用场景

目前CDN的离线日志下载服务,默认提供30天的存储服务。如果您有更长时间的离线日志存储需求,或者有离线日志分析需求,可以使用“通过数据湖存储和分析离线日志”功能,方便您根据实际情况对日志进行保存和分析。

计费说明

开通离线日志转存服务后,CDN不收取任何离线日志转存费用。使用对象存储OSS和云原生数据湖分析DLA产品需分别收费,具体收费标准如下:
  • 对象存储OSS的收费标准,请参见 OSS产品定价
  • 云原生数据湖分析DLA的收费标准,请参见 计费方式概述
    注意
    • 开通离线日志转存服务后需由DLA来完成离线日志转存,无论您是否使用DLA的分析能力,均会产生费用。
    • 如果您仅开通了DLA的转存功能(不使用DLA做数据分析),DLA只会在日志投递环节消耗少量的CU时,不会消耗数据分析的CU时。
    • 如果您使用了DLA做数据分析,消耗的CU时由需求分析处理的日志量(用户访问量越大日志量越大,时间周期越长日志量越大)和日志处理的分析模型复杂度共同决定。

开通离线日志转存

注意
  • 离线日志转存服务采用边缘直接投递的方式,目前日志的准确率有所偏差,如果需要相对完整的日志数据,建议您通过控制台的 日志下载 进行获取,但需要确保所选的日志字段保持完全一致。
  • RAM用户默认不支持开通及管理离线日志转存服务,如果您希望RAM用户可以开通或管理离线日志转存服务,您需要为RAM用户授权。具体操作,请参见授权RAM用户管理日志转存服务
  • 如果您授权了RAM用户管理离线日志转存服务,请确保为RAM用户授权时选择的授权范围为云账号全部资源。RAM用户授权范围设置,请参见步骤二:为RAM用户授权
  • 实际使用过程中如果是通过RAM用户管理离线日志转存服务,请确保资源组选择为 账号全部资源 ,否则会造成已经开通了离线日志转存服务的域名被异常关闭离线日志转存服务。
  1. 登录CDN控制台
  2. 在左侧导航栏,选择日志管理 > 离线日志
  3. 单击离线日志转存页签。
  4. 单击立即开通
  5. 配置存储区域
    1. 开通离线日志转存对话框,配置存储区域
      说明
      • 离线日志转存服务会在您选择的指定存储区域创建一个OSS Bucket(存储区域设置成功后不可修改。),用于存储CDN的离线日志。
      • 如果您在全站加速上开通了离线日志转存,并选择了指定的存储区域,在CDN上开通离线日志转存时,将不支持选择存储区域,默认与全站加速上选择的存储区域保持一致。
      服务的国家和地区 存储所在国家和地区 说明
      中国内地
      • 中国(上海)
      • 中国(北京)
      • 中国(杭州)
      目前支持中国(上海)、中国(北京)和中国(杭州)这三个存储区域,您可以根据实际需求选择对应的存储区域。
      其他 新加坡 目前仅可选择一个区域。
      印度 印度(孟买) 目前仅可选择一个区域。
      欧洲 德国(法兰克福) 目前仅可选择一个区域。
      美国 美国(硅谷) 目前仅可选择一个区域。
    2. 单击 开通数据湖,前往下一步
  6. 配置转存规则
    1. 开通离线日志转存 对话框,设置 转存字段 ,并选择您需要开通离线日志转存服务的加速域名。
      说明 目前控制台最多可以显示及选择500个域名,如果您需要为更多域名开通离线日志转存服务,请 提交工单处理。
      支持同时设置多个转存字段,转存字段设置成功后暂不支持修改。支持的转存字段见下表。
      转存字段 描述 样例
      contentType 文件类型。 text/html
      domain 域名信息。 example.com
      hitInfo 命中信息。 HIT
      http2 HTTP2协议。 HTTP2
      httpCode HTTP状态码。 504 , 404 , 302 , 200
      method 请求方法。支持GET和POST。 GET POST
      refer HTTP请求头中的Referer。 "-"
      remoteIP 访问IP。 192.168.15.75
      reqSize 请求大小。单位为字节。 129
      respSize 请求返回大小。单位为字节。 129
      rt 响应时间,单位:毫秒。 1
      schema 请求协议类型。支持HTTP和HTTPS。 HTTP HTTPS
      traceID 唯一请求ID。 d35ba34115550716522547264e
      ua 用户代理信息。 Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36
      unixtime 请求时间,通用时间戳,单位:秒 160734****
      urlPath 请求的URI,不含域名信息。 /index.html
      urlRawQuery 查询参数,即问号(?)后的参数。 x=1&y=1
      userlnfo 自定义日志字段。
    2. 单击开通

      成功开通离线日志转存服务后,如果您需要修改转存规则或关闭离线日志转存服务,您可以在 离线日志转存 页签下进行修改或关闭。

关闭离线日志转存

  1. 登录CDN控制台
  2. 在左侧导航栏,选择日志管理 > 离线日志
  3. 单击离线日志转存页签。
  4. 单击关闭转存任务页签。
  5. 单击确定

如您需要删除服务关联角色AliyunServiceRoleForCDNLogDelivery。具体操作,请参见删除服务关联角色AliyunServiceRoleForCDNLogDelivery

相关API

EnableCdnDomainOfflineLogDelivery:新增域名至离线日志转存服务。

常见问题

问:离线日志转存投递到OSS上的是什么类型的文件?

答:离线日志转存投递到OSS上的是ORC格式文件,如果您需要对文件内容进行分析,建议使用 云原生数据湖分析产品进行分析。