离线日志转存是结合对象存储OSS和云原生数据湖分析DLA为一体的自动化转存管理服务。您可以开通离线日志转存服务，将使用全站加速过程中产生的日志自动转存到您的OSS上进行长期管理，同时您可以结合数据湖的分析能力对日志进行分析。本文为您介绍开通离线日志转存服务的操作方法。

前提条件

开通离线日志转存服务前，需确保您已完成以下操作：

  • 开通对象存储OSS，请前往 对象存储OSS产品详情页进行开通。
  • 开通云原生数据湖分析DLA，请前往 云原生数据湖分析产品详情页进行开通。
  • 日志转存服务依赖云原生数据湖分析DLA来完成转存，并通过OSS进行存储，为确保日志转存服务能够正常服务，必须确保对应区域的云原生数据湖分析DLA与对象存储OSS处于开启状态。

背景信息

开通离线日志转存服务过程中，系统会为您自动创建一个服务关联角色AliyunServiceRoleForDCDNLogDelivery并进行授权，用于访问对象存储OSS和云原生数据湖分析DLA的资源，以实现离线日志自动化转存。关于服务关联角色的详细信息，请参见 日志转存服务关联角色。

计费说明

开通离线日志转存服务后，使用对象存储OSS和云原生数据湖分析DLA产品需分别收费，具体收费标准如下：
  • 对象存储OSS的收费标准，请参见 OSS产品定价。
  • 云原生数据湖分析DLA的收费标准，请参见 计费方式概述。
    注意
    • 开通离线日志转存服务后需由DLA来完成日志转存，无论您是否使用DLA的分析能力，均会产生费用。
    • 如果您仅开通了DLA的转存功能（不使用DLA做数据分析），DLA只会在日志投递环节消耗少量的CU时，不会消耗数据分析的CU时。
    • 如果您使用了DLA做数据分析，消耗的CU时由需求分析处理的日志量（用户访问量越大日志量越大，时间周期越长日志量越大）和日志处理的分析模型复杂度共同决定。

操作步骤

注意
  • 日志转存服务采用边缘直接投递的方式，目前日志的准确率有所偏差，如果需要相对完整的日志数据，建议您通过控制台的 离线日志下载 进行获取，但需要确保所选的日志字段保持完全一致。
  • RAM用户默认不支持开通及管理日志转存服务，如果您希望RAM用户可以开通或管理日志转存服务，您需要为RAM用户授权。具体操作，请参见 授权RAM用户管理日志转存服务。
  • 如果您授权了RAM用户管理日志转存服务，请确保为RAM用户授权时选择的授权范围为 云账号全部资源 。RAM用户授权范围设置，请参见 步骤二：为RAM用户授权。
  • 实际使用过程中如果是通过RAM用户管理日志转存服务，请确保资源组选择为 账号全部资源 ，否则会造成已经开通了日志转存服务的域名被异常关闭日志转存服务。
  1. 登录全站加速控制台。
  2. 在左侧导航栏，选择 日志管理 > 离线日志 。
  3. 单击 离线日志转存 页签。
  4. 单击 立即开通 。
  5. 配置 存储区域 。
    1. 在 开通离线日志转存 对话框，选择 存储区域 。
      说明
      • 日志转存服务会在您选择的指定存储区域创建一个OSS Bucket，用于存储全站加速的离线日志。
      • 存储区域设置成功后不能修改。
      • 如果您在CDN上开通了离线日志转存，并选择了指定的存储区域，在全站加速上开通离线日志转存时，将不支持选择存储区域，默认与CDN上选择的存储区域保持一致。
      服务的国家和地区 存储所在国家和地区 说明
      中国内地
      • 中国（上海）
      • 中国（北京）
      • 中国（杭州）
      		 目前支持中国（上海）、中国（北京）和中国（杭州）这三个存储区域，您可以根据实际需求选择对应的存储区域。
      其他 新加坡 目前仅可选择一个区域。
      印度 印度（孟买） 目前仅可选择一个区域。
      欧洲 德国（法兰克福） 目前仅可选择一个区域。
      美国 美国（硅谷） 目前仅可选择一个区域。
    2. 单击 开通数据湖，前往下一步 。
  6. 配置 转存规则 。
    1. 在 开通离线日志转存 对话框，设置 转存字段 ，并选择您需要开通离线日志转存服务的加速域名。
      说明 目前控制台最多可以显示及选择500个域名，如果您需要为更多域名开通离线日志转存服务，请 提交工单处理。
      支持同时设置多个转存字段，转存字段设置成功后暂不支持修改。支持的转存字段见下表。
      转存字段 描述 样例
      contentType 文件类型。 text/html
      domain 域名信息。 www.aliyun.com
      hitInfo 命中信息。 hit
      http2 HTTP2协议。 HTTP2
      httpCode HTTP状态码。 504 , 404 , 302 , 200
      method 请求方法。支持GET和POST。 GET 、 POST
      refer HTTP请求头中的referer。 "-"
      remoteIP 访问IP。 192.168.15.75
      reqSize 请求大小。单位为字节。 129
      respSize 请求返回大小。单位为字节。 129
      rt 响应时间，单位：毫秒。 1
      schema 请求协议类型。支持HTTP和HTTPS。 HTTP 、 HTTPS
      traceID 唯一请求ID。 d35ba34115550716522547264e
      ua 用户代理信息。 Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36
      unixtime 请求时间，通用时间戳，单位：秒 1607340145
      urlPath 请求的URI，不含域名信息。 /index.html
      urlRawQuery 查询参数，即问号（？）后的参数。 x=1&y=1
      userlnfo 自定义日志字段。 无
    2. 单击 开通 。

      成功开通离线日志转存服务后，如果您需要修改转存规则或关闭离线日志转存服务，您可以在 离线日志转存 页签下进行修改或关闭。

      关闭离线日志转存服务后，如果您需要删除服务关联角色AliyunServiceRoleForDCDNLogDelivery。具体操作，请参见 删除服务关联角色AliyunServiceRoleForDCDNLogDelivery。

相关文档

成功开通离线日志转存服务且生成日志后，您可以通过DLA的Serverless SQL功能对日志进行分析。具体操作，请参见 DCDN日志分析。

常见问题

日志转存投递到OSS上的是什么类型的文件？

日志转存投递到OSS上的是ORC格式文件，如果您需要对文件内容进行分析，建议使用 云原生数据湖分析产品进行分析。 通过云原生数据湖分析产品的Serverless SQL功能对日志进行分析，请参见 DCDN日志分析。