离线日志转存是结合对象存储OSS和云原生数据湖分析DLA为一体的自动化转存管理服务。您可以开通离线日志转存服务，将使用CDN过程中产生的日志自动转存到您的OSS上进行长期管理，同时您可以结合数据湖的分析能力对日志进行分析。本文为您介绍开通离线日志转存服务的操作方法。

前提条件

开通离线日志转存服务前，需确保您已经开通了对象存储OSS和云原生数据湖分析DLA服务。开通详情如下：

背景信息

开通离线日志转存服务过程中，系统会为您自动创建一个服务关联角色AliyunServiceRoleForCDNLogDelivery并进行授权，用于访问对象存储OSS和云原生数据湖分析DLA的资源，以实现离线日志自动化转存。关于服务关联角色的详细信息，请参见日志转存服务关联角色（新版）。

计费说明

开通离线日志转存服务后，使用对象存储OSS和云原生数据湖分析DLA产品需分别收费，具体收费标准如下：
  • 对象存储OSS的收费标准，请参见OSS产品定价。
  • 云原生数据湖分析DLA的收费标准，请参见计费方式概述。
    注意 开通离线日志转存服务后需由DLA来完成日志转存，无论您是否使用DLA的分析能力，均会产生费用。

操作步骤

注意
  • 日志转存服务采用边缘直接投递的方式，目前日志的准确率有所偏差，如果需要相对完整的日志数据，建议您通过控制台的离线日志下载进行获取，但需要确保所选的日志字段保持完全一致。
  • 如果您授权了RAM用户管理日志转存服务，请确保为RAM用户授权时选择的授权范围为云账号全部资源。RAM用户授权范围设置，请参见步骤二：为RAM用户授权。
  • 实际使用过程中如果是通过RAM用户管理日志转存服务，请确保资源组选择为账号全部资源，否则会造成已经开通了日志转存服务的域名被异常关闭日志转存服务。
  1. 登录CDN控制台。
  2. 在左侧导航栏，选择日志管理 > 离线日志。
  3. 单击离线日志转存页签。
  4. 单击立即开通。
  5. 配置存储区域。
    1. 在开通离线日志转存对话框，选择存储区域。
      说明
      • 日志转存服务会在您选择的指定存储区域创建一个OSS Bucket，用于存储CDN的离线日志。
      • 存储区域设置成功后不能修改。
      • 如果您在全站加速上开通了离线日志转存，并选择了指定的存储区域，在CDN上开通离线日志转存时，将不支持选择存储区域，默认与全站加速上选择的存储区域保持一致。
      服务的国家和地区 存储所在国家和地区 说明
      中国内地
      • 中国（上海）
      • 中国（北京）
      • 中国（杭州）
      		 目前支持中国（上海）、中国（北京）和中国（杭州）这三个存储区域，您可以根据实际需求选择对应的存储区域。
      其他 新加坡 目前仅可选择一个区域。
      印度 印度（孟买） 目前仅可选择一个区域。
      欧洲 德国（法兰克福） 目前仅可选择一个区域。
      美国 美国（硅谷） 目前仅可选择一个区域。
    2. 单击开通数据湖，前往下一步。
  6. 配置转存规则。
    1. 在开通离线日志转存对话框，设置转存字段，并选择您需要开通离线日志转存服务的加速域名。
      说明 目前控制台最多可以显示及选择500个域名，如果您需要为更多域名开通离线日志转存服务，请提交工单处理。
      支持同时设置多个转存字段，转存字段设置成功后暂不支持修改。支持的转存字段见下表。
      转存字段 描述 样例
      contentType 文件类型。 text/html
      domain 域名信息。 www.aliyun.com
      hitInfo 命中信息。 hit
      http2 HTTP2协议。 HTTP2
      httpCode HTTP状态码。 504,404,302,200
      method 请求方法。支持GET和POST。 GET、POST
      refer HTTP请求头中的referer。 "-"
      remoteIP 访问IP。 192.168.15.75
      reqSize 请求大小。单位为字节。 129
      respSize 请求返回大小。单位为字节。 129
      rt 响应时间，单位：毫秒。 1
      schema 请求协议类型。支持HTTP和HTTPS。 HTTP、HTTPS
      traceID 唯一请求ID。 d35ba34115550716522547264e
      ua 用户代理信息。 Mozilla/5.0（compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/）
      unixtime 请求时间，通用时间戳，单位：秒 1607340145
      urlPath 请求的URI，不含域名信息。 /index.html
      urlRawQuery 查询参数，即问号（？）后的参数。 x=1&y=1
      userlnfo 自定义日志字段。 无
    2. 单击开通。

      成功开通离线日志转存服务后，如果您需要修改转存规则或关闭离线日志转存服务，您可以在离线日志转存页签下进行修改或关闭。

      关闭离线日志转存服务后，如果您需要删除服务关联角色AliyunServiceRoleForCDNLogDelivery。具体操作，请参见删除服务关联角色AliyunServiceRoleForCDNLogDelivery。

常见问题

日志转存投递到OSS上的是什么类型的文件？

日志转存投递到OSS上的是ORC格式文件，如果您需要对文件内容进行分析，建议使用云原生数据湖分析产品进行分析。