通过数据湖转存和分析离线日志指离线日志转存服务,阿里云CDN会将加速过程中产生的日志通过数据湖处理后转存至OSS上进行长期保存,同时您可以调用数据湖的分析能力对日志进行分析。本文为您介绍开通离线日志转存服务的操作方法。

前提条件

开通离线日志转存服务前,需确保您已完成以下操作:

背景信息

离线日志转存是结合对象存储OSS和云原生数据湖分析DLA为一体的自动化转存管理服务。开通离线日志转存服务过程中,系统会为您自动创建一个服务关联角色AliyunServiceRoleForDCDNLogDelivery并授权CDN,用于访问对象存储OSS和云原生数据湖分析DLA的资源,以实现离线日志自动化转存。关于服务关联角色的详细信息,请参见日志转存服务关联角色(新版)

适用场景

目前CDN的离线日志下载服务,默认提供30天的存储服务。如果您有更长时间的离线日志存储需求,或者有离线日志分析需求,可以使用“通过数据湖存储和分析离线日志”功能,方便您根据实际情况对日志进行保存和分析。

计费说明

开通离线日志转存服务后,CDN不收取任何离线日志转存费用。使用对象存储OSS和云原生数据湖分析DLA产品需分别收费,具体收费标准如下:
  • 对象存储OSS的收费标准,请参见OSS产品定价
  • 云原生数据湖分析DLA的收费标准,请参见计费方式概述
    注意
    • 开通离线日志转存服务后需由DLA来完成离线日志转存,无论您是否使用DLA的分析能力,均会产生费用。
    • 如果您仅开通了DLA的转存功能(不使用DLA做数据分析),DLA只会在日志投递环节消耗少量的CU时,不会消耗数据分析的CU时。
    • 如果您使用了DLA做数据分析,消耗的CU时由需求分析处理的日志量(用户访问量越大日志量越大,时间周期越长日志量越大)和日志处理的分析模型复杂度共同决定。

开通离线日志转存

注意
  • 离线日志转存服务采用边缘直接投递的方式,目前日志的准确率有所偏差,如果需要相对完整的日志数据,建议您通过控制台的 日志下载进行获取,但需要确保所选的日志字段保持完全一致。
  • RAM用户默认不支持开通及管理离线日志转存服务,如果您希望RAM用户可以开通或管理离线日志转存服务,您需要为RAM用户授权。具体操作,请参见授权RAM用户管理日志转存服务
  • 如果您授权了RAM用户管理离线日志转存服务,请确保为RAM用户授权时选择的授权范围为云账号全部资源。RAM用户授权范围设置,请参见步骤二:为RAM用户授权
  • 实际使用过程中如果是通过RAM用户管理离线日志转存服务,请确保资源组选择为 账号全部资源,否则会造成已经开通了离线日志转存服务的域名被异常关闭离线日志转存服务。
  1. 登录CDN控制台
  2. 在左侧导航栏,选择日志管理 > 离线日志
  3. 单击离线日志转存页签。
  4. 单击立即开通
  5. 配置存储区域
    1. 开通离线日志转存对话框,配置存储区域
      说明
      • 离线日志转存服务会在您选择的指定存储区域创建一个OSS Bucket(存储区域设置成功后不可修改。),用于存储CDN的离线日志。
      • 如果您在全站加速上开通了离线日志转存,并选择了指定的存储区域,在CDN上开通离线日志转存时,将不支持选择存储区域,默认与全站加速上选择的存储区域保持一致。
      服务的国家和地区