生命周期管理介绍

适用场景说明

• 数据湖中存在大量数据库/表的历史数据，这些历史数据随着时间变化，不再被业务使用，期望转为成本更低的低频、归档，冷归档类型存储。例如：

  • 订单表（按pt分区，如pt=20220101），业务诉求为仅分析近3年数据，而历史分区数据期望转为冷归档，降低存储使用成本。此类场景，可以配置按分区值规则类型进行定期归档。

  • 业务A的数据库A，因为业务A不再发展，历史数据暂时封存，可以配置该数据库的定期转为冷归档，将整个数据库转为冷归档。

使用限制

1. 元数据管理使用数据湖构建（DLF），且数据存储在OSS中。

2. 暂时无法支持非结构化数据管理，如有这方面需求请参考OSS的生命周期管理。

费用说明

使用生命周期管理功能，涉及两部分费用，如下：

1. 数据湖构建（DLF）产品的生命周期管理功能，目前公测中，当前阶段免费。

2. OSS生命周期费用说明，请参考 生命周期费用说明

注意事项

1. 如果数据被转为归档、冷归档的数据将无法被计算引擎所访问，您必须手工对其进行解冻恢复才可继续使用，且解冻有相关费用产生。详细介绍参考：

   1. 存储类型概述

   2. 转换存储类型

请您结合自己业务情况，充分评估后，再进行规则配置。

2. 如果数据被转为低频的数据，被计算引擎访问时性能将会下降。请您结合自己业务情况，充分评估后，再进行规则配置。

3. 生命规则任务，开启调度执行时，每天晚上定时执行，在第二天早上8点前生效。手动执行的任务，执行完成后即生效。

前提条件

1. 您已经开通OSS产品，如未开通请前往OSS控制台。

2. 生命周期管理的库表权限，受到DLF的数据权限管控，所以用户仅能对其权限内的数据库/表进行生命周期规则配置。

创建生命周期规则

您可以参考如下步骤创建一条生命周期规则。

1. 登录 数据湖构建控制台，选择湖管理>生命周期管理。

2. 单击“新建规则”，进行规则配置。

a) 填写规则名称、描述、数据目录、资源类型。

资源类型可以选型“库”，“表”两种类型，分别对应对元数据库、元数据表进行生命周期规则配置。

b) 选择规则类型，目前DLF支持以下四种规则类型：

• 数据最后访问时间：可以实现按照数据最后访问时间来界定生命周期。如果表有分区，则按最细粒度分区最后访问时间，否则按表最后访问时间。

• 分区值（按时间）：可以实现按分区值来界定生命周期。目前只适用于一级分区中包含时间格式的表。

• 分区/表最近修改时间：可以实现按分区/表最近修改时间来界定生命周期。如果表有分区，则按最细粒度分区最近修改时间，否则按表最近修改时间。

• 分区/表创建时间：可以实现按分区/表创建时间来界定生命周期。如果表有分区，则按最细粒度分区创建时间，否则按表创建时间。

c) 选择转换至低频/归档存储/冷归档存储的时间间隔。

d）配置规则执行机制。如果您希望DLF每天自动帮您执行当前规则，可打开调度开关。如果不需要每天自动执行，可建立规则后，在页面概览页手动执行。调度执行会在每天8点前执行完成。

3. 单击“下一步”，选择要归档的元数据库或元数据表。

a）点击添加资源按钮，选择需要绑定的资源，支持搜索和跨页选择。

b）添加资源后，点击确定，即可看到资源绑定结果。

如果绑定成功，可看到成功绑定资源数；

如果绑定失败，可看到失败原因。

编辑生命周期规则

如果您要对当前的生命周期规则进行修改或编辑，可以在列表页，单击右侧“编辑”按钮。

查看生命周期信息

1. 登录数据湖构建控制台，选择湖管理>生命周期管理。

2. 选择一条规则，点击规则ID进入，可以查看规则的当前信息。

• 基本信息：包括规则基础信息、规则详情、执行机制。

• 资源信息：规则所绑定的库或表信息。

• 执行历史：规则手动执行/调度执行的历史信息。

删除生命周期规则

1. 登录数据湖构建控制台，选择湖管理>生命周期管理。

2. 找到想要删除的生命周期规则，点击右侧的“删除”按钮，在弹框中点击“确认”按钮。

手工执行任务

1. 登录数据湖构建控制台，选择湖管理>生命周期管理。

2. 找到想要手动执行的生命周期规则，点击右侧的“手动执行”按钮，仔细阅读弹出提示后，确认无误，单击“确定”按钮任务开始执行。

查看任务执行记录

1. 登录数据湖构建控制台，选择湖管理>生命周期管理。

2. 选择页签“执行历史”，可以对所有历史执行的归档任务进行查询，并查看执行日志。

3. 点击任务名称，可以查看任务执行信息及执行日志。