基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储机制

操作流程

1. 步骤一：授予MaxCompute访问DLF和OSS的权限

   为操作MaxCompute项目的账号授予访问DLF和OSS的权限。

2. 步骤二：在OSS中创建存储空间及目录

   创建OSS存储空间作为数据湖的统一存储路径。

3. 步骤三：准备入湖数据

   创建RDS数据库，准备入湖数据。

4. 步骤四：在DLF中创建元数据库

   通过创建数据源对接RDS与DLF。

5. 步骤五：创建并启动入湖任务

   基于DLF创建数据入湖任务，将RDS数据库中的表数据实时同步并回放到数据湖中。

6. 步骤六：基于MaxCompute分析数据湖数据

   通过DataWorks控制台的数据湖集成界面创建External Project，对数据湖数据进行分析。

步骤一：授予MaxCompute访问DLF和OSS的权限

步骤二：在OSS中创建存储空间及目录

创建OSS存储空间作为数据湖的统一存储路径。

1. 登录OSS管理控制台。

2. 在左侧导航栏，单击Bucket列表，在Bucket列表页面，单击创建Bucket。

3. 在创建Bucket面板填写Bucket名称，例如mc-dlf-oss，并选择地域，例如华东2（上海）后，单击确定。

   

4. 在左侧导航栏，单击文件管理后，在右侧区域单击新建目录并填写目录名，例如covid-19，单击确定。

   

步骤三：准备入湖数据

基于阿里云RDS构造数据库，并创建表、准备入湖数据。

1. 访问RDS实例列表，在上方选择地域。例如华东2（上海），然后单击目标实例ID。

2. 创建RDS数据库账号。在目标实例信息页面的左侧导航栏单击账号管理后，在用户账号页签单击创建账号，并在创建账号面板配置下表所列参数信息，单击确定。

   

   参数名称	说明	样例值
   数据库账号	访问RDS数据库的账号。创建RDS数据库时会绑定此信息。	datalake_mcdbuser
   账号类型	账号包含如下两种： 普通账号：后续需要绑定至RDS数据库。 高权限账号：无需选择要授权的数据库，拥有实例中所有数据库的权限。	普通账号
   密码	账号对应的密码信息。	无
   确认密码	再次确认账号对应的密码信息。	无

   更多参数解释，请参见创建账号。

3. 创建RDS数据库。在目标实例信息页面的左侧导航栏单击数据库管理>创建数据库，设置如下参数。

   参数	说明
   数据库（DB）名称	最长63个字符。 由小写字母、数字、中划线、下划线组成。 以字母开头，以字母或数字结尾。
   支持字符集	数据库的字符集。
   Collate	字符串排序规则。
   Ctype	字符分类。
   授权账号	设置数据库的所有者，对数据库拥有ALL权限。
   备注说明	填写备注信息。

4. 为RDS数据库创建表并插入少量测试数据，具体操作请参见通过DMS登录RDS MySQL。如表名为anti_fraud_result，命令示例如下。

   CREATE TABLE `anti_fraud_result` (
     `transactionid` varchar(32) NOT NULL,
     `uid` varchar(32) DEFAULT NULL,
     `card` varchar(32) DEFAULT NULL,
     `longitude` double(12,8) DEFAULT '12.00000000',
     `latitude` double(12,8) DEFAULT '12.00000000',
     PRIMARY KEY (`transactionid`)
   ) ENGINE=InnoDB DEFAULT CHARSET=utf8
   ;
   
   INSERT INTO `anti_fraud_result` values ("12489571","82005","123123",3.14592040,101.12315432);
   INSERT INTO `anti_fraud_result` values ("12489572","82005","123123",3.14592040,101.12315432);
   INSERT INTO `anti_fraud_result` values ("12489573","82005","123123",3.14592040,101.12315432);
   INSERT INTO `anti_fraud_result` values ("12489574","82005","123123",3.14592040,101.12315432);

步骤四：在DLF中创建元数据库（可选）

通过创建元数据库来管理DLF湖中的数据。

1. 登录数据湖构建控制台，在左上角选择地域，例如华东2（上海）。

2. 创建元数据库。例如datalake。

   1. 在左侧导航栏，选择元数据管理，在数据库页签，单击新建数据库。

   2. 在新建数据库对话框，配置相关参数。

      参数	描述	示例
      所属数据目录	数据存储的数据库目录。	default
      数据库名称	目标数据库的名称。	dlf_db
      数据库描述	目标数据库的描述信息。	湖仓一体
      选择路径	OSS数据路径。格式为oss://<Bucket名称>/<OSS目录名称>。	oss://doc-test-01/datalake/

   3. 单击确定，完成数据库的创建。

步骤五：创建并启动入湖任务

由于DLF中数据入湖功能已经停止更新，如果您有数据入湖需求请参考DLF中数据入湖功能停止更新公告。您可以采用以下两种方式进行Delta Lake和Hudi格式的数据入湖操作。

步骤六：基于MaxCompute分析数据湖数据

1. 在DataWorks控制台创建External Project。

   1. 登录DataWorks控制台，选择地域为华东2（上海）。

   2. 在DataWorks控制台页面左侧导航栏，选择更多 > 数据湖集成（湖仓一体）。

   3. 在数据湖集成（湖仓一体）页面，单击现在开始创建。

   4. 在新建数据湖集成页面，按照界面指引进行操作。参数示例如下所示。

      表 1. 创建数据仓库

      参数	说明
      外部项目名称	ext_dlf_delta
      MaxCompute项目	ms_proj1

      表 2. 创建外部数据湖连接

      参数		说明
      异构数据平台类型	选择阿里云DLF+OSS数据湖连接	无
      阿里云DLF+OSS数据湖连接	External Project描述	无
      	DLF所在区	cn-shanghai
      	DLF Endpoint	dlf-share.cn-shanghai.aliyuncs.com
      	DLF数据库名称	datalake
      	DLF RoleARN	无

   5. 单击创建后单击预览。

      如果能预览DLF库中表的信息，则表示操作成功。

   说明

   以上是DataWorks控制台创建External Project，如果您需要通过SQL方式创建External Project，请参见使用SQL管理外部项目。

2. 在DataWorks临时查询页面，查看External Project下的表。

   命令示例如下。

   show tables in ext_dlf_delta;

   返回结果如下。

   ALIYUN$***@aliyun.com:anti_rds

   说明

   DataWorks临时查询操作，详情请参见DataWorks临时查询。

3. 在DataWorks临时查询界面，查询External Project中的表数据。

   说明

   如果查询结果出现乱码问题，解决方法请参见如何处理编码格式设置/乱码问题导致的脏数据报错？。

   • 命令示例：

     select * from ext_dlf_delta.anti_rds;

   • 返回结果：

操作流程

1. 步骤一：授予MaxCompute访问DLF和OSS的权限

   为操作MaxCompute项目的账号授予访问DLF和OSS的权限。

2. 步骤二：在OSS中创建存储空间及目录

   创建OSS存储空间作为数据湖的统一存储路径。

3. 步骤三：准备入湖数据

   在Flink控制台创建临时表，准备入湖数据。

4. 步骤四：在DLF中创建元数据库

   在DLF中创建元数据库作为存储入湖的数据源。

5. 步骤五：在DLF上创建并启动元数据抽取任务

   基于DLF创建元数据抽取任务，将OSS目录下的表数据抽取到数据湖中。

6. 步骤六：基于MaxCompute分析数据湖数据

   通过DataWorks控制台的数据湖集成界面创建External Project，对数据湖数据进行分析。

步骤一：授予MaxCompute访问DLF和OSS的权限

步骤二：在OSS中创建存储空间及目录

创建OSS存储空间作为数据湖的统一存储路径。

1. 登录OSS管理控制台。

2. 在左侧导航栏，单击Bucket列表，在Bucket列表页面，单击创建Bucket。

3. 在创建Bucket面板填写Bucket名称，例如mc-dlf-oss，并选择地域，例如华东2（上海）后，单击确定。

   

4. 在左侧导航栏，单击文件管理后，在右侧区域单击新建目录并填写目录名，例如covid-19，单击确定。

   

步骤三：准备入湖数据

基于阿里云Flink全托管使用Hudi连接器建表、准备入湖数据。操作详情请参见Flink SQL作业快速入门。

1. 访问Flink实例列表，在上方选择地域，并单击目标实例ID，进入阿里云实时计算页面。

2. 在左侧导航栏单击SQL开发，并新建空白的流作业草稿，单击下一步。

3. 在新建作业草稿对话框中填写作业信息，单击创建。

4. 在SQL编辑区域中输入如下命令，语法详情请参见Hudi连接器。

   -- 创建一个datagen临时表，作为数据源。
   CREATE TEMPORARY TABLE datagen(
     id INT NOT NULL PRIMARY KEY NOT ENFORCED,
     data  STRING,
     ts TIMESTAMP(3)
   ) WITH (
     'connector' = 'datagen' ,
     'rows-per-second'='100' 
   );
   
   -- 创建一个flink_hudi_tbl临时表，作为结果表，数据存储指向oss，格式为hudi
   CREATE TEMPORARY TABLE flink_hudi_tbl (
     id INT NOT NULL PRIMARY KEY NOT ENFORCED,
     data STRING,
     ts TIMESTAMP(3)
   ) WITH (
     'connector' = 'hudi', 
     'oss.endpoint' = 'oss-cn-beijing-internal.aliyuncs.com', 
     'accessKeyId' = '${secret_values.ak_id}', 
     'accessKeySecret' = '${secret_values.ak_secret}', 
     'path' = 'oss://<yourOSSBucket>/<自定义存储位置>',
     'table.type' = 'MERGE_ON_READ',
     'hive_sync.enable' = 'true',
     'hive_sync.mode' = 'hms',
     'hive_sync.db' = 'flink_hudi',
     'hive_sync.table' = 'flink_hudi_tbl',
     'dlf.catalog.region' = 'cn-beijing',
     'dlf.catalog.endpoint' = 'dlf-vpc.cn-beijing.aliyuncs.com'
   );
   
   -- 将源表数据写入到结果表
   INSERT INTO flink_hudi_tbl SELECT * from datagen;

   参数说明：

   参数名称	说明
   oss.endpoint	Flink实例所在地域的内网Endpoint，各地域Endpoint请参见访问域名和数据中心。
   accessKeyId	阿里云账号的AccessKey ID。
   accessKeySecret	阿里云账号的AccessKey Secret。
   path	OSS Bucket路径。
   dlf.catalog.region	阿里云DLF服务的地域名，详情请参见已开通的地域和访问域名。
   dlf.catalog.endpoint	DLF服务的Endpoint，详情请参见已开通的地域和访问域名。 说明 推荐您设置为DLF的VPC Endpoint。例如，如果您选择的地域为cn-hangzhou地域，则参数值需要配置为dlf-vpc.cn-hangzhou.aliyuncs.com。

5. 进行深度检查和作业部署，详情可参考Flink SQL作业快速入门的步骤四和步骤六。

   1. 单击右上角深度检查，成功后会提示深度检查通过。

   2. 单击右上角部署，可根据需要填写或选中相关内容，单击确定。

6. 启动作业并查看结果，详情可参考Flink SQL作业快速入门的步骤七。

   1. 在左侧导航栏，单击作业运维。

   2. 单击目标作业名称操作列中的启动，选择无状态启动后，单击启动。当作业状态变为运行中时，表示作业运行正常。

   3. 在作业运维详情页面，查看Flink计算结果。

7. 待任务启动成功运行一段时间后，登录OSS控制台，可查看到目录下已写入的数据文件。

步骤四：在DLF中创建元数据库

通过创建元数据库来管理DLF湖中的数据。

1. 登录数据湖构建控制台，在左上角选择地域。

2. 创建元数据库。例如datalake。

   1. 在左侧导航栏，选择元数据管理，在数据库页签，单击新建数据库。

   2. 在新建数据库对话框，配置相关参数。

      参数	描述	示例
      所属数据目录	数据存储的数据库目录。	default
      数据库名称	目标数据库的名称。	dlf_db
      数据库描述	目标数据库的描述信息。	湖仓一体
      选择路径	OSS数据路径。格式为oss://<Bucket名称>/<OSS目录名称>。	oss://doc-test-01/datalake/

   3. 单击确定，完成数据库的创建。

步骤五：在DLF上创建并启动元数据抽取任务

1. 在数据湖构建控制台左侧导航栏单击元数据 > 元数据抽取。

2. 在元数据抽取页面单击新建抽取任务。

3. 在新建抽取任务界面，配置相关参数，详情请参见元数据抽取。

4. 单击保存并立即执行。

5. 元数据表查看。待抽取任务的执行进度变为100%后，在左侧导航栏，选择元数据管理，单击目标数据库，在表列表页签可查看表的详细信息。

6. 查表操作。在左侧导航栏，单击数据探索，可通过执行SQL查看表数据。

步骤六：基于MaxCompute分析数据湖数据

具体操作请参见步骤六：基于MaxCompute分析数据湖数据。