数据湖构建可以帮助用户快速构建云上数据湖,采用统一的管理视角治理数据湖。

本产品目前处于公测阶段,您可以随时开通使用,目前数据湖构建所有功能均为免费使用阶段。

用户使用流程

数据湖构建将帮助您快速简洁抽取源数据到统一数据湖的服务,用户使用流程如下:

  1. 开通公测流程后,登录阿里云管理控制台,选择数据湖构建,进入数据湖管理控制台

  2. 参见数据源管理章节,创建数据源,选择希望导入到数据湖的数据来源。

  3. 参见入湖模板章节,创建数据湖模板,定期将数据源中的数据抽取到数据湖。

  4. 参见数据库表及函数章节,定义数据湖的元数据库和表。

控制台概览

控制台概览分为2个部分,左侧为主要功能区,右侧为产品主要信息,帮助用户快速上手产品。数据湖控制台

注册数据湖位置

阿里云数据湖构建采用OSS作为统一数据湖位置,用户需要注册一个OSS的Bucket或OSS路径作为数据湖位置。

元数据管理

数据湖元数据管理包括元数据库和元数据表两层结构构成。

数据源

用户从数据源抽取数据到注册的数据湖位置,数据湖构建支持多种形式的数据源,目前RDS MySQL已对外开放。

参数

描述

连接名称

数据湖构建中惟一的名称

连接类型

目前支持RDS MySQL

用户名

连接MySQL数据库的用户名

密码

连接MySQL数据库的密码

虚拟专有网络(VPC)

数据库所在的vpc

交换机(Switch)

数据库所在的交换机

安全组

数据库所在的安全组

入湖模板

用户创建入湖模板将数据源中的数据通过手动或者定时的方式抽取到数据湖中。