阿里云首页 数据湖构建

产品简介

阿里云数据湖构建(Data Lake Formation,DLF)是一款全托管的快速帮助用户构建云上数据湖的服务,产品提供了云上数据湖统一的权限管理、数据湖元数据管理和元数据自动抽取能力。

统一数据湖存储

阿里云数据湖构建使用阿里云对象存储(Object Storage Service,OSS)作为云上数据湖的统一存储,在云上可以使用多种计算引擎面向不同的大数据计算场景,开源大数据E-MapReduce,实时计算,MaxCompute交互式分析(Hologres),机器学习PAI等,但您可以使用统一的数据湖存储方案避免数据同步产生的复杂度和运维成本。

多样化入湖模板

阿里云数据湖构建可以将多种数据源数据抽取到数据湖中,目前支持的包括关系型数据库(MySQL)、阿里云日志服务(SLS)、阿里云表格存储(OTS)、阿里云对象服务(OSS)和Kafka等,用户可以指定存储格式,提高计算和存储效率。

数据湖元数据管理

用户可以定义数据湖元数据的格式,进行集中和统一管理,保证数据质量。

应用场景

  • 大数据离线计算

  • 大数据实时计算

  • 机器学习/深度学习

  • 数据湖数据管理