数据探索简介

数据探索是一种在线的交互式查询服务,开通即用。它是完全托管的,并且具备了高性能、弹性、易用等特点,无需申请任何资源即可直接使用,且代码运行环境归属于用户。用户可以对入湖后的数据使用Spark SQL快速的进行数据探索,以便对湖内数据进行审核、质量检查、分类等。支持数据湖内多种存储格式,包括Delta、Hudi、CSV、Parquet、JSON、ORC等数据格式。

准备工作

  1. 已开通OSS。

  2. 已开通DLF,并创建了元数据库

  3. 通过元数据发现 入湖任务管理 或者API等方式创建了元数据表。

  4. 拥有AliyunDLFFullAccess策略权限。

运行查询

  1. 登录数据湖构建控制台,在左侧菜单中选择数据探索

  2. 左侧数据库/表区域,会列举出当前账户下所有元数据库和元数据表。您可以在此区域查看元数据表的基础信息,或者生成数据预览SQL语句。

  3. 在右侧SQL编辑器区域,输入SQL语句。本功能基于EMR Spark 2.4版本,更多特性详情请参见Spark SQL Guide。示例如下:

    -- SQL语句示例
    show databases;
  4. 单击运行(或快捷键F8),下方会展示查询进度状态,当查询完毕时会直接显示查询结果。查询结果会分页展示,受前端限制目前最多展示10000条数据。如需获取全部查询结果,可以在配置存储路径之后进入OSS查看,或直接点击下载。

    重要

    DLF-Spark SQL不会在您的SQL语句后面自动加limit限制,请避免不必要的全表扫描,以免造成资源浪费。

    image.png

    说明

    使用限制:

    • SQL执行超时时间:60分钟。

    • SQL长度限制:不超过6000字符。

    • 查询结果展示:最多10000行。

    • 同一个账号,最大使用Spark Driver内存:4G。

    • 同一个账号,最大使用CU限制:200CU (1CU=1核4GB)。

结果路径设置

您可以通过路径设置,把每次查询结果保存在OSS上,以便于全量结果的下载和归档。仅当设置了保存路径之后,才可以使用结果下载功能。保存的结果文件没有时间限制。

  1. 在左侧菜单中选择数据探索,单击右上方的路径设置

  2. 在弹出的OSS输入框中,选择用于保存查询结果的OSS路径,单击确定

  3. 设置成功之后,执行的查询结果会自动全量写入您设置的OSS路径中,目前默认以CSV格式保存。如果您的查询结果很大时,下载导出可能需要几分钟,请耐心等待。

保存查询

对于常用的查询,您可以直接保存。

  1. 在SQL编辑器中输入SQL语句,单击保存

  2. 在弹出的输入框中,输入本次保存的查询名称。

  3. 保存成功后,您可以在下方的已存查询中,恢复保存过的查询。