查询并下载数据

通过即席查询您可以根据当前的业务情况自定义并执行查询语句和下载查询的数据。例如,当完成计算任务开发后,您可以通过即席查询验证计算任务是否符合预期。本文为您介绍如何新建即席查询并下载结果数据。

背景信息

即席查询任务使用您当前项目下所设置的计算源进行数据查询。在使用Hadoop计算源时,支持开启Impala任务,开启后除支持创建HIVE_SQL即席查询任务外,还支持创建IMPALA_SQL即席查询任务。因Impala基于内存计算,IMPALA_SQL即席查询相对于HIVE_SQL即席查询具备更好的查询响应。同时Dataphin支持IMPALA_SQL和HIVE_SQL任务类型的快速切换,对于历史任务无需再次编写相同的查询代码。具体操作,请参见附录:切换任务类型

前提条件

创建IMPALA_SQL即席查询需在Hadoop计算源中开启Impala任务。具体操作,请参见创建Hadoop计算源

若您需下载即席查询的结果数据,在您开始执行操作前,请确认您已开启项目下载数据的权限。具体操作,请参见管理项目空间的权限和计算源

新建即席查询

  1. 在Dataphin首页,单击顶部菜单栏研发。默认进入数据开发页面。

  2. 按照以下操作指引,进入新建即席查询对话框。

    单击开发->选择项目(Dev-Prod模式需要选择环境)->单击即席查询->单击image图标。

    image.png

  3. 新建即席查询对话框,配置参数。

    • 新建计算引擎即席查询

      说明

      若您的计算引擎为Hadoop并开启了Impala任务,支持新建HIVE_SQL即席查询IMPALA_SQL即席查询。

      参数

      描述

      名称

      填写即席查询名称。命名规则如下:

      • 不支持特殊字符|\/:?<>*"

      • 不能超过265个字符。

      描述

      填写对即席查询的简单描述。

      选择目录

      默认选择为临时代码。同时您也可以在即席查询页面创建目标文件夹后,选择该目标文件夹为即席查询的目录。image..png

    • 新建数据库SQL即席查询

      参数

      描述

      基本信息

      名称

      填写即席查询名称。命名规则如下:

      • 不支持特殊字符|\/:?<>*"

      • 不能超过265个字符。

      描述

      填写对即席查询的简单描述,1000个字符以内。

      选择目录

      默认选择为临时代码。同时您也可以在即席查询页面创建目标文件夹后,选择该目标文件夹为即席查询的目录。image..png

      数据源配置

      数据源类型

      支持MySQLOracle、AnalyticDB for PostgreSQL数据源类型

      数据源

      选择用于即席查询的数据源。若无可选数据源,可以单击+新建数据源进行新建。

  4. 单击确定,完成即席查询文件的创建。

  5. 根据项目的计算源或数据库SQL类型,编写查询数据的代码,单击运行。如下图所示:

    image.png

  6. 查询语句执行成功后,可以在结果页签查看数据。

    image

下载结果数据

查询语句执行成功后,按照下图操作指引,可下载查询到的结果数据。

image

支持完整数据下载或样例数据下载。

  • 完整数据下载:完整数据下载固定为CSV格式。完整数据下载耗时可能较长,可关注消息中心消息或在运行记录查看下载进度。

    重要

    数据库SQL即席查询不支持查询结果的全量下载,仅支持样例数据下载。

  • 样例数据下载:样例数据下载的格式和数据运行记录由数据下载审批设置决定。更多信息,请参见数据下载配置

说明
  • 若规范设置中已开启下载审批,您需提交数据下载申请后才可进行下载。审批通过后,您可查看审批任务、当前运行结果或在运行记录中下载数据。更多信息,请参见数据下载审批配置

  • 若您已开启数据下载审批水印功能,下载的Excel文件中将自动添加水印。数据下载文件保留30天,如数据查询时间为2023-04-12,申请时间为2023-04-13,则文件过期时间为2023-04-11。更多信息,请参见数据下载审批配置

附录:切换任务类型

项目的离线引擎为Hadoop计算源且已开启Impala任务。支持IMPALA_SQL任务类型和HIVE_SQL任务类型的互相切换。

  1. 按照下图操作指引,选择需要切换类型任务。image.png

  2. 单击确定,即可完成任务类型切换。