您可以根据当前的业务情况自定义并执行查询语句及下载查询的数据。例如,当完成计算任务开发后,您可以通过即席查询验证计算任务是否符合预期。本文为您介绍如何查询并下载数据。

前提条件

在您开始执行操作前,请确认您已开启项目下载数据的权限。具体操作请参见管理项目空间的权限和计算源

使用限制

Dataphin默认最多返回10000条查询结果的记录。您可以在查询语句后增加limit 返回条数,自定义返回记录的条数,例如select * from ht5_out limit 20;,即返回20条记录。

注意事项

查询数据过程中,如果任务执行超过2小时仍然没有结束,则Dataphin会自动终止任务进程,避免占用大量运行资源,影响其他任务的运行。

查询数据

查询汇总逻辑表数据时为避免大量资源的浪费,在开始查询汇总逻辑表数据前,您可以先关闭使用select * 语法查询汇总逻辑表数据的权限,具体操作请参见设置即席查询的引擎

  1. 登录Dataphin控制台
  2. 在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>>
  3. 在Dataphin首页,单击顶部菜单栏的研发
    默认进入数据开发页面。
  4. 在数据开发页面,按照下图操作指引,进入新建即席查询对话框。
    gagag
  5. 新建文件对话框,配置参数。
    z
    参数 描述
    名称 填写即席查询名称。命名规则如下:
    • 除竖线(|)、半角冒号(:)、半角问号(?)、尖括号(<>)、星号(*)、半角引号(")外,其余字符均支持。
    • 不能超过64个字符。
    描述 填写对即席查询的简单描述。
    选择目录 默认选择为临时代码。同时您也可以在即席查询页面创建目标文件夹后,选择该目标文件夹为即席查询的目录。gagag
  6. 单击确定,完成即席查询文件的创建。
  7. 编写查询数据的代码,并单击页面右上方的执行
    gagag
    查询数据的代码说明:
    • 查询逻辑表数据的代码说明。
      SELECT * FROM 业务板块公用英文名.逻辑表名 WHERE ds='${bizdate}';
      其中:
      • 业务板块公用英文名:需要查询逻辑表所在业务板块的公用英文名。
        您可以在业务板块页面,查看业务板块公用英文名。gagaga
      • 逻辑表名:需要查询的逻辑表名。
      • ds='${bizdate}':定义查询的分区日期,${bizdate}为Dataphin内置日期参数,默认格式为yyyymmdd,即当前日期的前一天。Dataphin也支持输入具体的日期,例如ds=‘20210223’
      代码示例。
      SELECT * FROM LD_newretail.dws_xnwd_03 WHERE ds='${bizdate}';
      注意 如果关闭了使用select *语法查询汇总逻辑表的权限,则select *语句运行会报错,需要指定具体字段。
    • 查询物理表数据的代码说明。
      SELECT * FROM 项目公用英文名.物理表名 WHERE ds='${bizdate}';
      其中:
      • 项目公用英文名:需要查询物理表所在项目的公用英文名。
        您可以在项目的信息设置页面,查看项目的公用英文名。gagag
      • 物理表名:需要查询的物理表名。
      • ds='${bizdate}':定义查询的分区日期,${bizdate}为Dataphin内置日期参数,默认格式为yyyymmdd,即当前日期的前一天。Dataphin也支持输入具体的日期,例如ds=‘20210223’
      代码示例。
      SELECT * FROM beijing_ast.ads_perform_taok_all_goods_day WHERE ds='${bizdate}';
    查询语句执行成功后,您可以在Result页签查看数据。gagaga

下载数据

查询语句执行成功后,按照下图操作指引,下载查询到的数据。gagag