同步目标表为Dataphin平台加工业务数据的表。本文为您介绍如何创建数据同步的目标表。

背景信息

目前,Dataphin平台支持通过构建即席查询和离线计算任务的方式,创建目标表。

通过即席查询的方式新建目标表

  1. 登录Dataphin控制台
  2. 在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>>
    您可以通过以下方式,快速进入工作区:
    • 选择工作区地域后,单击快速开始相关工作区域中相应的功能模块。
    • 选择工作区地域后,单击快速进入研发项目后的DevProdBasic页签,选择相应的项目。
  3. 进入即席查询页面。
    1. 在Dataphin首页,单击顶部菜单栏的研发
    2. 在数据开发页面,单击项目名称后的test图标后,单击DevBasic页签,选择数据开发的项目空间(DevBasic项目)。
      如果您当前访问的是DevBasic项目,且项目空间为您的数据开发空间,则不需要选择项目空间。
    3. 可选:在数据开发页面,单击即席查询页签。
      如果您进入数据开发页面后,默认进入即席查询页签,则不需要单击即席查询页签。
  4. 新建即席查询文件夹。
    1. 即席查询页面,单击即席查询后的fagaga图标。
    2. 新建文件夹弹框中,填写文件夹名称
    3. 单击确定,完成即席查询文件夹的创建。
  5. 新建即席查询文件。
    1. 即席查询页面,单击即席查询后的gaaga图标。
    2. 新建文件页面,填写文件的名称描述和选择目录。
    3. 单击确定,完成即席查询文件的创建。
  6. 编写即席查询文件的代码。
    1. 根据业务场景,编写创建同步目标表的SQL语句,示例如下。
      -- Table<store_sales (23 cols)  partition=ss_sold_date_sk>
      drop table if exists store_sales;
      create table if not exists store_sales(
            ss_sold_date_sk bigint
      ,     ss_sold_time_sk bigint
      ,     ss_item_sk bigint
      ,     ss_customer_sk bigint
      ,     ss_cdemo_sk bigint
      ,     ss_hdemo_sk bigint
      ,     ss_addr_sk bigint
      ,     ss_store_sk bigint
      ,     ss_promo_sk bigint
      ,     ss_ticket_number bigint
      ,     ss_quantity int
      ,     ss_wholesale_cost double
      ,     ss_list_price double
      ,     ss_sales_price double
      ,     ss_ext_discount_amt double
      ,     ss_ext_sales_price double
      ,     ss_ext_wholesale_cost double
      ,     ss_ext_list_price double
      ,     ss_ext_tax double
      ,     ss_coupon_amt double
      ,     ss_net_paid double
      ,     ss_net_paid_inc_tax double
      ,     ss_net_profit double
      )
      partitioned by (ds string)
    2. 完成编写后,单击预编译,检验SQL语句是否复合规范。
      如果不复合规范,则单击格式化,系统自动调整您编写的SQL语句,使得其符合规范。
    3. 规范校验通过后,单击执行,查看运行SQL结果是否成功。
  7. SQL运行成功后,单击页面右上方的gagag图标,完成目标表的创建。

通过离线计算任务的方式新建目标表

  1. 进入离线计算任务页面。
    1. 在Dataphin首页,单击顶部菜单栏的研发
    2. 在数据开发页面,单击项目名称后的test图标后,单击DevBasic页签,选择数据开发的项目空间(DevBasic项目)。
      如果您当前访问的是DevBasic项目,且项目空间为您的数据开发空间,则不需要选择项目空间。
    3. 可选:在数据开发页面,单击数据处理页签。
      如果您进入数据开发页面后,默认进入数据处理页签,则不需要单击数据处理页签。
    4. 数据处理页签,单击左侧导航栏cege离线计算任务图标。
  2. 离线计算任务页面,单击图标后,选择MAX_COMPUTE_SQL
    fagag
  3. 编写并运行代码。
    1. 新建文件对话框,配置参数。
      faga
      参数 描述
      名称 填写离线计算任务的名称,例如SQL。
      调度类型 选择任务的调度类型。调度类型包括:
      • 周期性节点,自动参与系统的周期性调度。
      • 手动节点,需要手动触发任务的运行。
      描述 填写对任务的简单描述。
      选择目录 选择离线计算任务的目录。
    2. 单击确定
    3. 代码编写页面,编写离线计算任务的SQL代码。
      fafafa
    4. 代码编写完成后,单击页面右上方的刷新
    5. 单击页面右上方的执行,运行代码。
  4. 可选:配置调度参数。
    • 如果离线计算任务的调度类型为周期性节点,则需要配置调度参数,详情请参见调度配置
    • 如果离线计算任务的调度类型为手动节点,需要手动触发任务的调度。
  5. 在代码编写页面,保存并提交SQL任务。
    1. 单击页面右上方的图标,保存代码。
    2. 单击页面右上方的图标,提交代码。
  6. 可选:发布SQL任务。
    • 如果您的开发模式是Dev-Prod模式,则需要发布SQL任务,详情请参见发布任务
    • 如果您的开发模式是Basic模式,则提交成功后的SQL任务,即可参与生产环境的调度。