SQL作业开发

使用说明

操作步骤

1. 登录Flink全托管控制台，新建作业。

   1. 登录实时计算控制台。

   2. 单击目标工作空间操作列下的控制台。

   3. 在数据开发 > ETL页面，单击新建。

   4. 单击空白的流作业草稿。

      Flink全托管为您提供了丰富的SQL代码模板和数据同步模板，每种模板都为您提供了使用场景、代码示例和使用指导。您也可以直接单击对应的模板进行使用，快速实现您的业务逻辑，详情请参见代码模板和数据同步模板。

   5. 单击下一步。

   6. 在新建作业草稿对话框，填写作业配置信息。

      作业参数	说明
      文件名称	作业的名称。 说明 作业名称在当前项目中必须保持唯一。
      存储位置	指定该作业的存储位置。 您还可以在现有文件夹右侧，单击图标，新建子文件夹。
      引擎版本	当前作业使用的Flink的引擎版本。引擎版本号含义、版本对应关系和生命周期重要时间点详情请参见引擎版本介绍。

   7. 单击创建。

2. 编写DDL和DML代码。

   说明

   依托于元数据管理能力，您能够在不同的作业中重复利用创建的表结构。在使用Flink开发控制台编辑SQL作业时，只需要输入部分字符，系统即可自动补全字段和表名称。

   代码示例如下。

   --创建源表datagen_source。
   CREATE TEMPORARY TABLE datagen_source(
     name VARCHAR
   ) WITH (
     'connector' = 'datagen'
   );
   
   --创建结果表blackhole_sink。
   CREATE TEMPORARY TABLE blackhole_sink(
     name  VARCHAR
   ) WITH (
     'connector' = 'blackhole'
   );
   
   --将源表数据插入到结果表。
   INSERT INTO blackhole_sink
   SELECT
     name
   from datagen_source;

   1. 在SQL编辑区域右侧页签，查看或者填写配置信息。

      页签名称	配置说明
      更多配置	引擎版本：引擎版本详情请参见引擎版本介绍和生命周期策略。建议您使用推荐版本或稳定版本，引擎版本标记含义详情如下： 推荐版本（Recommend）：当前最新大版本下的最新小版本。 稳定版本（Stable）：还在产品服务期内的大版本下最新的小版本，已修复历史版本缺陷。 普通版本（Normal）：还在产品服务期内的其他小版本。 EOS版本（Deprecated）：超过产品服务期限的版本。 附加依赖文件：作业中需要使用到的附加依赖，例如临时函数等。
      代码结构	数据流向图：您可以通过数据流向图快速查看出数据的流向。 树状结构图：您可以通过树状结构图快速查看出数据的来源。
      版本信息	您可以在此处查看作业版本信息，操作列下的功能详情请参见管理作业版本。

3. 单击保存。

4. 单击深度检查。

   深度检查能够检查作业的SQL语义、网络连通性以及作业使用的表的元数据信息。同时，您可以单击结果区域的SQL优化，展开查看SQL风险问题提示以及对应的SQL优化建议。

5. 可选：单击调试。

   您可以使用作业调试功能模拟作业运行、检查输出结果，验证SELECT或INSERT业务逻辑的正确性，提升开发效率，降低数据质量风险。详情请参见作业调试。

6. 单击部署。

   完成作业开发和深度检查后，即可部署作业，将数据发布至生产环境。部署后，您可以在运维中心 > 作业运维页面启动作业至运行阶段，详情请参见作业启动。

相关文档

• Flink集成新版DataWorks DataStudio，支持流批SQL作业的开发、代码评审及调度运维等一体化ETL能力。详情请参见Data Studio概述。

• DataWorks DataStudio流批SQL作业开发，详情请参见实时计算Flink。