SQL作业开发

本文为您介绍Flink全托管SQL作业开发的操作步骤。

使用说明

在编写SQL作业代码时,您可以使用内置的丰富连接器,也可以使用自定义函数、自定义连接器等功能。相关的使用场景和使用方法详情如下:

操作步骤

  1. 登录Flink全托管控制台,新建作业。

    1. 登录实时计算控制台

    2. 单击目标工作空间操作列下的控制台

    3. 数据开发 > ETL页面,单击新建

    4. 单击空白的流作业草稿

      Flink全托管为您提供了丰富的SQL代码模板和数据同步模板,每种模板都为您提供了使用场景、代码示例和使用指导。您也可以直接单击对应的模板进行使用,快速实现您的业务逻辑,详情请参见代码模板数据同步模板

    5. 单击下一步

    6. 新建作业草稿对话框,填写作业配置信息。

      作业参数

      说明

      文件名称

      作业的名称。

      说明

      作业名称在当前项目中必须保持唯一。

      存储位置

      指定该作业的存储位置。

      您还可以在现有文件夹右侧,单击新建文件夹图标,新建子文件夹。

      引擎版本

      当前作业使用的Flink的引擎版本。引擎版本号含义、版本对应关系和生命周期重要时间点详情请参见引擎版本介绍

    7. 单击创建

  2. 编写DDL和DML代码。

    说明

    依托于元数据管理能力,您能够在不同的作业中重复利用创建的表结构。在使用Flink开发控制台编辑SQL作业时,只需要输入部分字符,系统即可自动补全字段和表名称。

    代码示例如下。

    --创建源表datagen_source。
    CREATE TEMPORARY TABLE datagen_source(
      name VARCHAR
    ) WITH (
      'connector' = 'datagen'
    );
    
    --创建结果表blackhole_sink。
    CREATE TEMPORARY TABLE blackhole_sink(
      name  VARCHAR
    ) WITH (
      'connector' = 'blackhole'
    );
    
    --将源表数据插入到结果表。
    INSERT INTO blackhole_sink
    SELECT
      name
    from datagen_source;
    1. 在SQL编辑区域右侧页签,查看或者填写配置信息。

      页签名称

      配置说明

      更多配置

      • 引擎版本:引擎版本详情请参见引擎版本介绍生命周期策略。建议您使用推荐版本或稳定版本,引擎版本标记含义详情如下:

        • 推荐版本(Recommend):当前最新大版本下的最新小版本。

        • 稳定版本(Stable):还在产品服务期内的大版本下最新的小版本,已修复历史版本缺陷。

        • 普通版本(Normal):还在产品服务期内的其他小版本。

        • EOS版本(Deprecated):超过产品服务期限的版本。

      • 附加依赖文件:作业中需要使用到的附加依赖,例如临时函数等。

      代码结构

      • 数据流向图:您可以通过数据流向图快速查看出数据的流向。

      • 树状结构图:您可以通过树状结构图快速查看出数据的来源。

      版本信息

      您可以在此处查看作业版本信息,操作列下的功能详情请参见管理作业版本

  3. 单击保存

  4. 单击深度检查

    深度检查能够检查作业的SQL语义、网络连通性以及作业使用的表的元数据信息。同时,您可以单击结果区域的SQL优化,展开查看SQL风险问题提示以及对应的SQL优化建议。

  5. 可选:单击调试

    您可以使用作业调试功能模拟作业运行、检查输出结果,验证SELECT或INSERT业务逻辑的正确性,提升开发效率,降低数据质量风险。详情请参见作业调试

  6. 单击部署

    完成作业开发和深度检查后,即可部署作业,将数据发布至生产环境。部署后,您可以在运维中心 > 作业运维页面启动作业至运行阶段,详情请参见作业启动