文档

Flink SQL作业快速入门

更新时间:

本文通过简单的示例,带您快速体验Flink SQL作业的创建、部署和启动等操作,以了解Flink SQL作业的操作流程。

前提条件

  • 如果您使用RAM用户或RAM角色等身份访问,需要确认已具有Flink控制台相关权限,详情请参见权限管理

  • 已创建Flink工作空间,详情请参见开通实时计算Flink版

步骤一:创建作业

  1. 进入SQL作业创建页面。

    1. 登录实时计算控制台

    2. 单击目标工作空间操作列下的控制台

    3. 在左侧导航栏,单击SQL开发

  2. 单击新建

  3. 单击空白的流作业草稿

    Flink也为您提供了丰富的代码模板和数据同步,每种代码模板都为您提供了具体的使用场景、代码示例和使用指导。您可以直接单击对应的模板快速地了解Flink产品功能和相关语法,实现您的业务逻辑,详情请参见代码模板数据同步模板

  4. 单击下一步

  5. 新建作业草稿对话框,填写作业信息

    作业参数

    说明

    示例

    文件名称

    作业的名称。

    说明

    作业名称在当前项目中必须保持唯一。

    flink-test

    存储位置

    指定该作业的代码文件所属的文件夹。

    您还可以在现有文件夹右侧,单击新建文件夹图标,新建子文件夹。

    作业草稿

    引擎版本

    当前作业使用的Flink的引擎版本。引擎版本号含义、版本对应关系和生命周期重要时间点详情请参见引擎版本介绍

    vvr-6.0.7-flink-1.15

  6. 单击创建

步骤二:编写作业代码

拷贝如下代码到SQL编辑区域。

--创建一个datagen_source临时表。
CREATE TEMPORARY TABLE datagen_source(
  randstr VARCHAR
) WITH (
  'connector' = 'datagen'
);

--创建一个print_table临时表。
CREATE TEMPORARY TABLE print_table(
  randstr  VARCHAR
) WITH (
  'connector' = 'print',
  'logger' = 'true'
);

--将randstr字段的数据打印出来。
INSERT INTO print_table
SELECT SUBSTRING(randstr,0,8) from datagen_source;
说明

在实际生产作业中,建议您尽量减少临时表的使用,直接使用元数据管理中已经注册的表,详情请参见管理元数据

步骤三:查看配置信息

SQL开发页面右侧页签,您可以查看或上传相关配置。

页签名称

配置说明

更多配置

  • 引擎版本:引擎版本详情请参见引擎版本介绍生命周期策略。建议您使用推荐版本或稳定版本,引擎版本标记含义详情如下:

    • 推荐版本(Recommend):当前最新大版本下的最新小版本。

    • 稳定版本(Stable):还在产品服务期内的大版本下最新的小版本,已修复历史版本缺陷。

    • 普通版本(Normal):还在产品服务期内的其他小版本。

    • EOS版本(Deprecated):超过产品服务期限的版本。

  • 附加依赖文件:作业中需要使用到的附加依赖,例如临时函数等。

代码结构

  • 数据流向图:您可以通过数据流向图快速查看出数据的流向。

  • 树状结构图:您可以通过树状结构图快速查看出数据的来源。

版本信息

您可以在此处查看作业版本信息,操作列下的功能详情请参见管理作业版本

步骤四:进行深度检查

在作业开发页面顶部,单击深度检查

深度检查能够检查作业的SQL语义、网络连通性以及作业使用的表的元数据信息。同时,您可以单击结果区域的SQL优化,展开查看SQL风险问题提示以及对应的SQL优化建议。

(可选)步骤五:进行作业调试

在作业开发页面顶部,单击调试

您可以使用作业调试功能模拟作业运行、检查输出结果,验证SELECT或INSERT业务逻辑的正确性,提升开发效率,降低数据质量风险。作业调试功能需要创建Session集群,详情请参见作业调试

步骤六:作业部署

在作业开发页面顶部,单击部署,在部署新版本对话框,可根据需要填写或选中相关内容,单击确定

说明

Session集群适用于非生产环境的开发测试环境,您可以使用Session集群模式部署或调试作业,提高作业JM(Job Manager)资源利用率和提高作业启动速度。但不推荐您将作业提交至Session集群中,因为会存在业务稳定性问题。

步骤七:启动作业并查看结果

  1. 在左侧导航栏,单击作业运维

  2. 单击目标作业名称操作列中的启动

    选择无状态启动后,单击启动。当您看到作业状态变为运行中,则代表作业运行正常。作业启动参数配置详情请参见作业启动

  3. 在作业运维详情页面,查看Flink计算结果。

    1. 作业运维页面,单击目标作业名称。

    2. 作业探查页签,单击运行Task Managers页签下的Path, ID

    3. 单击日志,在页面搜索PrintSinkOutputWriter相关的日志信息。

      image.png

(可选)步骤八:停止作业

如果您对作业进行了修改(例如更改SQL代码、增删改WITH参数、更改作业版本等),且希望修改生效,则需要重新部署作业,然后停止再启动。另外,如果作业无法复用State,希望作业全新启动时,也需要停止后再启动作业。作业停止详情请参见作业停止

相关文档

  • 本页导读 (1)
文档反馈