Flink SQL作业快速入门
Flink全托管支持通过SQL代码编辑和运行作业。本文带您快速体验SQL作业的创建、部署和启动等操作。
前提条件
已准备阿里云账号及账户余额。
账号注册操作步骤,请参见账号注册。
阿里云账户余额不少于100.00元人民币或等值的代金券或优惠券。
已创建工作空间,详情请参见开通Flink全托管和创建与管理项目空间。
步骤一:创建作业
步骤二:编写作业代码
拷贝如下代码到SQL编辑区域。
--创建一个datagen_source临时表。
CREATE TEMPORARY TABLE datagen_source(
randstr VARCHAR
) WITH (
'connector' = 'datagen'
);
--创建一个print_table临时表。
CREATE TEMPORARY TABLE print_table(
randstr VARCHAR
) WITH (
'connector' = 'print',
'logger' = 'true'
);
--将randstr字段的数据打印出来。
INSERT INTO print_table
SELECT SUBSTRING(randstr,0,8) from datagen_source;
在实际生产作业中,建议您尽量减少临时表的使用,直接使用元数据管理中已经注册的表,详情请参见管理元数据。
步骤三:查看配置信息
在SQL开发页面右侧页签,您可以查看或上传相关配置。
页签名称 | 配置说明 |
更多配置 | |
代码结构 |
|
版本信息 | 您可以在此处查看作业版本信息,操作列下的功能详情请参见管理作业版本。 |
步骤四:进行深度检查
在作业开发页面顶部,单击深度检查。
深度检查能够检查作业的SQL语义、网络连通性以及作业使用的表的元数据信息。同时,您可以单击结果区域的SQL优化,展开查看SQL风险问题提示以及对应的SQL优化建议。
(可选)步骤五:进行作业调试
在作业开发页面顶部,单击调试。
您可以使用作业调试功能模拟作业运行、检查输出结果,验证SELECT或INSERT业务逻辑的正确性,提升开发效率,降低数据质量风险。作业调试功能需要创建Session集群,详情请参见作业调试。
步骤六:作业部署
在作业开发页面顶部,单击部署,在部署新版本对话框,可根据需要填写或选中相关内容,单击确定。
Session集群适用于非生产环境的开发测试环境,您可以使用Session集群模式部署或调试作业,提高作业JM(Job Manager)资源利用率和提高作业启动速度。但不推荐您将作业提交至Session集群中,因为会存在业务稳定性问题。
步骤七:启动作业并查看结果
在左侧导航栏,单击作业运维。
单击目标作业名称操作列中的启动。
选择无状态启动后,单击启动。当您看到作业状态变为运行中,则代表作业运行正常。作业启动参数配置详情请参见作业启动。
在作业运维详情页面,查看Flink计算结果。
在作业运维页面,单击目标作业名称。
在作业探查页签,单击运行Task Managers页签下的Path, ID。
单击日志,在页面搜索PrintSinkOutputWriter相关的日志信息。
(可选)步骤八:停止作业
如果您对作业进行了修改(例如更改SQL代码、增删改WITH参数、更改作业版本等),且希望修改生效,则需要重新部署作业,然后停止再启动。另外,如果作业无法复用State,希望作业全新启动时,也需要停止后再启动作业。作业停止详情请参见作业停止。