Flink全托管支持通过JAR代码编辑和运行作业。本文带您快速体验Flink全托管产品的开通、JAR流作业和批作业的创建和上线运行等操作。
前提条件
- 已准备阿里云账号及账户余额。
- 账号注册操作步骤,请参见账号注册。
- 阿里云账户余额不少于100.00元人民币或等值的代金券或优惠券。
- 已完成角色授权,详情请参见阿里云账号角色授权。
- 已在本地准备好了测试JAR包和输入数据文件。
- 单击FlinkQuickStart-1.0-SNAPSHOT.jar,下载测试JAR包。说明 本文为您提供的是统计单词出现频率的测试JAR包。如果您有兴趣研究其源代码,请单击FlinkQuickStart.zip下载后进行编译。DataStream API开发的限制说明和开发方法详情请参见作业开发。
- 单击Shakespeare,下载输入数据文件Shakespeare。
- 单击FlinkQuickStart-1.0-SNAPSHOT.jar,下载测试JAR包。
操作流程
- 步骤一:创建Flink全托管工作空间开通一个北京地域按量付费的Flink全托管工作空间。
- 步骤二:创建JAR作业,并配置作业信息Flink全托管支持创建JAR流作业和批作业。您可以根据需要,在作业开发页面创建对应的作业。
- 步骤三:启动作业后,查看Flink计算结果在作业运维页面,启动作业后,查看Flink计算结果。
步骤一:创建Flink全托管工作空间
- 登录实时计算控制台。
- 单击Flink全托管下的购买产品。
- 在购买页面,填写配置信息。
类别 配置项 示例 说明 基本配置 付费模式 按量付费 支持包年包月和按量付费模式。 地域 北京 支持华南1(深圳)、华北2(北京)、华东2(上海)、华北1(杭州)和新加坡。 说明 建议选择与上下游存储相同的地域。可用区 可用区F 建议选择与上下游存储相同的可用区。 网络配置 SLB服务 - 系统已默认选中并开通了SLB服务。 专有网络 flink-test-vpc 选择对应地域下的专有网络。 说明 如果目标上下游存储在专有网络下,则Flink全托管工作空间必须和目标上下游存储在同一个专有网络下。虚拟交换机 flinktest-vsw-2ze4fyq366itq6xqp**** 每个Flink作业的Task Manager和Job Manager实例都会占用一个 IP, 您可以选择1~5个虚拟交换机,根据Flink作业规模,合理规划网段。 说明 Flink控制台上只显示指定专有网络下,与阿里云Flink全托管工作空间在同一可用区下的虚拟交换机。如果页面中没有可供选择的虚拟交换机,则您需要确认工作空间所选的可用区是否有误,或者是否在该可用区下已经创建了虚拟交换机。工作空间配置 工作空间名称 flink-test 以字母开头,仅包含英文字母、数字、中划线(-),长度限制为1~60个字符。 存储配置 OSS存储 flink-test-oss 用于存储作业的Checkpoint、日志和JAR包等信息。Flink全托管服务会在您选择的Bucket下创建以下目录来保存不同类型的数据: - artifacts:上传的JAR包会被存储到该目录。
- flink-jobs:Flink作业的HA信息和Checkpoint会被存储到该目录。
- flink-savepoints:在Flink全托管开发控制台上单击Savepoint,会触发Savepoint操作,最终的Savepoint文件会被存储到该目录。
- logs:如果您的作业中日志模板选择了OSS,则您的作业的日志会被存储到该目录。
- sql-artifacts:注册自定义函数和Connector所依赖的文件会被存储到该目录。
- plan:使用专家模式,配置的资源信息会被存储到该目录。
- flink-sessionclusters:Session集群的HA信息和Checkpoint信息会被存储到该目录。
说明- Flink全托管服务开通成功后,不可修改OSS存储。
- OSS存储需要与Flink全托管服务在同一地域。
- 选择Bucket时,请参见注意事项。
监控配置 监控服务 - 系统已默认选中并开通了Prometheus服务。 - 单击确认订单并支付,即可开通成功。说明 支付完成后,单击管理控制台,即可在Flink全托管页签,看到正在创建的工作空间。通常,支付完成后5~10分钟即可完成工作空间的创建。
步骤二:创建JAR作业,并配置作业信息
流作业
- 创建JAR流作业。
- 在作业开发页面,填写基本配置信息。您可以直接填写以下配置信息,也可以单击YAML直接修改配置信息。配置参数解释如下表所示。
参数 示例 说明 部署目标 vvp-workload 您可以修改创建作业时已选择的部署目标。 JAR URI oss://flink-test-oss/artifacts/namespaces/flink-test-default/FlinkQuickStart-1.0-SNAPSHOT.jar 单击FlinkQuickStart-1.0-SNAPSHOT.jar下载测试JAR包后,再单击右侧 图标选择文件,上传JAR包。
Entry Point Class org.example.WordCountStreaming 程序的入口类。如果您的JAR包未指定主类,请在此处输入您的Entrypoint Class类的标准路径。 说明 因为本文提供的测试JAR包中既包含了流作业代码,又包含批作业代码。所以,此处需要指定为流作业的程序入口。Entry Point Main Arguments --input oss://flink-test-oss/artifacts/namespaces/flink-test-default/Shakespeare 填写输入数据文件的OSS路径。 说明- 本文输入数据文件和测试JAR包存放路径一致。统一放在OSS控制台,名称为flink-test-oss的Bucket下。
- 单击Shakespeare,下载输入数据文件Shakespeare。您还需要在开发控制台左侧资源上传页面,将Shakespeare输入数据文件上传到OSS的指定目录。上传的文件会固定被保存在oss://flink-test-oss/artifacts/namespaces/flink-test-default目录下。
附加依赖文件 无需填写 填写目标附加依赖文件的OSS路径或者URL。 - 单击上线。
- 单击确认。
批作业
- 创建JAR批作业。
- 在作业开发页面,填写基本配置信息。您可以直接填写以下配置信息,也可以单击YAML直接修改配置信息。配置参数解释如下表所示。
参数 示例 说明 部署目标 vvp-workload 您可以修改创建作业时已选择的部署目标。 JAR URI oss://flink-test-oss/artifacts/namespaces/flink-test-default/FlinkQuickStart-1.0-SNAPSHOT.jar 单击FlinkQuickStart-1.0-SNAPSHOT.jar下载测试JAR包后,再单击右侧 图标选择文件,上传JAR包。
Entry Point Class org.example.WordCountBatch 程序的入口类。如果您的JAR包未指定主类,请在此处输入您的Entrypoint Class类的标准路径。 说明 因为本文提供的测试JAR包中既包含了流作业代码,又包含批作业代码。所以,此处需要指定为批作业的程序入口。Entry Point Main Arguments --input oss://flink-test-oss/artifacts/namespaces/flink-test-default/Shakespeare --output oss://flink-test-oss/artifacts/namespaces/flink-test-default/batch-quickstart-test-output.txt 填写输入数据文件和结果数据输出文件路径。 说明- 本示例中输入数据文件、输出文件和测试JAR包存放路径一致。统一放在OSS控制台,名称为flink-test-oss的Bucket下。
- 本示例中,我们以将计算结果写入到OSS指定目录为例,为您展示如何配置该参数。在此您仅需要指定结果数据输出文件路径和名称,无需提前在指定目录创建。
- 单击Shakespeare,下载输入数据文件Shakespeare。您还需要在开发控制台左侧资源上传页面,将Shakespeare输入数据文件上传到OSS的指定目录。上传的文件会固定被保存在oss://flink-test-oss/artifacts/namespaces/flink-test-default目录下。
附加依赖文件 无需填写 填写目标附加依赖文件的OSS路径或者URL。 - 单击上线。
- 单击确认。
步骤三:启动作业后,查看Flink计算结果
- 在左侧导航栏,单击作业运维。
- 单击目标作业名称操作列中的启动。
- 配置资源信息和基础设置。详情请参见作业启动。
- 单击启动。单击启动后,您可以看到作业状态变为运行中,则代表作业运行正常。重要 如果您需要启动批作业,则需要在作业运维页面,将作业类型切换为批作业,才可以看到您上线的批作业。系统默认展示的作业为流作业。
- 查看Flink计算结果。
- 流作业示例的计算结果:在TaskManager中以.out结尾的日志文件中,搜索shakespeare查看Flink计算结果。
- 批作业示例的计算结果:登录OSS管理控制台,在您配置的数据输出文件存放目录查看结果。本示例中的数据输出文件目录为oss://flink-test-oss/artifacts/namespaces/flink-test-default/batch-quickstart-test-output.txt。
- 流作业示例的计算结果:在TaskManager中以.out结尾的日志文件中,搜索shakespeare查看Flink计算结果。
相关文档
- 创建项目或对项目资源进行变配,请参见创建与管理项目空间。
- 调试作业提高作业Job Manager资源利用率,请参见配置开发测试环境(Session集群)。
- 开启自动调优功能,请参见配置自动调优。
- 配置监控告警,请参见配置监控告警(在Flink全托管控制台配置)。