Flink全托管支持通过JAR代码编辑和运行作业。本文带您快速体验Flink全托管产品的开通、JAR流作业和批作业的创建和上线运行等操作。

前提条件

  • 已准备阿里云账号及账户余额。
    • 账号注册操作步骤，请参见账号注册。
    • 阿里云账户余额不少于100.00元人民币或等值的代金券或优惠券。
  • 已完成角色授权，详情请参见角色授权。
  • 已在本地准备好了测试JAR包和输入数据文件。

操作流程

  1. 步骤一：创建Flink全托管实例
    开通一个北京地域按量付费的Flink全托管实例。
  2. 步骤二：创建JAR作业，并配置作业信息
    Flink全托管支持创建JAR流作业和批作业。您可以根据需要，在作业开发页面创建对应的作业。
  3. 步骤三：启动作业后，查看Flink计算结果
    在作业运维页面，启动作业后，查看Flink计算结果。

步骤一：创建Flink全托管实例

  1. 登录实时计算管理控制台。
  2. 单击Flink全托管下的购买产品。
  3. 在购买页面，填写配置信息。
    开通
    类别 配置项 示例 说明
    基本配置 付费模式 按量付费 支持包年包月和按量付费模式。
    地域 北京 支持华北2（北京）、华东2（上海）、华北1（杭州）和华南1（深圳）。
    说明 建议选择与上下游存储相同的地域。
    可用区 可用区F 建议选择与上下游存储相同的可用区。
    网络配置 SLB服务 - 系统已默认选中并开通了SLB服务。
    专有网络 flink-test-vpc 建议选择与上下游存储相同的专有网络。
    虚拟交换机 flinktest-vsw-2ze4fyq366itq6xqp**** 每个Flink作业的Task Manager和Job Manager实例都会占用一个 IP， 您可以选择1~5个虚拟交换机，根据Flink作业规模，合理规划网段。
    工作空间配置 工作空间名称 flink-test 以字母开头，仅包含英文字母、数字、中划线（-），长度限制为1~60个字符。
    存储配置 OSS存储 flink-test-oss 用于存储作业的Checkpoint、日志和JAR包等信息。Flink全托管服务会在您选择的Bucket下创建以下目录来保存不同类型的数据：
    • artifacts：上传的JAR包会被存储到该目录。
    • flink-jobs：Flink作业的HA信息和Checkpoint会被存储到该目录。
    • flink-savepoints：在Flink全托管开发控制台上单击Savepoint，会触发Savepoint操作，最终的Savepoint文件会被存储到该目录。
    • logs：如果您的作业中日志模板选择了OSS，则您的作业的日志会被存储到该目录。
    • sql-artifacts：注册自定义函数和Connector所依赖的文件会被存储到该目录。
    • plan：使用专家模式，配置的资源信息会被存储到该目录。
    • flink-sessionclusters：Session集群的HA信息和Checkpoint信息会被存储到该目录。
    说明
    • Flink全托管服务开通成功后，不可修改OSS存储。
    • OSS存储需要与Flink全托管服务在同一地域。
    • 选择Bucket时，请参见注意事项。
    监控配置 监控服务 - 系统已默认选中并开通了Prometheus服务。
  4. 单击确认订单并支付，即可开通成功。
    说明 支付完成后，单击管理控制台，即可在Flink全托管页签，看到正在创建的工作空间。通常，支付完成后5~10分钟即可完成工作空间的创建。

步骤二：创建JAR作业，并配置作业信息

流作业

  1. 创建JAR流作业。
    1. 在左侧导航栏，单击作业开发。
    2. 单击新建。
    3. 在新建文件对话框，填写作业配置信息。
      作业参数 示例 说明
      文件名称 flink-streaming-test-jar 作业的名称。
      说明 作业名称在当前项目中必须保持唯一。
      文件类型 流作业/JAR 流作业和批作业均支持以下文件类型：
      • SQL
      • JAR
      • PYTHON
      部署目标 vvp-workload 选择作业需要部署的集群名称。Flink全托管支持Per-Job集群和Session集群两种集群模式。两种集群模式的区别说明，请参见配置Session集群。
      存储位置 作业开发 指定该作业的代码文件所属的文件夹。默认存放在作业开发目录。

      您还可以在现有文件夹右侧，单击新建文件夹图标，新建子文件夹。

    4. 单击确认。
  2. 在作业开发页面，填写基本配置信息。
    您可以直接填写以下配置信息，也可以单击YAML直接修改配置信息。配置参数解释如下表所示。
    参数 示例 说明
    部署目标 vvp-workload 您可以修改创建作业时已选择的部署目标。
    JAR URI oss://flink-test-oss/artifacts/namespaces/flink-test-default/FlinkQuickStart-1.0-SNAPSHOT.jar 单击FlinkQuickStart-1.0-SNAPSHOT.jar下载测试JAR包后，再单击右侧上传图标选择文件，上传JAR包。
    Entrypoint Class org.example.WordCountStreaming 程序的入口类。如果您的JAR包未指定主类，请在此处输入您的Entrypoint Class类的标准路径。
    说明 因为本文提供的测试JAR包中既包含了流作业代码，又包含批作业代码。所以，此处需要指定为流作业的程序入口。
    Entrypoint main args --input oss://flink-test-oss/artifacts/namespaces/flink-test-default/Shakespeare 填写输入数据文件的OSS路径。
    说明
    • 本文输入数据文件和测试JAR包存放路径一致。统一放在OSS控制台，名称为flink-test-oss的Bucket下。
    • 单击Shakespeare，下载输入数据文件Shakespeare。您还需要在开发控制台左侧资源上传页面，将Shakespeare输入数据文件上传到OSS的指定目录。上传的文件会固定被保存在oss://flink-test-oss/artifacts/namespaces/flink-test-default目录下。
    附加依赖文件 无需填写 填写目标附加依赖文件的OSS路径或者URL。
    并行度 1 作业并发数。
  3. 单击上线。
  4. 单击确认。

批作业

  1. 创建JAR批作业。
    1. 在左侧导航栏，单击作业开发。
    2. 单击新建。
    3. 在新建文件对话框，填写作业配置信息。
      作业参数 示例 说明
      文件名称 flink-batch-test-jar 作业的名称。
      说明 作业名称在当前项目中必须保持唯一。
      文件类型 批作业/JAR 流作业和批作业均支持以下文件类型：
      • SQL
      • JAR
      • PYTHON
      部署目标 vvp-workload 选择作业需要部署的集群名称。Flink全托管支持Per-Job集群和Session集群两种集群模式。两种集群模式的区别说明，请参见配置Session集群。
      存储位置 作业开发 指定该作业的代码文件所属的文件夹。默认存放在作业开发目录。

      您还可以在现有文件夹右侧，单击新建文件夹图标，新建子文件夹。

    4. 单击确认。
  2. 在作业开发页面，填写基本配置信息。
    您可以直接填写以下配置信息，也可以单击YAML直接修改配置信息。配置参数解释如下表所示。
    参数 示例 说明
    部署目标 vvp-workload 您可以修改创建作业时已选择的部署目标。
    JAR URI oss://flink-test-oss/artifacts/namespaces/flink-test-default/FlinkQuickStart-1.0-SNAPSHOT.jar 单击FlinkQuickStart-1.0-SNAPSHOT.jar下载测试JAR包后，再单击右侧上传图标选择文件，上传JAR包。
    Entrypoint Class org.example.WordCountBatch 程序的入口类。如果您的JAR包未指定主类，请在此处输入您的Entrypoint Class类的标准路径。
    说明 因为本文提供的测试JAR包中既包含了流作业代码，又包含批作业代码。所以，此处需要指定为批作业的程序入口。
    Entrypoint main args --input oss://flink-test-oss/artifacts/namespaces/flink-test-default/Shakespeare --output oss://flink-test-oss/artifacts/namespaces/flink-test-default/batch-quickstart-test-output.txt 填写输入数据文件和结果数据输出文件路径。
    说明
    • 本示例中输入数据文件、输出文件和测试JAR包存放路径一致。统一放在OSS控制台，名称为flink-test-oss的Bucket下。
    • 本示例中，我们以将计算结果写入到OSS指定目录为例，为您展示如何配置该参数。在此您仅需要指定结果数据输出文件路径和名称，无需提前在指定目录创建。
    • 单击Shakespeare，下载输入数据文件Shakespeare。您还需要在开发控制台左侧资源上传页面，将Shakespeare输入数据文件上传到OSS的指定目录。上传的文件会固定被保存在oss://flink-test-oss/artifacts/namespaces/flink-test-default目录下。
    附加依赖文件 无需填写 填写目标附加依赖文件的OSS路径或者URL。
    并行度 1 作业并发数。
  3. 单击上线。
  4. 单击确认。

步骤三：启动作业后，查看Flink计算结果

  1. 在左侧导航栏，单击作业运维。
  2. 单击目标作业名称操作列中的启动。
  3. 单击确认启动。
    单击启动后，您可以看到作业从当前状态到期望状态的变化过程及最终结果。直到状态变为RUNNING，则代表作业运行正常。状态变化
    注意 如果您需要启动批作业，则需要在作业运维页面，将作业类型切换为批作业，才可以看到您上线的批作业。系统默认展示的作业为流作业。
  4. 查看Flink计算结果。
    • 流作业示例的计算结果：在作业运维页面，单击作业名称，在TaskManager页签的日志中查看Flink计算结果。流结果
    • 批作业示例的计算结果：登录OSS管理控制台，在您配置的数据输出文件存放目录查看结果。
      本示例中的数据输出文件目录为oss://flink-test-oss/artifacts/namespaces/flink-test-default/batch-quickstart-test-output.txt。批作业结果

相关文档