Flink全托管支持通过JAR代码编辑和运行作业。本文带您快速体验Flink全托管产品的开通、JAR流作业和批作业的创建和上线运行等操作。

前提条件

  • 已准备阿里云账号及账户余额。
    • 账号注册操作步骤,请参见账号注册
    • 阿里云账户余额不少于100.00元人民币或等值的代金券或优惠券。
  • 已完成角色授权,详情请参见阿里云账号角色授权
  • 已在本地准备好了测试JAR包和输入数据文件。

操作流程

  1. 步骤一:创建Flink全托管工作空间
    开通一个北京地域按量付费的Flink全托管工作空间。
  2. 步骤二:创建JAR作业,并配置作业信息
    Flink全托管支持创建JAR流作业和批作业。您可以根据需要,在作业开发页面创建对应的作业。
  3. 步骤三:启动作业后,查看Flink计算结果
    在作业运维页面,启动作业后,查看Flink计算结果。

步骤一:创建Flink全托管工作空间

  1. 登录实时计算控制台
  2. 单击Flink全托管下的购买产品
  3. 在购买页面,填写配置信息。
    开通
    类别配置项示例说明
    基本配置付费模式按量付费支持包年包月按量付费模式。
    地域北京支持华南1(深圳)华北2(北京)华东2(上海)华北1(杭州)新加坡
    说明 建议选择与上下游存储相同的地域
    可用区可用区F建议选择与上下游存储相同的可用区
    网络配置SLB服务-系统已默认选中并开通了SLB服务。
    专有网络flink-test-vpc选择对应地域下的专有网络。
    说明 如果目标上下游存储在专有网络下,则Flink全托管工作空间必须和目标上下游存储在同一个专有网络下。
    虚拟交换机flinktest-vsw-2ze4fyq366itq6xqp****每个Flink作业的Task Manager和Job Manager实例都会占用一个 IP, 您可以选择1~5个虚拟交换机,根据Flink作业规模,合理规划网段。
    说明 Flink控制台上只显示指定专有网络下,与阿里云Flink全托管工作空间在同一可用区下的虚拟交换机。如果页面中没有可供选择的虚拟交换机,则您需要确认工作空间所选的可用区是否有误,或者是否在该可用区下已经创建了虚拟交换机。
    工作空间配置工作空间名称flink-test以字母开头,仅包含英文字母、数字、中划线(-),长度限制为1~60个字符。
    存储配置OSS存储flink-test-oss用于存储作业的Checkpoint、日志和JAR包等信息。Flink全托管服务会在您选择的Bucket下创建以下目录来保存不同类型的数据:
    • artifacts:上传的JAR包会被存储到该目录。
    • flink-jobs:Flink作业的HA信息和Checkpoint会被存储到该目录。
    • flink-savepoints:在Flink全托管开发控制台上单击Savepoint,会触发Savepoint操作,最终的Savepoint文件会被存储到该目录。
    • logs:如果您的作业中日志模板选择了OSS,则您的作业的日志会被存储到该目录。
    • sql-artifacts:注册自定义函数和Connector所依赖的文件会被存储到该目录。
    • plan:使用专家模式,配置的资源信息会被存储到该目录。
    • flink-sessionclusters:Session集群的HA信息和Checkpoint信息会被存储到该目录。
    说明
    • Flink全托管服务开通成功后,不可修改OSS存储
    • OSS存储需要与Flink全托管服务在同一地域。
    • 选择Bucket时,请参见注意事项
    监控配置监控服务-系统已默认选中并开通了Prometheus服务。
  4. 单击确认订单并支付,即可开通成功。
    说明 支付完成后,单击管理控制台,即可在Flink全托管页签,看到正在创建的工作空间。通常,支付完成后5~10分钟即可完成工作空间的创建。

步骤二:创建JAR作业,并配置作业信息

流作业

  1. 创建JAR流作业。
    1. 在左侧导航栏,单击作业开发
    2. 单击新建
    3. 新建文件对话框,填写作业配置信息。
      作业参数示例说明
      文件名称flink-streaming-test-jar作业的名称。
      说明 作业名称在当前项目中必须保持唯一。
      文件类型流作业/JAR流作业和批作业均支持以下文件类型:
      • SQL
      • JAR
      • PYTHON
      部署目标vvp-workload选择作业需要部署的集群名称。Flink全托管支持Per-Job集群和Session集群两种集群模式。两种集群模式的区别说明,请参见配置开发测试环境(Session集群)
      存储位置作业开发指定该作业的代码文件所属的文件夹。默认存放在作业开发目录。

      您还可以在现有文件夹右侧,单击新建文件夹图标,新建子文件夹。

    4. 单击确认
  2. 在作业开发页面,填写基本配置信息。
    您可以直接填写以下配置信息,也可以单击YAML直接修改配置信息。配置参数解释如下表所示。
    参数示例说明
    部署目标vvp-workload您可以修改创建作业时已选择的部署目标。
    JAR URIoss://flink-test-oss/artifacts/namespaces/flink-test-default/FlinkQuickStart-1.0-SNAPSHOT.jar单击FlinkQuickStart-1.0-SNAPSHOT.jar下载测试JAR包后,再单击右侧上传图标选择文件,上传JAR包。
    Entry Point Classorg.example.WordCountStreaming程序的入口类。如果您的JAR包未指定主类,请在此处输入您的Entrypoint Class类的标准路径。
    说明 因为本文提供的测试JAR包中既包含了流作业代码,又包含批作业代码。所以,此处需要指定为流作业的程序入口。
    Entry Point Main Arguments--input oss://flink-test-oss/artifacts/namespaces/flink-test-default/Shakespeare填写输入数据文件的OSS路径。
    说明
    • 本文输入数据文件和测试JAR包存放路径一致。统一放在OSS控制台,名称为flink-test-oss的Bucket下。
    • 单击Shakespeare,下载输入数据文件Shakespeare。您还需要在开发控制台左侧资源上传页面,将Shakespeare输入数据文件上传到OSS的指定目录。上传的文件会固定被保存在oss://flink-test-oss/artifacts/namespaces/flink-test-default目录下。
    附加依赖文件无需填写填写目标附加依赖文件的OSS路径或者URL。
  3. 单击上线
  4. 单击确认

批作业

  1. 创建JAR批作业。
    1. 在左侧导航栏,单击作业开发
    2. 单击新建
    3. 新建文件对话框,填写作业配置信息。
      作业参数示例说明
      文件名称flink-batch-test-jar作业的名称。
      说明 作业名称在当前项目中必须保持唯一。
      文件类型批作业/JAR流作业和批作业均支持以下文件类型:
      • SQL
      • JAR
      • PYTHON
      部署目标vvp-workload选择作业需要部署的集群名称。Flink全托管支持Per-Job集群和Session集群两种集群模式。两种集群模式的区别说明,请参见配置开发测试环境(Session集群)
      存储位置作业开发指定该作业的代码文件所属的文件夹。默认存放在作业开发目录。

      您还可以在现有文件夹右侧,单击新建文件夹图标,新建子文件夹。

    4. 单击确认
  2. 在作业开发页面,填写基本配置信息。
    您可以直接填写以下配置信息,也可以单击YAML直接修改配置信息。配置参数解释如下表所示。
    参数示例说明
    部署目标vvp-workload您可以修改创建作业时已选择的部署目标。
    JAR URIoss://flink-test-oss/artifacts/namespaces/flink-test-default/FlinkQuickStart-1.0-SNAPSHOT.jar单击FlinkQuickStart-1.0-SNAPSHOT.jar下载测试JAR包后,再单击右侧上传图标选择文件,上传JAR包。
    Entry Point Classorg.example.WordCountBatch程序的入口类。如果您的JAR包未指定主类,请在此处输入您的Entrypoint Class类的标准路径。
    说明 因为本文提供的测试JAR包中既包含了流作业代码,又包含批作业代码。所以,此处需要指定为批作业的程序入口。
    Entry Point Main Arguments--input oss://flink-test-oss/artifacts/namespaces/flink-test-default/Shakespeare --output oss://flink-test-oss/artifacts/namespaces/flink-test-default/batch-quickstart-test-output.txt 填写输入数据文件和结果数据输出文件路径。
    说明
    • 本示例中输入数据文件、输出文件和测试JAR包存放路径一致。统一放在OSS控制台,名称为flink-test-oss的Bucket下。
    • 本示例中,我们以将计算结果写入到OSS指定目录为例,为您展示如何配置该参数。在此您仅需要指定结果数据输出文件路径和名称,无需提前在指定目录创建。
    • 单击Shakespeare,下载输入数据文件Shakespeare。您还需要在开发控制台左侧资源上传页面,将Shakespeare输入数据文件上传到OSS的指定目录。上传的文件会固定被保存在oss://flink-test-oss/artifacts/namespaces/flink-test-default目录下。
    附加依赖文件无需填写填写目标附加依赖文件的OSS路径或者URL。
  3. 单击上线
  4. 单击确认

步骤三:启动作业后,查看Flink计算结果

  1. 在左侧导航栏,单击作业运维
  2. 单击目标作业名称操作列中的启动
  3. 配置资源信息和基础设置。
    详情请参见作业启动
  4. 单击启动
    单击启动后,您可以看到作业状态变为运行中,则代表作业运行正常。
    重要 如果您需要启动批作业,则需要在作业运维页面,将作业类型切换为批作业,才可以看到您上线的批作业。系统默认展示的作业为流作业
  5. 查看Flink计算结果。
    • 流作业示例的计算结果:在TaskManager中以.out结尾的日志文件中,搜索shakespeare查看Flink计算结果。流结果
    • 批作业示例的计算结果:登录OSS管理控制台,在您配置的数据输出文件存放目录查看结果。
      本示例中的数据输出文件目录为oss://flink-test-oss/artifacts/namespaces/flink-test-default/batch-quickstart-test-output.txt批作业结果

相关文档