文档

开通实时计算Flink版

更新时间:
重要

本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必仔细阅读。

使用实时计算Flink版需要开通工作空间,每个工作空间的计算资源隔离,开发控制台相互独立。本文为您介绍开通Flink工作空间的操作步骤,以及开通过程中的注意事项。

前提条件

已拥有阿里云账号。如果您还没有阿里云账号,请先完成注册,详情请参见账号注册(PC端)

如果您使用RAM用户、角色等身份访问,则需要具有实时计算控制台相关权限,详情请参见权限管理

注意事项

  • 实时计算Flink版采用存储计算分离架构,使用对象存储OSS存储作业系统检查点、作业快照、日志和JAR包等信息。如果您还没有开通OSS,可以参见开通OSS服务进行开通。

    • OSS存储需要与该Flink工作空间在同一地域,且为标准存储类型。

    • 选择OSS Bucket时,不要对选择的OSS做任何策略设置,例如版本控制、合规保留等。

      如果您的Bucket开通了版本控制功能,过多的删除标记会导致List慢等问题。因此,如果您开通了版本控制功能,则需要配置生命周期规则,来定期清理删除标记和不必要的历史版本,从而减少存储成本并提升OSS性能。清理删除标记的操作详情,请参见使用最后一次修改时间的生命周期规则结合版本控制降低存储成本

      警告

      在您的OSS Bucket未开启版本控制功能时,如果您需要设置生命周期规则,请勿对Flink的相关目录(包括artifacts、flink-jobs、flink-savepoints、sql-artifacts、plan和flink-sessionclusters等)设置清除策略。因为设置清除策略可能会把Flink相关文件清理掉,导致Flink作业运行异常。

    • 为实现Flink工作空间的同城高可用性,必须确保所选的OSS  Bucket为同城冗余存储类型。如果该OSS Bucket未配置为同城冗余存储类型,在某个可用区不可用时,状态数据将无法被正常访问,导致Flink无法保证作业有状态启动。OSS类型配置方法请参见转换Bucket的存储冗余类型

      说明

      如果您的OSS容量使用较高,担心转换存储类型会造成额外成本,可以考虑另外创建一个实时计算Flink版工作空间,并与一个独立的同城冗余存储类型OSS Bucket相关联,以此构建独立的高可用架构。OSS存储费用详情请参见存储费用

  • 创建Flink工作空间涉及其他云产品,包括VPC、OSS以及监控服务相关云产品,收费详情请参见计费项

开通流程

说明

当您需要一次开通的资源数大于1000 CU时,请通过工单进行开通。

  1. 登录实时计算控制台

  2. 单击Flink全托管旁的立即购买

  3. 首次购买时,需要您授予Flink访问相应云资源的权限。

    单击前往RAM进行授权后,在云资源访问授权页面,单击同意授权。完成自动化授权,即可具有访问相应云产品资源的权限。

  4. 在购买页面,填写配置信息。

    image

    类别

    配置项

    说明

    示例

    基本配置

    付费模式

    支持包年包月按量付费模式。计费详情请参见计费项

    按量付费

    购买时长

    包年包月需要选择。

    请选择您所需要购买的时长。

    -

    自动续费

    包年包月需要选择。

    开启自动续费功能后,后续您可以在阿里云控制台上方费用 > 续费管理中修改续费策略。

    -

    处理器架构

    包年包月需要选择。

    提供Intel X86和倚天ARM两大主流CPU架构,满足您对于不同架构的需求。

    说明

    目前仅包年包月付费模式下的华北6(乌兰察布)、华北2(北京)和华东1(杭州)地域支持倚天ARM架构,具体请以控制台购买页显示为准。

    Intel X86架构

    地域

    建议选择与上下游存储相同的地域

    重要

    张家口地域暂不支持新购。

    北京

    网络配置

    专有网络

    选择对应地域下的专有网络。创建转专有网络请参见创建专有网络和交换机

    • 如果目标上下游存储在专有网络下,则Flink工作空间必须和目标上下游存储在同一个专有网络下。

    • 仅支持192.168.0.0/16、172.16.0.0/12、10.0.0.0/8三个RFC标准私网网段及其子网。

    flink-test-vpc

    CU信息

    配置CU类型(单可用区和跨可用区)和对应的计算资源配额。选中启动跨可用区后,您需要配置对应的资源配额数。

    说明

    仅包年包月类型的Intel X86架构处理器支持配置跨可用区。关于同城高可用功能详情请参见同城高可用

    单可用区

    可用区

    选择可用区信息。如果您启用了跨可用区后,需要分别选择对应的主可用区和备可用区。

    可用区G

    虚拟交换机

    如果您启用了跨可用区后,需要为主备可用区选择对应的虚拟交换机。

    每个Flink作业的Task Manager和Job Manager实例都会占用一个IP,您可以选择1~5个虚拟交换机,根据Flink作业规模,合理规划网段。

    说明

    Flink控制台上只显示指定专有网络和指定可用区下的虚拟交换机。如果没有可供选择的虚拟交换机,您可以创建交换机

    flinktest-vsw-2ze4fyq366itq6xqp****

    工作空间配置

    工作空间名称

    以小写英文字母开头,包含小写字母、数字、中划线(-),且不能用中划线结尾,长度限制为1~60个字符。

    重要

    开通成功后,不可修改工作空间名称

    flink-test

    计算资源配额

    包年包月模式需要填写,将按照此配额进行计费。

    -

    配额上限

    按量付费模式需要填写,默认值为1000 CU,您可以进行修改,最大值为9999999。

    存储配置

    OSS存储

    用于存储作业系统检查点、作业快照、日志和JAR包等信息。Flink会在您选择的Bucket下创建以下目录来保存不同类型的数据,默认保存时间为7天。

    • artifacts:上传的JAR包会被存储到该目录。

    • flink-jobs:Flink作业的HA信息和系统检查点信息会被存储到该目录。

    • flink-savepoints:在Flink开发控制台上单击创建快照,最终的快照文件会被存储到该目录。

    • logs:如果您的作业中日志模板选择了OSS,则您的作业的日志会被存储到该目录。

    • sql-artifacts:注册自定义函数和连接器所依赖的文件会被存储到该目录。

    • plan:使用专家模式时,配置的资源信息会被存储到该目录。

    • flink-sessionclusters:Session集群的HA信息和系统检查点信息会被存储到该目录。

    重要
    • Flink工作空间创建成功后,不可修改OSS存储

    • 选择Bucket时,请务必参见注意事项

    flink-test-oss

    监控服务

    监控服务

    您可以选择免费监控服务按量付费的Prometheus监控服务(功能差异请参见云监控与ARMS告警服务功能对比):

    • 免费监控服务:创建Flink工作空间后,会使用云监控为您提供基础监控告警能力。监控与告警管理免费(默认存储30天),仅短信和电话告警通知会产生费用,详情请参见免费额度按量计费

    • Prometheus监控服务:创建Flink工作空间后,会自动开通ARMS服务,为您提供商业版Prometheus监控能力和告警服务。计费详情请参见Prometheus计费说明告警计费说明

    免费监控服务

  5. 单击确认订单并支付,即可开通成功。

    支付完成后,单击管理控制台,即可看到正在创建的工作空间。通常,支付完成后5~10分钟即可创建完成工作空间。

  6. 开通完成后,您可以根据需要进行相关操作。

    功能

    操作入口

    查看工作空间详情

    在实时计算控制台上,单击目标工作空间的更多>工作空间详情,查看空间名称、工作空间ID、OSS Bucket、专有网络名称和ID、虚拟交换机等信息。

    基本概念

    您可以了解实时计算Flink版产品基本概念的层次结构,为后期作业开发、作业部署、作业运维和安全管理等操作提供思路。

    权限管理

    RAM用户、RAM角色等访问Flink控制台需要RAM权限(例如工作空间的查看、购买)和项目空间权限(例如作业开发、运维)。

    添加项目空间

    项目空间是管理Flink作业的基本单元,您的所有配置、作业和权限均在单个项目空间下进行。工作空间创建后默认生成一个名称为工作空间名称-default或工作空间名称-default-ha的项目空间,您可以创建多个项目空间,为每个项目空间分配单独的资源和权限,实现多租户通过项目空间进行资源和权限的完全隔离。

    作业开发运维管理

    单击目标工作空间操作列下的控制台,即可进入Flink开发控制台。您可以进行作业开发和运维工作。

    同时,本产品内置了丰富的上下游连接器,详情请参见支持的连接器

    资源调整

    您可以对工作空间和项目空间的资源进行调整。

    转换计费方式

    支持按量付费和包年包月计费模式的互转。

    修改虚拟交换机

    您可以修改虚拟交换机,解决虚拟交换机IP不足带来的作业启动失败的问题。

    释放资源

    您可以单击目标工作空间的更多>释放资源,释放后该Flink工作空间将不再进行计费,相关的ARMS会同步释放。

    说明

    账单流水数据相对于实际费用消耗可能会有延迟,详情请参见账单使用说明

  • 本页导读 (1)