开通Flink全托管
本文为您介绍通过阿里云账号开通Flink全托管的操作步骤,以及开通过程中的注意事项。
前提条件
已拥有阿里云账号。如果您还没有阿里云账号,请先完成注册,详情请参见阿里云账号注册流程。
已开通OSS和VPC:
Flink全托管产品采用存储计算分离架构,需要使用对象存储OSS存储您上传的JAR包、Flink作业的日志、Flink作业中生成的Savepoint或Checkpoint等信息。如果您还没有开通OSS,请先完成开通,详情请参见开通OSS服务。
您还需要开通VPC,详情请参见创建专有网络和交换机。
开通Flink全托管服务前,请确保您的阿里云账户余额不少于100.00元人民币或等值的代金券或优惠券。
注意事项
当您需要一次开通的资源数大于1000 CU时,请通过工单进行开通。
开通Flink全托管的过程中会自动开通SLB和ARMS,涉及到的云产品收费标准,详情请参见计费项。
选择OSS Bucket时,不要对选择的OSS做任何策略设置,例如版本控制、合规保留等。此外,OSS选择后不可更换。
如果您的Bucket开通了版本控制功能,过多的删除标记会导致List慢等问题。因此,如果您开通了版本控制功能,则需要配置生命周期规则,来定期清理删除标记和不必要的历史版本,从而减少存储成本并提升OSS性能。清理删除标记的操作详情,请参见使用生命周期管理文件版本。
警告在您的OSS Bucket未开启版本控制功能时,如果您需要设置生命周期规则,请勿对Flink的相关目录(包括artifacts、flink-jobs、flink-savepoints、sql-artifacts、plan和flink-sessionclusters等。)设置清除策略。因为设置清除策略可能会把Flink相关文件清理掉,导致Flink作业运行异常。
开通Flink全托管自动创建的SLB是被托管实例,不允许删除或修改SLB配合用于其他服务,例如将SLB用于容器服务。此外,您还需要保证该SLB服务不欠费,否则可能会因为SLB欠费被释放,导致Flink全托管服务不可用。SLB欠费详情请参见欠费说明。
开通流程
登录实时计算控制台。
单击Flink全托管旁的立即购买。
在购买页面,填写配置信息。
类别
配置项
说明
示例
基本配置
付费模式
支持包年包月和按量付费模式。
按量付费
购买时长
仅包年包月需要选择。请选择你所需要购买的时长。
-
自动续费
仅包年包月需要选择。开启自动续费功能后,后续您可以在阿里云控制台上方 中修改续费策略。
-
地域
包年包月模式支持:华北2(北京)、华东2(上海)、华东1(杭州)、华南1(深圳)、华北3(张家口)、日本(东京)、中国(香港)、新加坡、德国(法兰克福)、印度尼西亚(雅加达)、英国(伦敦)、美国(硅谷)和马来西亚(吉隆坡)。
按量付费模式支持:华南1(深圳)、华北2(北京)、华东2(上海)、华东1(杭州)、新加坡、英国(伦敦)、美国(硅谷)、华北3(张家口)、印度尼西亚(雅加达)、德国(法兰克福)、中国(香港)、日本(东京)和马来西亚(吉隆坡)。
说明建议选择与上下游存储相同的地域。
北京
可用区
建议选择与上下游存储相同的可用区。
可用区F
网络配置
SLB服务
SLB是用户通过浏览器访问Flink产品控制台的必要网络连接组件。在您开通Flink全托管服务后,会自动开通SLB服务。单击创建Flink全托管集群后,在控制台初始化阶段就会拉起SLB,SLB就开始收费。
-
专有网络
选择对应地域下的专有网络。
说明如果目标上下游存储在专有网络下,则Flink全托管工作空间必须和目标上下游存储在同一个专有网络下。
flink-test-vpc
虚拟交换机
每个Flink作业的Task Manager和Job Manager实例都会占用一个IP,您可以选择1~5个虚拟交换机,根据Flink作业规模,合理规划网段。
说明Flink控制台上只显示指定专有网络下,与阿里云Flink全托管工作空间在同一可用区下的虚拟交换机。如果页面中没有可供选择的虚拟交换机,则您需要确认工作空间所选的可用区是否有误,或者是否在该可用区下已经创建了虚拟交换机。
flinktest-vsw-2ze4fyq366itq6xqp****
工作空间配置
工作空间名称
以字母开头,仅包含英文字母、数字、中划线(-),长度限制为1~60个字符。
说明同一个阿里云账号下的工作空间名称是唯一的,请勿填写已有的名称,否则会提示您重新填写。
Flink全托管服务开通成功后,不可修改工作空间名称。
flink-test
计算资源配额
仅包年包月模式需要填写,将按照此配额进行计费。
-
存储配置
OSS存储
OSS用于存储作业系统检查点、作业快照、日志和JAR包等信息。Flink全托管服务会在您选择的Bucket下创建以下目录来保存不同类型的数据:
artifacts:上传的JAR包会被存储到该目录。
flink-jobs:Flink作业的HA信息和Checkpoint会被存储到该目录。
flink-savepoints:在Flink全托管开发控制台上单击Savepoint,会触发Savepoint操作,最终的Savepoint文件会被存储到该目录。
logs:如果您的作业中日志模板选择了OSS,则您的作业的日志会被存储到该目录。
sql-artifacts:注册自定义函数和Connector所依赖的文件会被存储到该目录。
plan:使用专家模式,配置的资源信息会被存储到该目录。
flink-sessionclusters:Session集群的HA信息和Checkpoint信息会被存储到该目录。
说明Flink全托管服务开通成功后,不可修改OSS存储。
OSS存储需要与Flink全托管服务在同一地域。
选择Bucket时,请参见注意事项。
flink-test-oss
监控服务
监控服务
在您开通Flink全托管服务后,会自动开通ARMS服务,为您提供商业版Prometheus监控能力。关于Prometheus监控服务的计费信息,详情请参见按量计费。
-
单击确认订单并支付,即可开通成功。
支付完成后,单击管理控制台,即可在Flink全托管页签,看到正在创建的工作空间。通常,支付完成后5~10分钟即可创建完成工作空间。
开通完成后,您可以根据需要进行相关操作。
功能
操作入口
作业开发和运维
在Flink全托管开发控制台,您可以进行作业开发和运维工作。
在Flink全托管页签,单击目标工作空间操作列下的控制台,即可进入开发控制台。
订单续费
在实时计算控制台上,您可以在包年包月类型的工作空间到期前进行续费,延长对应工作空间的使用时间。详情请参见续费说明。
资源变配
在实时计算控制台上,您可以对工作空间和项目空间资源进行变配,操作详情请参见资源变配。
修改虚拟交换机
在实时计算控制台上,您可以修改虚拟交换机,解决虚拟交换机IP不足带来的作业启动失败的问题。详情请参见修改虚拟交换机。
释放资源
在实时计算控制台上,您可以在Flink全托管页签,单击目标工作空间的更多>释放资源,释放按量付费的资源,释放后将不再进行计费。
转化计费方式
查看工作空间详情
在实时计算控制台上,您可以在Flink全托管页签,单击目标工作空间的更多>工作空间详情,查看空间名称、工作空间ID、OSS Bucket、SLB IP、专有网络名称和ID、虚拟交换机等信息。
添加项目空间
在实时计算控制台上,您可以添加项目空间,详情请参见创建与管理项目空间。
工作空间创建后默认生成一个名称为工作空间名称-default项目空间。