本文为您介绍配置Airflow实例需要购买的资源,以及开通公网访问Airflow的操作步骤。
需要购买的资源及作用
OSS:存储Airflow的日志、依赖的Python库和任务输出的数据。
所有资源的所在地域必须与Airflow所在地域一致。
Airflow支持的地域,请参见支持的地域和可用区。
创建OSS
进入Bucket列表页面,然后单击创建Bucket。
在配置Bucket信息时,填入Bucket名称以及需要选择与其他实例一致的地域。
下拉至最后单击完成创建,按照页面指引完成创建流程。更多信息,请参见控制台快速入门。
在Bucket中创建用于存储Airflow数据的文件。
您无需手动将OSS录入到DMS中,DMS可自动从OSS控制台中获取实例信息。
给Airflow on DMS开通公网
若Airflow需要访问公网,则需完成VPC的公网访问配置。
获取工作空间的VPC ID
- 登录数据管理DMS 5.0。
进入工作空间页面。
DMS提供了两种进入工作空间的路径,您可根据需求选择。
路径一
单击控制台左上角的
图标,选择 。
说明若您使用的是非极简模式的控制台,请在顶部菜单栏中,选择
。路径二
重要此方式正在灰度内测中,仅部分用户支持。
单击页面左侧的数智工厂
图标,再单击工作空间。
说明若您使用的是非极简模式的控制台,请在顶部菜单栏中,选择
。单击目标工作空间名称。
单击左下角的设置
图标,选择空间管理,获取VPC ID。
为Airflow的VPC创建公网NAT网关
登录专有网络管理控制台。
找到并单击工作空间的VPC ID。
在资源管理页签下,将鼠标悬浮在公网NAT网关区域,单击立即创建。
在购买页填写所属专属网络、实例名称等配置信息,填写完成后,单击右下角的立即购买。
购买页部分参数说明如下:
参数
说明
所属地域
公网NAT网关所属地域需要与工作空间所属地域一致。
所属专有网络
需要与工作空间的VPC一致。
实例名称
设置公网NAT网关实例的名称。
弹性公网IP
若已有与工作空间所属地域一致的弹性公网IP,则选择已有。若没有弹性公网IP,则需要购买。
等待购买实例成功。
当出现恭喜,购买成功!的提示后,说明您创建成功。