使用DataWorks独享资源组能够例行调度任务,提升数据处理效率和安全性,便于资源管理和团队协作。本文介绍如何使用DataWorks独享资源组安装FeatureStore Python SDK。
前提条件
安装方式 | 前提条件 |
|
操作步骤
方式一:使用新版独享资源组(推荐)
登录DataWorks控制台,新增独享资源组。
其中,关键参数配置如下,具体操作,请参见新增Serverless资源组。
参数
描述
专有网络(VPC)
选择已创建的专有网络VPC。
交换机(V-Switch)
选择已创建的交换机。
登录NAT网关管理控制台,创建NAT网关。
其中,关键参数配置如下,具体操作,请参见使用公网NAT网关SNAT功能访问互联网。
参数
描述
所属专有网络
选择已创建的专有网络VPC。
关联交换机
选择已创建的交换机。
弹性公网IP实例
选择已创建的弹性公网IP实例。
登录DataWorks控制台,配置自定义镜像。
创建自定义镜像
其中,关键参数配置如下,具体操作,请参见创建自定义镜像。
参数
描述
镜像命名空间
选择DataWorks Default。
镜像名称/ID
选择dataworks_pyodps_task_pod。
支持任务类型
选择PyODPS 3。
安装包
选择Script,并填入以下代码:
/home/tops/bin/pip3 install https://feature-store-py.oss-cn-beijing.aliyuncs.com/package/feature_store_py-1.8.0-py3-none-any.whl
其中,工作空间选择已创建的PAI(DataWorks)工作空间。
使用独享资源组和已创建的自定义镜像运行任务。
具体操作,请参见使用镜像。
方式二:使用旧版独享调度资源组
登录DataWorks控制台。
在左侧导航栏单击资源组列表。
在独享资源组页签中,找到用途为数据调度的目标资源组,单击图标,选择运维助手。
单击创建命令,在弹出的页面中配置命令参数。
参数
取值建议
命令名称
可自定义名称。本文以install为例进行说明。
命令类型
手动输入(无法使用pip命令安装第三方包)
命令内容
/home/tops/bin/pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple https://feature-store-py.oss-cn-beijing.aliyuncs.com/package/feature_store_py-1.3.1-py3-none-any.whl
超时时间
可自定义时间。
单击创建,完成命令创建。
单击运行命令,在弹出的页面中单击运行。
可单击刷新查看最新执行状态,待状态为成功时,即表示完成安装。