使用DataWorks独享资源组安装FeatureStore Python SDK

使用DataWorks独享资源组能够例行调度任务,提升数据处理效率和安全性,便于资源管理和团队协作。本文介绍如何使用DataWorks独享资源组安装FeatureStore Python SDK。

前提条件

安装方式

前提条件

方式一:使用新版独享资源组(推荐)

  • 已创建PAI工作空间。具体操作,请参见创建工作空间

    说明

    由于PAIDataWorks的工作空间在底层是打通的,所以创建PAI空间后,在DataWorks也会自动生成一个同名的工作空间。

  • 已创建专有网络VPC和交换机。具体操作,请参见创建和管理专有网络

  • 已创建弹性公网IP(EIP)实例。具体操作,请参见申请EIP

方式二:使用旧版独享调度资源组

  • 已创建PAI工作空间。具体操作,请参见创建工作空间

    说明

    由于PAIDataWorks的工作空间在底层是打通的,所以创建PAI空间后,在DataWorks也会自动生成一个同名的工作空间。

操作步骤

方式一:使用新版独享资源组(推荐)

  1. 登录DataWorks控制台,新增独享资源组。

    其中,关键参数配置如下,具体操作,请参见新增Serverless资源组

    参数

    描述

    专有网络(VPC)

    选择已创建的专有网络VPC。

    交换机(V-Switch)

    选择已创建的交换机。

  2. 登录NAT网关管理控制台,创建NAT网关。

    其中,关键参数配置如下,具体操作,请参见使用公网NAT网关SNAT功能访问互联网

    参数

    描述

    所属专有网络

    选择已创建的专有网络VPC。

    关联交换机

    选择已创建的交换机。

    弹性公网IP实例

    选择已创建的弹性公网IP实例。

  3. 登录DataWorks控制台,配置自定义镜像。

    1. 创建自定义镜像

      其中,关键参数配置如下,具体操作,请参见创建自定义镜像

      参数

      描述

      镜像命名空间

      选择DataWorks Default

      镜像名称/ID

      选择dataworks_pyodps_task_pod

      支持任务类型

      选择PyODPS 3

      安装包

      选择Script,并填入以下代码:

      /home/tops/bin/pip3 install  https://feature-store-py.oss-cn-beijing.aliyuncs.com/package/feature_store_py-1.8.0-py3-none-any.whl
    2. 发布自定义镜像

    3. 修改镜像归属空间

      其中,工作空间选择已创建的PAI(DataWorks)工作空间。

  4. 使用独享资源组和已创建的自定义镜像运行任务。

    具体操作,请参见使用镜像

方式二:使用旧版独享调度资源组

  1. 登录DataWorks控制台

  2. 在左侧导航栏单击资源组

  3. 独享资源组页签中,找到用途数据调度的目标资源组,单击image图标,选择运维助手

  4. 单击创建命令,在弹出的页面中配置命令参数。

    参数

    取值建议

    命令名称

    可自定义名称。本文以install为例进行说明。

    命令类型

    手动输入(无法使用pip命令安装第三方包)

    命令内容

    /home/tops/bin/pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple https://feature-store-py.oss-cn-beijing.aliyuncs.com/package/feature_store_py-1.3.1-py3-none-any.whl

    超时时间

    可自定义时间。

  5. 单击创建,完成命令创建。

  6. 单击运行命令,在弹出的页面中单击运行

  7. 可单击刷新查看最新执行状态,待状态为成功时,即表示完成安装。

相关文档