个人开发环境

Data Studio个人开发环境是账号级云端开发实例,集成OSS/NAS存储、Git代码管理及Python/Notebook生态,支持本地脚本执行、在线调试与任务提交,通过灵活的自定义镜像和外部服务扩展能力,为数据处理、模型训练及协作开发提供高效、可定制的全流程支持,助力提升代码质量与研发效率。本文介绍个人开发环境的使用方法。

功能介绍

Data Studio支持创建账号级别的个人开发环境实例。在网络连通的情况下,您可以轻松访问NAS存储和Git仓库,克隆Git仓库中的代码,并进行在线开发和调试Python、Notebook代码。您还可以将代码提交到项目工作区以便调度。

个人开发环境实例:

  • 支持SQLAI NotebookPython生态,允许本地执行SQL语句、Python脚本、Shell命令和开发Notebook开发任务,并提供代码调试功能。

  • 支持安装扩展程序,进行相应任务开发(例如:DataWorks Agent任务开发)。

  • 支持集成Git代码管理,使您可以轻松地克隆、推送和管理代码。

  • 支持OSS对象存储NAS存储,便于管理和访问数据。

  • 支持DataWorks自定义镜像,从而根据创建的镜像实现多样化的任务开发。

通过这些功能,Data Studio为您提供了一个高效、灵活且强大的开发环境,使您能够更便捷地进行数据处理、分析和模型训练等工作,从而提高开发效率和代码质量。

产品计费

个人开发环境实例创建时需要指定资源组和CU,根据运行时长收取资源组对应CU的费用。具体请参见Serverless资源组计费

重要
  • 当个人开发环境实例状态为运行中时,若实例使用按量付费资源组将按照资源配额×实例运行时间收取计算费用,若实例使用包年包月资源组将占用该资源组可用额度。

  • 当个人开发环境实例不需要使用时,请及时在管理实例中停止个人开发环境实例

适用范围

  • 工作空间限制:仅支持使用新版数据开发(Data Studio)的工作空间。

  • 资源组限制:仅支持Serverless资源组

  • 数量限制:工作空间下每个成员最多创建10个人开发环境实例。

  • 存储限制:每个个人开发环境实例提供30GiB的免费云盘(即个人开发环境实例自带的存储空间),停机后15天后会被回收,请注意及时保存个人代码文件。

  • 权限控制:Data Studio根据不同身份(租户管理员、工作空间管理员或个人开发环境实例所有者)对个人开发环境实例的权限进行差异化管理。

    • 租户管理员、工作空间管理员

      • 可以查看管理当前工作空间下所有个人开发环境实例。

      • 只能使用实例所有者为自己的个人开发环境实例。

    • 个人开发环境实例所有者

      • 只能查看使用管理实例所有者为自己的个人开发环境实例。

        管理:包含变更配置停止启动删除制作镜像定时关机查看自动关机策略等操作。

创建个人开发环境实例

  1. 进入DataWorks工作空间列表页,在顶部切换至目标地域,找到已创建的工作空间,单击操作列的快速进入 > Data Studio,进入Data Studio。

  2. 单击顶部个人开发环境,按需选择已有个人开发环境实例或新建实例。

    参数

    说明

    实例名称

    个人开发环境实例的名称,支持自定义。

    实例所有者

    默认将创建工作空间的当前用户设置为实例所有者。

    资源详情

    资源组

    选择个人开发环境实例所使用的Serverless资源组。

    资源类型

    支持配置CPU类型和GPU类型的资源。

    资源配额

    选择个人开发环境实例的资源规格,按需选择即可。

    选择规格后,会展示:

    • 规格名称CPU内存带宽以及资源配额(所选规格对应抵扣资源组的CU数)。

      • GPU类型实例相比CPU类型实例,还会展示GPU规格以及显存

    支持在Serverless资源组的给任务分配CU配额中分配当前个人开发环境实例可使用的CU上限CU保障

    重要

    请关注此处的资源配额信息,当个人开发环境实例运行时,若实例使用按量付费资源组将按照资源配额×实例运行时间收取计算费用,若实例使用包年包月资源组将占用该资源组可用额度。

    选择镜像

    按需选择系统提供的镜像或自定义镜像。

    • 系统内置镜像:请参见DataWorks官方镜像

    • 自定义镜像:除系统提供的镜像外,您还可以选择已创建的自定义镜像。通过自定义镜像,您可以预装特定的三方包,以满足个性化的开发需求。自定义镜像的制作方法,请参见个人开发环境制作DataWorks镜像

    存储设置

    系统盘

    每个个人开发环境实例提供30GiB的免费云盘(即个人开发环境实例自带的存储空间),停机后15天后会被回收,请注意及时保存个人代码文件。

    个人开发环境实例自带的存储空间默认路径为/mnt/workspace

    数据集

    若您需要在个人开发环境中读写存储于OSSNAS上的数据时,可以为个人开发环境添加数据集

    • 数据集:可下拉选择当前空间内创建的文件存储类型(OSSNAS)的数据集,但需注意以下内容:

      选择文件存储为NAS类型的数据集时,假如当前DataWorks资源组网络未与NAS挂载点连通,则需调整VPC网络,确保资源组与NAS挂载点连通。

      说明

      DataWorks资源组绑定的VPCNAS挂载点绑定的VPC一致时,网络即可正常连通。

    • 挂载路径:默认挂载路径基于数据集配置,可在当前节点手动修改。

    • 高级配置:为节点开发读取OSSNAS数据集时,可通过配置不同的管理数据集来调整数据集的读取方法挂载协议配置等配置。

    • 只读:开启只读后,个人开发环境中运行的任务在运行期间将仅允许读取数据,无法将数据写入OSSNAS。

      重要

      个人开发环境实例存储空间中的文件删除说明:

      • 通过个人开发环境实例挂载的NAS空间(默认位于/mnt/data)中的文件被删除后不会进入Data Studio回收站。如果在文件存储控制台开通了回收站,则删除的文件会进入文件系统的回收站。

      • 通过个人开发环境实例挂载的OSS空间(默认位于/mnt/data)中的文件被删除后不会进入Data Studio回收站。可通过开启定时备份功能,找回数据。

      • 个人开发环境实例自带的存储空间(默认位于/mnt/workspace)中的文件被删除后不会进入Data Studio的回收站。

    网络设置

    专有网络

    • 访问VPC内资源 (如RDS):请在此处配置相应的专有网络

    • 访问公网资源:将此项留空即可。开发环境默认支持公网访问。

    • 同时访问VPC和公网:此处配置专有网络后,还需为VPC配置专有公网网关,以访问公网。

      说明

      若需访问有白名单访问控制的地址,也需绑定有公网能力的专有网络

    安全组

    请选择已经创建的安全组进行挂载。

    交换机

    可选,未填写时系统将会根据所选的专有网络默认随机选择一个交换机。

    访问配置

    启用SSH

    启用后基于已选专有网络,使用SSH原生方式直连登录个人开发环境。 若您配置了自定义镜像,请确认自定义镜像安装了sshd。

    重要

    使用SSH,需要在个人开发环境安装SSH Server。请参考步骤四:安装SSH Server

    SSH公钥

    本地生成的公钥,具体可参考步骤二:生成SSH公钥

    SSH访问方式

    • VPC内登录:默认支持该访问方式。您可以从VPC内的其他终端(例如ECS),访问个人开发环境。

    • 公网登录:选中该项,可以增加公网访问方式。同时必须配置NAT网关弹性公网IP

    VPC内访问域名

    为您创建一条内置权威域名(Private Zone),您可在VPC内使用该域名来访问当前实例的SSH服务或其他自定义服务,避免使用变化的实例IP带来的访问不便。请注意创建的内置权威域名会产生费用

    NAT网关

    若需要公网访问则需要配置该参数。选择为当前VPC创建的公网 NAT 网关

    弹性公网IP

    若需要公网访问则需要配置该参数。选择为当前NAT网关创建的弹性公网IP。

    高级信息

    实例RAM角色

    实例RAM角色允许您将一个角色关联到个人开发环境实例,在实例内部基于STS(Security Token Service)临时凭证访问其他云产品,临时凭证将周期性更新。既可以保证云账号AccessKey安全,还可以借助RAM访问控制实现精细化控制和权限管理。默认选择DataWorks默认角色

    角色详情,请参见个人开发环境配置实例RAM角色

管理个人开发环境实例

停止个人开发环境实例

重要
  • 当个人开发环境实例状态为运行中时,若实例使用按量付费资源组将按照资源配额×实例运行时间收取计算费用,若实例使用包年包月资源组将占用该资源组可用额度。

  • 当个人开发环境实例不需要使用时,请及时在管理实例中停止个人开发环境实例。

个人开发环境支持多种方式停止实例:

1. 设置空间级自动关机策略

阿里云主账号或空间管理员可前往管理中心设置空间下所有个人开发环境实例的自动关机策略,当空间下处于运行中状态的个人开发环境实例满足该空间级自动关机策略时,将自动关机。

  1. 进入管理中心页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的更多 > 管理中心,在下拉框中选择对应工作空间后单击进入管理中心

  2. 工作空间配置 > 通用配置页面,找到个人开发环境实例区域的自动关机策略,按需配置。

    参数配置说明:

    • 闲置时长为必选参数,以小时为单位。

    • GPU 利用率CPU 利用率至少配置一个。

    说明
    • 此处定义的关机策略作用于当前空间下的所有启动状态的个人开发环境实例,策略保存后立即生效。

    • 修改了个人开发环境实例自动关机配置,将会重新计算个人开发环境实例的空闲时长。

2. 设置定时关机

  1. Data Studio界面,单击顶部个人开发环境,选择管理环境

  2. 个人开发环境实例列表中找到需要自动停止的实例后,单击操作列的image > 定时关机。配置自动关机时间后,单击确定

3. 手动停止实例

  1. Data Studio界面,单击顶部个人开发环境,选择管理环境

  2. 个人开发环境实例列表中找到需要停止的实例后,单击操作列的停止

删除个人开发环境实例

如果您需要释放创建的个人开发环境实例,请在实例列表中找到需要释放的实例,单击操作列的删除,在弹出的对话框中确认删除实例。

查看个人开发环境实例资源利用率

鼠标悬停至个人开发环境实例名称后的资源利用率简要信息区域,即可查看各项指标的详细信息。

在个人开发环境使用数据集

个人开发环境支持使用数据集,以实现节点运行过程中读写OSSNAS存储中的数据。详情请参见在个人开发环境中使用数据集

更多参考

  • 您可以将个人开发环境实例制作为自定义镜像,然后在其他节点开发时配合自定义镜像使用,实现您的业务目标。个人开发环境实例制作镜像及使用方法,请参见个人开发环境制作DataWorks镜像

  • 个人开发环境连接Git仓库,克隆、推送和管理代码的详细操作,请参见个人开发环境连接Git仓库