Notebook Lab

DSW支持轻量版的Notebook Lab功能,您可以打开OSS上的任意Notebook文件进行预览和编辑,且在编辑Notebook时,无需启动任何计算资源。同时,同一个DSW实例可供多个不同的Notebook开发共享使用,从而提升开发体验和资源利用率。

DSW实例的区别

DSW实例是一个全功能的数据科学工作站,预装了JupyterLab、WebIDETerminal等常用AI开发工具,支持多种环境镜像,并且面向AI计算提供了丰富的异构计算资源及存储挂载能力,适合全面的AI开发需求。相较之下,Notebook Lab专注于Notebook的开发和管理,提供轻量化的用户界面,并将Notebook文件的管理和使用与DSW实例解耦,只需在运行和调试时链接到DSW实例作为运行时环境,从而简化了使用体验并提升了资源利用率。

进入Notebook

  1. 登录PAI控制台

  2. 在顶部左上角根据实际情况选择地域。

  3. 在左侧导航栏选择工作空间列表,单击指定工作空间名称,进入对应工作空间内。

  4. 在左侧导航栏选择模型开发与训练 > 交互式建模(DSW),单击Notebook页签。

配置Notebook代码目录

单击选择代码目录,配置Notebook代码目录。

image

自定义代码目录配置完成后,Notebook列表会扫描该并列出OSS路径下所有的Notebook文件(*.ipynb文件),您可以按需选择需要继续开发的Notebook,也可以在配置好的代码目录中直接新建Notebook。

新建并开发Notebook

  1. 单击新建Notebook,Notebook文件会默认创建在前面配置的代码目录下。

    image

  2. 进入开发页面,即可通过Jupyter交互方式进行Notebook开发。

    由于Notebook文件和DSW实例是解耦关系,因此建议您将环境依赖的下载安装逻辑都写在Notebook文件中,以便于切换不同的DSW实例时都能正常运行。

开发Notebook

前提条件

(可选)如果使用SQL,需要先安装SQL插件。

!pip install https://dataworks-notebook-cn-shanghai.oss-cn-shanghai.aliyuncs.com/public-datasets/pypi/dataworks-magic/dataworks_magic-0.1.5-py3-none-any.whl jupysql tenacity sqlparse maxframe alibabacloud_emr_serverless_spark20230808 alibabacloud_ververica20220718 psycopg2-binary

操作步骤

  1. 添加单元格。

    您可以通过Notebook Lab工具栏,或单元格边缘上方/下方按钮,创建对应的单元格。

    说明

    若您想重新调整单元格位置,可通过鼠标悬浮在单元格前蓝色线条上拖拽调整单元格顺序。

    image

  2. (可选)切换单元格类型。

    单击单元格右下角的单元格类型按钮,可以相互切换单元格类型。支持以下单元格类型:

    MarkdownPythonMaxCompute SQLFlink SQL BatchFlink SQL Streaming

    说明

    在切换单元格类型时,编辑内容将保留,需手动将单元格内的代码调整为合适的类型。

    image

  3. 开发单元格代码。

    在相应的单元格内可编辑SQL、Python以及Markdown代码,您可以使用Copilot功能辅助编程,触发Copilot方式如下:

    • 方式一:通过Notebook Lab工具栏,或单元格边缘上方/下方按钮,触发Copilot,

      image

    • 方式二:选中单元格后,使用以下快捷键:

      • Windows系统:Ctrl+I

      • macOS系统:Command+I

调试和运行Notebook

  1. 选择DSW实例。

    编辑完Notebook后, 单击右上角DSW实例名称,选择DSW实例进行调试或运行。默认过滤当前工作空间的DSW实例,您可以按照运行需求,选择合适规格和镜像的实例。

    当连接到DSW实例运行Notebook时,Notebook文件的工作路径即为DSW实例的工作目录(默认为/mnt/workspace),您可以通过相对路径与DSW实例内部的本地文件交互。同时,您也可以对DSW实例中的文件进行新增、删除、预览或编辑操作。

    重要

    实例一旦处于运行中,即会产生计费。

  2. (可选)选择MaxCompute、Flink等计算资源。

    使用SQL单元格开发时,单击请选择计算资源,然后单击绑定计算资源,跳转至DataWorks完成绑定计算资源。运行单元格时会将SQL使用指定计算资源运行。

    image

  3. 完成Notebook的单元格开发后,对单元格进行测试运行。

    • 运行全部单元格:单击上方image按钮,测试运行该Notebook节点下的所有单元格。

    • 运行单个单元格:单击单元格左侧image按钮,仅测试运行该单元格。

  4. 查看运行结果。

    单击Ask Copilot,在右侧查看代码分析结果。

    image