使用Notebook开发_数据管理(DMS)-阿里云帮助中心

本文介绍如何使用DMS Jupyter Notebook进行数据查询和分析。Notebook相当于一个交互式的页面，能够在同一个页面中集成代码、文字和图表，以便于向其他用户传达信息。

Notebook界面介绍

DMS Jupyter Notebook兼容开源Jupyter Notebook。此外，DMS Jupyter Notebook还增强了SQL查询和可视化的能力。如下为您介绍DMS Jupyter Notebook支持的功能：

使用pip安装扩展包、支持公网访问，与开源Jupyter Notebook的使用方式基本一致。

在Notebook的工具栏区域切换Code到SQL。
SQL Cells使用语法与逻辑数仓基本相同，支持跨库查询、实时分析，权限要求与DMS一致。逻辑数仓语法，请参见逻辑数仓SQL语法。
在SQLCell和PythonCell中引用变量（引用格式为${变量名称}）、自定义变量名称、查看变量类型。如下为您介绍如何在Notebook中输入变量、输出变量、引用变量。
- 输入变量并引用变量
  Ipython中的变量，可通过${var}（var为Ipython内的变量名），引用到SQL中使用。
- 输出变量
  可在Ipython中直接使用变量名称（在结果集左下角），变量类型为pandas.core.frame.DataFrame。如需自定义变量名称，请单击变量名称即可修改。
查询的SQL结果集一键可视化，支持表格和图表两种展示形式。

默认支持AnalyticDB Spark，也可支持开源Spark。

spark magic通过%%help magic可以快捷列出支持的命令列表。

说明

Spark Magic是一个Jupyter Notebook扩展。

命令	说明
`%%configure`	配置需使用的ADB Spark计算引擎。 `%%configure -f { "adbClusterId":"amv-bp18la1mfe9****", "adbResourceGroup":"resource_test", "adbEndpoint":"adb.aliyuncs.com", "adbAK":"xxx", "adbSK":"yyy" }` 参数说明： adbClusterId：集群ID。获取操作，请参见创建湖仓版集群。 adbResourceGroup：资源组名称。查看操作，请参见创建资源组。 adbEndpoint：域名节点。 adbAK和adbSK：访问密钥。获取操作，请参见获取AccessKey。
`%%info`	确认或排查ADB Spark配置。
`%%sql`	提交SQL到ADB Spark。
`%%sql`	进行DDL，使用读写C-Store的语法。更多信息，请参见通过Spark SQL读写C-Store表数据
`%%spark`	提交python代码到ADB Spark。

说明

新创建的session，ADB Spark会保留20分钟，超时后会被删除。您可通过重启kernel或执行%%configure重新创建新的session。

使用ossutil上传、下载所需要的数据集。配置ossutil的操作，请参见配置ossutil。

创建Notebook。
在文件页签下，单击，选择Notebook。
在文字和代码的展示区域，使用SQL、Code、Markdown或Raw的格式写入数据。
例如：使用Markdown语法写要查询的数据。
使用Copilot生成SQL。
确认生成的SQL无误后，执行SQL并查看生成的结果集。
1. 在Copilot生成的SQL区域，单击执行查询。
  SQL会自动插入左侧的文档中，生成的查询结果也会显示在SQL下方。
  - 以表格形式展示
  - 以图表形式展示
执行SQL成功后，该执行结果可以变量的形式被其他SQLCell引用。同时可以自定义变量的名称。
预测数据变化趋势。
1. 引入Python机器学习包，单击执行按钮进行安装。如下图片为示例Code。
2. 引入包成功后，输入可预测数据、可视化形式展示数据的Python代码。