Notebook开发

SQL单元格

单元格内支持撰写多种类型的SQL脚本，在运行SQL脚本后，将在单元格下方打印SQL运行结果。

• 场景一：若SQL不包含SELECT语句，单元格运行之后默认只展示运行日志。

  CREATE TABLE IF NOT EXISTS product (
      product_id BIGINT,
      product_name STRING,
      product_type STRING,
      price DECIMAL(10, 2)
  )
  LIFECYCLE 30; -- 表示数据的生命周期为30天，超出后数据将被自动删除，这是一个可选设置

• 场景二：若SQL包含SELECT语句，单元格运行之后将展示运行日志，并提供两种查看方式：表格和可视化图表。同时，系统会自动将查询结果生成一个DataFrame变量。

  SELECT 
  product_id,
  product_name,
  product_type,
  price 
  FROM product;

  • 生成DataFrame数据对象：

    SQL单元格自动生成返回变量，可通过单击SQL单元格左下方的df_*变量名，为生成的DataFrame变量重新命名。

    

  • 查看SQL查询的表格：

    SQL查询运行完成后，在日志区域默认展示SQL查询结果表格。

    

  • 查看SQL查询的可视化图表

    SQL查询运行完成后，在日志区域左侧单击按钮，可以查看通过SQL查询生成的表数据的可视化图表。

    

Python单元格

单元格内支持撰写Python脚本，在运行Python脚本后，将在单元格下方打印Python代码的运行结果。

• 场景一：仅打印输出文本。

  print("Hello World")

• 场景二：使用Pandas DataFrame。

  import pandas as pd
  
  # 定义产品数据，包括详细信息：产品名称、区域和登录频率。
  product_data = {
      'Product_Name': ['DataWorks', 'RDS MySQL', 'EMR Spark', 'MaxCompute'],
      'Product_Region': ['East China 2 (Shanghai)', 'North China 2 (Beijing)', 'South China 1 (Shenzhen)', 'Hong Kong'],
      'Login_Frequency': [33, 22, 11, 44]
  }
  
  # 根据给定的数据创建一个DataFrame。
  df_products = pd.DataFrame(product_data)
  
  # 打印DataFrame以显示产品信息。
  print(df_products)

  

• 场景三：绘制图表。

  import matplotlib.pyplot as plt
  
  # 数据
  categories = ['DataWorks', 'RDS MySQL', 'MaxCompute', 'EMR Spark', 'Hologres']
  values = [23, 45, 56, 78, 30]
  
  # 创建条形图
  plt.figure(figsize=(10, 6))
  plt.bar(categories, values, color=['blue', 'green', 'red', 'purple', 'orange'])
  
  # 添加标题和标签
  plt.title('Example Bar Chart')
  plt.xlabel('category')
  plt.ylabel('value')
  
  # 显示图形
  plt.show()

  

Markdown单元格

• 在编写完成后，单击按钮后，可展示Markdown的文本和格式效果。

  # DataWorks Notebook

Python变量传递至SQL

在Python单元格定义的变量，支持在SQL单元格中通过${var}方式引用。

SQL结果传递至Python

当SQL单元格有输出结果时，将自动生成最后一个SELECT语句结果的DataFrame变量，结果将传递至Python单元格。

DataFrame变量名默认为df_**，可通过单击单元格左下角的变量名对变量进行自定义。

为调度任务中的参数赋值

当您需要在调度场景下为 Notebook 中的代码参数动态赋值时，请遵循以下步骤：

1. 标记参数单元格 (Parameter Cell)
   在 Notebook 编辑器中，定位到含有参数化代码的单元格。单击该单元格的Mark Cell as Parameters，标记参数。完成标记后，该单元格将被识别为参数化入口，并带上parameters标签。

   

2. 配置调度参数
   在节点的调度配置 > 调度参数区域，为已标记的参数（例如 var）设置具体的调度值。

   

当任务被调度系统自动执行时，代码中 var 参数的实际值，将由在调度参数中配置的值动态替换。

引用工作空间参数

Notebook开发时，可在SQL单元格和Python单元格内以${workspace.param}格式来引用工作空间参数，以下为引用工作空间参数的简单示例。

• SQL单元格引用工作空间参数。

  SELECT '${workspace.param}';

  查询工作空间参数，运行成功后，将打印输出工作空间参数的具体赋值。

• Python单元格引用工作空间参数。

  print('${workspace.param}')

  输出工作空间参数，运行成功后，将打印输出工作空间参数的具体赋值。

新建Python资源

1. 添加Python资源文件。

   1. 进入DataWorks工作空间列表页，在顶部切换至目标地域，找到已创建的工作空间，单击操作列的快速进入 > Data Studio，进入Data Studio。

   2. 在左侧导航栏单击，进入资源管理。

   3. 在资源管理页面，单击，新建MaxCompute Python资源。本示例将该Python资源命名为：hello.py。

2. 在线编辑Python资源文件内容，示例代码如下：

   # your_script.py
   def greet(name):
       print(f"Hello, {name}!")

   编辑完成后，单击保存，保存Python代码。

3. 完成代码的编辑与保存后，单击按钮，保存hello.py资源。

4. 资源保存成功后，单击按钮，发布hello.py资源至开发以及生产环境。

引用Python资源

1. 新增Notebook节点，详情可参见创建Notebook节点。

2. 在Notebook中新增Python单元格，详情可参见添加单元格。

   在Python单元格中编写的##@resource_reference{"hello.py"}引用新建的MaxCompute Python资源，以下为示例代码：

   ##@resource_reference{"hello.py"}
   from hello import greet  # 替换为实际的函数名
   greet('DataWorks')

3. 完成Python单元格的代码编写与节点调度后，保存并发布Notebook节点。

4. 进入运维中心（工作流），在周期任务运维 > 周期任务中找到已发布的Notebook节点，单击操作列补数据，对Notebook节点进行补数据，补数据详情可参见：补数据实例运维。

5. 完成补数据后，即可通过查看Notebook节点运行日志来确认Python单元格是否执行成功。

   重要

   当对资源修改重新发布时，需在Data Studio设置中，修改资源冲突处理策略Dataworks › Notebook › Resource Reference: Download Strategy为autoOverwrite，并在Notebook顶部工具栏重启Kernel。

场景一：建立MaxCompute MaxFrame Session连接

使用Python单元格进行开发时，您可以使用以下内置的Magic Command唤起MaxCompute计算资源选择器，访问MaxCompute MaxFrame服务。

• 使用Magic Command连接并访问MaxCompute MaxFrame Session 。

  mf_session = %maxframe

• 使用Python单元格的Magic Command释放MaxCompute MaxFrame连接：

  mf_session.destroy()

场景二：连接MaxCompute计算资源

使用Python单元格进行开发时，您可以使用以下内置的Magic Command唤起MaxCompute计算资源选择器，通过 Python 语言与 MaxCompute 进行交互，包括数据加载、查询、DDL 操作。

1. 使用Magic Command创建MaxCompute连接。 输入%odps，右下角会出现MaxCompute的计算资源选择器入口（并自动选择计算资源）。点击右下角的MaxCompute项目名称，可更换MaxCompute项目。

   o=%odps 

2. 使用获取到的MaxCompute计算资源运行PyODPS脚本。

   例如，获取当前项目下的所有表：

   with o.execute_sql('show tables').open_reader() as reader:
       print(reader.raw)

通过Python Cell连接计算资源

在Notebook的Python单元格中，可通过以下命令，在目标计算资源中快捷创建、连接或释放用于连接Spark的服务。

## 直接执行
%emr_serverless_spark
## 带参数执行
%%emr_serverless_spark
{
    "spark_conf": {
        "spark.emr.serverless.environmentId": "<EMR Serverless Spark 运行环境ID>",
        "spark.emr.serverless.network.service.name": "<EMR Serverless Spark 网络连接ID>"
    }
}

通过Python向计算资源提交并执行PySpark代码

# 以下代码将运行在远程的ADB Spark引擎上
# 您可以在这里编写Python代码，或使用spark.sql()方式编写SQL代码
%%adb_spark
df = spark.sql("SELECT * FROM my_adb_table LIMIT 10")
df.show()