Notebook

SQL单元格

单元格内支持撰写多种类型的SQL脚本，在运行SQL脚本后，将在单元格下方打印SQL运行结果。

• 场景一：若SQL不包含SELECT语句，单元格运行之后默认只展示运行日志。

  CREATE TABLE IF NOT EXISTS product (
      product_id BIGINT,
      product_name STRING,
      product_type STRING,
      price DECIMAL(10, 2)
  )
  LIFECYCLE 30; -- 表示数据的生命周期为30天，超出后数据将被自动删除，这是一个可选设置

• 场景二：若SQL包含SELECT语句，单元格运行之后将展示运行日志，并提供两种查看方式：表格和可视化图表。同时，系统会自动将查询结果生成一个DataFrame变量。

  SELECT 
  product_id,
  product_name,
  product_type,
  price 
  FROM product;

  • 生成DataFrame数据对象：

    SQL单元格自动生成返回变量，可通过单击SQL单元格左下方的df_*变量名，为生成的DataFrame变量重新命名。

    

  • 查看SQL查询的表格：

    SQL查询运行完成后，在日志区域默认展示SQL查询表格。

    

  • 查看SQL查询的可视化图表

    SQL查询运行完成后，在日志区域左侧单击按钮，可以查看通过SQL查询生成的表数据的可视化图表。

    

Python单元格

单元格内支持撰写Python脚本，在运行Python脚本后，将在单元格下方打印Python代码的运行结果。

• 场景一：仅打印输出文本。

  print("Hello World")

• 场景二：使用Pandas DataFrame。

  import pandas as pd
  
  # 定义产品数据，包括详细信息：产品名称、区域和登录频率。
  product_data = {
      'Product_Name': ['DataWorks', 'RDS MySQL', 'EMR Spark', 'MaxCompute'],
      'Product_Region': ['East China 2 (Shanghai)', 'North China 2 (Beijing)', 'South China 1 (Shenzhen)', 'Hong Kong'],
      'Login_Frequency': [33, 22, 11, 44]
  }
  
  # 根据给定的数据创建一个DataFrame。
  df_products = pd.DataFrame(product_data)
  
  # 打印DataFrame以显示产品信息。
  print(df_products)
  

  

• 场景三：绘制图表。

  import matplotlib.pyplot as plt
  
  # 数据
  categories = ['DataWorks', 'RDS MySQL', 'MaxCompute', 'EMR Spark', 'Hologres']
  values = [23, 45, 56, 78, 30]
  
  # 创建条形图
  plt.figure(figsize=(10, 6))
  plt.bar(categories, values, color=['blue', 'green', 'red', 'purple', 'orange'])
  
  # 添加标题和标签
  plt.title('Example Bar Chart')
  plt.xlabel('category')
  plt.ylabel('value')
  
  # 显示图形
  plt.show()
  

  

Markdown单元格

• 在编写完成后，单击按钮后，可展示Markdown的文本和格式效果。

  # DataWorks Notebook

场景一：建立MaxCompute MaxFrame Session连接

使用Python单元格进行开发时，您可以使用以下内置的Magic Command唤起MaxCompute计算资源选择器，访问MaxCompute MaxFrame服务。

• 使用Magic Command连接并访问MaxCompute MaxFrame Session 。

  mf_session = %maxframe

• 使用Python单元格的Magic Command释放MaxCompute MaxFrame连接：

  mf_session.destroy()

场景二：连接MaxCompute计算资源

使用Python单元格进行开发时，您可以使用以下内置的Magic Command唤起MaxCompute计算资源选择器，通过 Python 语言与 MaxCompute 进行交互，包括数据加载、查询、DDL 操作。

1. 使用Magic Command创建MaxCompute连接。

   在单元格中输入以下命令会唤起MaxCompute计算资源选择器。

   o=%odps 

2. 使用获取到的MaxCompute计算资源运行PyODPS脚本。

   例如，获取当前项目下的所有表：

   with o.execute_sql('show tables').open_reader() as reader:
       print(reader.raw)

新建Python的资源

1. 添加Python资源文件。

   1. 进入DataWorks工作空间列表页，在顶部切换至目标地域，找到已创建的工作空间，单击操作列的快速进入 > Data Studio，进入Data Studio。

   2. 在左侧导航栏单击，进入资源管理。

   3. 在资源管理页面，单击新建按钮或，您也可以先新建目录，规划资源管理目录后，再在相应目录上右键，选择新建，选择具体创建的资源或函数类型。

   4. 新建MaxCompute Python资源。

      本示例将该Python资源命名为：hello.py。

2. 编辑Python资源文件内容，示例代码如下：

   # your_script.py
   def greet(name):
       print(f"Hello, {name}!")

   编辑完成后，单击保存，保存Python代码。

3. 完成代码的编辑与保存后，单击按钮，保存hello.py资源。

4. 资源保存成功后，单击按钮，发布hello.py资源至开发以及生产环境。

引用Python资源

1. 新增Notebook节点，详情可参见创建Notebook节点。

2. 在Notebook中新增Python单元格，详情可参见1. 添加单元格。

   在Python单元格中编写的##@resource_reference{"hello.py"}引用新建的MaxCompute Python资源，以下为示例代码：

   # 通过该注释在调度时引用一个名称为hello.py的Python资源
   ##@resource_reference{"hello.py"}
   
   import sys
   import os
   
   # 将当前工作目录添加到路径中
   sys.path.append(os.path.abspath('./hello.py'))  # 或者使用相对路径，根据实际情况进行调整
   from hello import greet  # 替换为实际的函数名
   greet('DataWorks')
   

3. 完成Python单元格的代码编写与节点调度配置后，保存并发布Notebook节点。

4. 进入运维中心（工作流），在周期任务运维 > 周期任务中找到已发布的Notebook节点，单击操作列补数据，对Notebook节点进行补数据，补数据详情可参见：执行补数据并查看补数据实例（新版）。

5. 完成补数据后，即可通过查看Notebook节点运行日志来确认Python单元格是否执行成功。