DataWorks Notebook使用帮助

使用自定义配置

1. 启动时设置SparkConf，例如设置Livy最长空闲时间（config表示和Livy相关的参数）和开启Schema级语法开关（spark_conf表示和Spark相关的参数），其余参数同理。

   %%maxcompute_spark
   {
     "config": {
       # cpu 和 memory 默认为1核4G
       "cpu": 1,
       "memory": "4096M",
       "livy.server.max.idle.time": "10m"
     },
     "quota": "XXX",
     "spark_conf": {
       "spark.sql.catalog.odps.enableNamespaceSchema": "true"
     }
   }

2. 如果需要修改配置，只需重新执行上述代码即可。但是重启Spark Session会丢失之前的会话状态。

使用OSS存储

配置OSS访问参数：

%%maxcompute_spark
{
  "spark_conf": {
    "spark.hadoop.odps.cupid.trusted.services.access.list": "<bucket-name>.<oss-endpoint>",
    "spark.hadoop.fs.oss.accessKeyId": "***",
    "spark.hadoop.fs.oss.accessKeySecret": "***",
    "spark.hadoop.fs.oss.endpoint": "<oss-endpoint>"
  }
}

使用第三方Python包

1. 打包依赖：推荐使用pyodps-pack，强烈建议指定Python版本为3.11，因为Livy Spark Session默认使用Python 3.11，保持一致可避免兼容性问题。参考PySpark Python版本和依赖。

   # 安装pyodps
   pip install pyodps
   
   # 准备requirements.txt，然后打包
   pyodps-pack -r requirements.txt --python-version=3.11 -o <package-name>

2. 上传包到MaxCompute Project：

   -- 在odpscmd中执行
   ADD archive /path/to/<package-name> -f;

3. 配置Spark使用该包：

   说明

   • 如果有多个cupid.resources用逗号（","）隔开，该参数具体效果请参考数据互通配置。

   • 如果有多个PYTHONPATH路径用冒号（":"）隔开。当前示例中PYTHONPATH带packages子目录是因为pyodps-pack打包会自动包含该子目录，如果是其他方式打包请明确目录结构再填写PYTHONPATH。关于PYTHONPATH更多详情请参考引用用户自定义的python包。

   %%maxcompute_spark
   {
     "spark_conf": {
       "spark.hadoop.odps.cupid.resources": "<your_project>.<package-name>",
       "spark.executorEnv.PYTHONPATH": "./<your_project>.<package-name>/packages",
       "spark.yarn.appMasterEnv.PYTHONPATH": "./<your_project>.<package-name>/packages"
     }
   }

使用JAR或其他资源包

1. 上传资源（以tar.gz为例）：add archive /path/to/<package-name> -f;

2. 配置Spark加载资源，多个资源用英文逗号(",")分隔：

   %%maxcompute_spark
   {
     "spark_conf": {
       "spark.hadoop.odps.cupid.resources": "<your_project>.<package-name>"
     }
   }

可与Python包配置合并使用，都填写在spark_conf参数中。

高级配置

%%maxcompute_spark
{
  "spark_conf": {
    "spark.hadoop.odps.spark.alinux3.enabled": "false"
  }
}

%%spark

import matplotlib.pyplot as plt
import io, base64, json
import matplotlib
# 非必须
matplotlib.use('Agg')

# 必须在此处先创建figure（关键步骤）
fig = plt.figure()

# 示例绘图
x = [1, 2, 3, 4]
y = [20, 22, 19, 23]

plt.plot(x, y, marker='o', linestyle='--', color='b')
plt.title("Temperature Change Over Time")
plt.xlabel("Time")
plt.ylabel("Temperature")

# 渲染图像到Notebook（Livy魔法命令）
%matplot plt

Livy相关配置

以下列出可以控制的Livy参数：