MaxCompute Spark节点

前提条件

• （可选，RAM账号需要）进行任务开发的RAM账号已被添加至对应工作空间中，并具有开发或空间管理员（权限较大，谨慎添加）角色权限，添加成员的操作详情请参见为工作空间添加空间成员。

  说明

  如果您使用的是主账号，则忽略该添加操作。

• 已开发创建项目目录，详情请参见项目目录。

• 已创建MaxCompute Spark节点，详情请参见创建任务节点。

使用限制

当MaxCompute Spark节点选择Spark3.x版本时，若提交节点报错，请购买使用Serverless资源组，详情请参见新增和使用Serverless资源组。

准备工作

MaxCompute Spark节点支持使用Java/Scala和Python语言运行Spark on MaxCompute离线作业，不同语言开发步骤及配置界面存在差异，您可根据业务需要选择使用。

配置项说明

DataWorks运行Spark on MaxCompute离线作业采用Cluster模式，在Cluster模式中，您需指定自定义程序入口main。main运行结束（即状态为Success或Fail）时，对应的Spark作业便会结束。此外，spark-defaults.conf中的配置需逐条添加到MaxCompute Spark节点配置项中。例如，Executor的数量、内存大小和spark.hadoop.odps.runtime.end.point的配置。

操作步骤

1. 创建资源。

   1. 找到数据开发页面左侧导航栏的资源管理，单击新建，选择新建MaxCompute Spark类型的Python资源，并命名为spark_is_number.py，详情请参见资源管理。代码如下：

      # -*- coding: utf-8 -*-
      import sys
      from pyspark.sql import SparkSession
      
      try:
          # for python 2
          reload(sys)
          sys.setdefaultencoding('utf8')
      except:
          # python 3 not needed
          pass
      
      if __name__ == '__main__':
          spark = SparkSession.builder\
              .appName("spark sql")\
              .config("spark.sql.broadcastTimeout", 20 * 60)\
              .config("spark.sql.crossJoin.enabled", True)\
              .config("odps.exec.dynamic.partition.mode", "nonstrict")\
              .config("spark.sql.catalogImplementation", "odps")\
              .getOrCreate()
      
      def is_number(s):
          try:
              float(s)
              return True
          except ValueError:
              pass
      
          try:
              import unicodedata
              unicodedata.numeric(s)
              return True
          except (TypeError, ValueError):
              pass
      
          return False
      
      print(is_number('foo'))
      print(is_number('1'))
      print(is_number('1.3'))
      print(is_number('-1.37'))
      print(is_number('1e3'))

   2. 保存资源。

2. 在已创建的MaxCompute Spark节点中，配置节点参数和调度配置参数，详情请参见配置项说明。

3. 如需定期执行节点任务，请根据业务需求配置调度信息，详情请参见调度配置。

4. 节点任务配置完成后，需对节点进行发布，详情请参见节点发布。

5. 任务发布后，您可以在运维中心查看周期任务的运行情况。详情请参见运维中心入门。

   说明

   • 由于数据开发中的MaxCompute Spark节点没有运行入口，因此您需要在开发环境的运维中心执行Spark任务。

   • 待补数据实例运行成功后，进入其运行日志的tracking URL中查看运行结果

相关文档

• 更多场景的Spark on MaxCompute任务开发，请参考：

  • java/scala示例：Spark-1.x示例

  • java/scala示例：Spark-2.x示例

  • Python示例：PySpark开发示例

  • 场景：Spark访问VPC实例

  • 场景：Spark访问OSS

• Spark常见问题：您可了解Spark执行过程中的常见问题，便于出现异常时快速排查解决。详情可参见Spark常见问题。

• Spark作用诊断：MaxCompute为Spark作业提供Logview工具以及Spark WebUI，您可通过作业日志检查作业是否已正常提交并执行。详情可参见Spark作业诊断。