Dataphin执行Spark_jar_on_hive任务变量拼接有空格

问题描述

新建Spark_jar_on_hive任务,执行结果中任务变量拼接由空格。

问题原因

这个是sparkJarOnHiveOperator, 解析逻辑是split后拼接成spark-submit命令,但是这个用户是在写shell, 如果是shell的话, 需要使用ShellOperator。

解决方案

新建shell任务进行拼接就可以了。

适用于

  • Dataphin