Dataphin建Shell任务执行报错“Invalid partition value: '${bizdate}'”

问题描述

Dataphin建Shell任务执行报错“Invalid partition value: '${bizdate}'”。

问题原因

通过Shell任务引用JSON资源包，JSON资源包中的${bizdate}无法被识别。

解决方案

资源包中的partition应指定具体分区信息，或参考以下代码，将JSON直接写入到Shell中即可。

cat > datax-job.json <<EOF
{
  "job": {
    "setting": {
      "speed": {
        "byte": 1048576
      }
    },
    "content": [{
      "reader": {
        "name": "streamreader",
        "parameter": {
          "column": [{
              "value": "DataX",
              "type": "string"
            },
            {
              "value": "test",
              "type": "bytes"
            }
          ],
          "sliceRecordCount": 10000
        }
      },
      "writer": {
        "name": "streamwriter",
        "parameter": {
          "fieldDelimiter": "\t",
          "print": "true"
        }
      }
    }]
  }
}
EOF
python $DATAX_HOME/bin/datax.py --jvm '-Xms3g -Xmx3g' datax-job.json

适用于

• Dataphin

说明：本文适用于公共云v2.9.4-3版本代码任务模块。