文档

Dataphin如何使用DataX同步数据

更新时间:
一键部署

概述

本文主要讲述Dataphin使用DataX同步数据的操作方法。

详细信息

  1. 开发模块的数据处理中找到计算任务,创建shell脚本
  2. 输入DataX的模板,修改相关配置信息。
    @required_resource{required_memory=3000MB;required_disk=2GB;required_cpus=2.0}
    #!/bin/bash
    cat > datax-job.json <<EOF
    {
      "job": {
        "setting": {
          "speed": {
            "byte": 1048576
          }
        },
        "content": [{
          "reader": {
            "name": "streamreader",
            "parameter": {
              "column": [{
                  "value": "DataX",
                  "type": "string"
                },
                {
                  "value": "test",
                  "type": "bytes"
                }
              ],
              "sliceRecordCount": 10000
            }
          },
          "writer": {
            "name": "streamwriter",
            "parameter": {
              "fieldDelimiter": "\t",
              "print": "true"
            }
          }
        }]
      }
    }
    EOF
    python $DATAX_HOME/bin/datax.py --jvm '-Xms3g -Xmx3g' datax-job.json
    说明:在上面的模板中,我们需要更改JSON中的reader(表示读入的数据库)和writer(表示写出的数据库)。name是数据库名,username是用户名,password是密码,jdbcUrl是数据库的URL。

适用于

  • Dataphin

 

  • 本页导读
文档反馈