Dataphin如何使用DataX同步数据

概述

本文主要讲述Dataphin使用DataX同步数据的操作方法。

详细信息

1. 在开发模块的数据处理中找到计算任务，创建shell脚本。
   
2. 输入DataX的模板，修改相关配置信息。

   @required_resource{required_memory=3000MB;required_disk=2GB;required_cpus=2.0}
   #!/bin/bash
   cat > datax-job.json <<EOF
   {
     "job": {
       "setting": {
         "speed": {
           "byte": 1048576
         }
       },
       "content": [{
         "reader": {
           "name": "streamreader",
           "parameter": {
             "column": [{
                 "value": "DataX",
                 "type": "string"
               },
               {
                 "value": "test",
                 "type": "bytes"
               }
             ],
             "sliceRecordCount": 10000
           }
         },
         "writer": {
           "name": "streamwriter",
           "parameter": {
             "fieldDelimiter": "\t",
             "print": "true"
           }
         }
       }]
     }
   }
   EOF
   python $DATAX_HOME/bin/datax.py --jvm '-Xms3g -Xmx3g' datax-job.json

   说明：在上面的模板中，我们需要更改JSON中的reader（表示读入的数据库）和writer（表示写出的数据库）。name是数据库名，username是用户名，password是密码，jdbcUrl是数据库的URL。

适用于

• Dataphin