Hive数据源

阿里云实例模式

如果您要同步此实例下的OSS表，请选择对应的访问身份，支持阿里云主账号，阿里云子账号及RAM角色三种访问身份。请确保选择的OSS访问身份有对应的OSS权限，否则数据同步会因为读写权限不足失败。

连接串模式

{"dlf.catalog.id" : "my_catalog_xxxx"}

{
//HA的相关配置示例如下。
"dfs.nameservices":"testDfs",
"dfs.ha.namenodes.testDfs":"namenode1,namenode2",
"dfs.namenode.rpc-address.testDfs.namenode1": "",
"dfs.namenode.rpc-address.testDfs.namenode2": "",
"dfs.client.failover.proxy.provider.testDfs":"org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"
//（可选）底层存储为OSS时，需在扩展参数中配置以下连接OSS服务所需的参数。
"fs.oss.accessKeyId":"<yourAccessKeyId>",
"fs.oss.accessKeySecret":"<yourAccessKeySecret>",
"fs.oss.endpoint":"oss-cn-<yourRegion>-internal.aliyuncs.com"
}

CDH模式

如果您需使用CDH模式配置Hive数据源，则需注册CDH集群至DataWorks。

Kerberos认证

SSL认证

单表离线同步任务配置指导

• 操作流程请参见向导模式配置、脚本模式配置。

• 脚本模式配置的全量参数和脚本Demo请参见下文的附录：脚本Demo与参数说明。

整库离线读同步配置指导

操作流程请参见整库离线同步任务。

离线任务脚本配置方式

如果您配置离线任务时使用脚本模式的方式进行配置，您需要按照统一的脚本格式要求，在任务脚本中编写相应的参数，详情请参见脚本模式配置，以下为您介绍脚本模式下数据源的参数配置详情。

Reader脚本Demo

您可以基于HDFS文件和Hive JDBC读取数据：

• 基于HDFS文件读取数据

  {
      "type": "job",
      "steps": [
          {
              "stepType": "hive",
              "parameter": {
                  "partition": "pt1=a,pt2=b,pt3=c", //分区信息
                  "datasource": "hive_not_ha_****", //数据源名称
                  "column": [ //需要读取的字段列
                      "id",
                      "pt2",
                      "pt1"
                  ],
                  "readMode": "hdfs", //读取方式
                  "table": "part_table_1",
                  "fileSystemUsername" : "hdfs",
                  "hivePartitionColumn": [
                      {
                        "type": "string",
                        "value": "分区名1"
                      },
                      {
                        "type": "string",
                        "value": "分区名2"
                       }
                   ],
                   "successOnNoFile":true
              },
              "name": "Reader",
              "category": "reader"
          },
          {
              "stepType": "hive",
              "parameter": {
              },
              "name": "Writer",
              "category": "writer"
          }
      ],
      "version": "2.0",
      "order": {
          "hops": [
              {
                  "from": "Reader",
                  "to": "Writer"
              }
          ]
      },
      "setting": {
          "errorLimit": {
              "record": "" //错误记录数
          },
          "speed": {
              "concurrent": 2, //作业并发数
              "throttle": true,//当throttle值为false时，mbps参数不生效，表示不限流；当throttle值为true时,表示限流。
              "mbps":"12"//限流
          }
      }
  }

• 基于Hive JDBC读取数据

  {
      "type": "job",
      "steps": [
          {
              "stepType": "hive",
              "parameter": {
                  "querySql": "select id,name,age from part_table_1 where pt2='B'",
                  "datasource": "hive_not_ha_****",  //数据源名称
                   "session": [
                      "mapred.task.timeout=600000"
                  ],
                  "column": [ //需要读取的字段列
                      "id",
                      "name",
                      "age"
                  ],
                  "where": "",
                  "table": "part_table_1",
                  "readMode": "jdbc" //读取方式
              },
              "name": "Reader",
              "category": "reader"
          },
          {
              "stepType": "hive",
              "parameter": {
              },
              "name": "Writer",
              "category": "writer"
          }
      ],
      "version": "2.0",
      "order": {
          "hops": [
              {
                  "from": "Reader",
                  "to": "Writer"
              }
          ]
      },
      "setting": {
          "errorLimit": {
              "record": ""
          },
          "speed": {
              "concurrent": 2,  //作业并发数
              "throttle": true,//当throttle值为false时，mbps参数不生效，表示不限流；当throttle值为true时,表示限流。
              "mbps":"12"//限流            
              
          }
      }
  }

Reader脚本参数

Writer脚本Demo

{
    "type": "job",
    "steps": [
        {
            "stepType": "hive",
            "parameter": {
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "hive",
            "parameter": {
                "partition": "year=a,month=b,day=c", // 分区配置
                "datasource": "hive_ha_shanghai", // 数据源
                "table": "partitiontable2", // 目标表
                "column": [ // 列配置
                    "id",
                    "name",
                    "age"
                ],
                "writeMode": "append" ,// 写入模式
                "fileSystemUsername" : "hdfs"
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "version": "2.0",
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    },
    "setting": {
        "errorLimit": {
            "record": ""
        },
        "speed": {
            "throttle":true,//当throttle值为false时，mbps参数不生效，表示不限流；当throttle值为true时,表示限流。
            "concurrent":2, //作业并发数。
            "mbps":"12"//限流
        }
    }
}

Writer脚本参数