SelectDB数据源

支持的SelectDB版本

使用限制

• 数据集成仅支持离线写入SelectDB。

• 不支持写入BITMAP，HLL（HyperLogLog）、QUANTILE_STATE类型的字段。

支持的字段类型

各版本SelectDB的全量字段类型请参见SelectDB官方文档。下面以SelectDB 2.2.22为例，为您介绍SelectDB支持的字段类型。

数据同步前准备：SelectDB环境准备

在DataWorks上进行数据同步前，您需要参考本文提前在SelectDB侧进行数据同步环境准备，以便在DataWorks上进行SelectDB数据同步任务配置与执行时服务正常。以下为您介绍SelectDB同步前的相关环境准备。

准备工作1：确认SelectDB的版本

数据集成对SelectDB版本有要求，详情请参见支持的SelectDB版本，您可以在SelectDB控制台查看当前待同步的SelectDB是否符合版本要求。

准备工作2：创建账号，并配置账号权限

建议您提前规划并创建一个专用于DataWorks访问数据源的SelectDB账号，如果您需要使用SelectDB数据仓库默认的admin用户进行登录，那么您需要为admin用户设置密码，如下图所示。

准备工作3：配置SelectDB的网络连接

SelectDB具有私网连接和公网连接两种模式，数据集成允许您通过私网或公网连接到SelectDB。

1. 通过私网连接：私网连接具有较大的带宽和较稳定的连接，因此推荐使用私网连接。在使用私网连接之前，需要按照连接设置文档，创建一个终端节点。在终端节点创建完成且状态从创建中变为可用，连接状态从连接中变为已连接后，您还需要将终端节点所在的VPC与资源组所在的VPC进行绑定，具体操作可以参考配置资源组与网络连通。

2. 通过公网连接：您需要将资源组的EIP地址添加到SelectDB的白名单管理中。获取独享数据集成资源组EIP地址如下：

数据同步任务开发：SelectDB同步流程指导

创建数据源

在进行数据同步任务开发时，您需要在DataWorks上创建一个对应的数据源，操作流程请参见创建并管理数据源。下面对SelectDB数据源的几个配置项进行说明：

• MySQL连接地址：请填写JDBC连接串您可以直接从SelectDB控制台的连接方式 > 其他方式中复制JDBC连接串，支持公网IP和私网IP。

• HTTP连接地址：请填写HTTP协议访问地址。您可以直接从SelectDB控制台的连接方式 > 其他方式中复制HTTP协议访问地址，支持公网IP和私网IP。

• 用户名：请填写SelectDB数据仓库的用户名。

• 密码：请填写SelectDB数据仓库对应用户的密码。

单表离线同步任务配置指导

• 操作流程请参见通过向导模式配置离线同步任务、通过脚本模式配置离线同步任务。

• 脚本模式配置的全量参数和脚本Demo请参见下文的附录：SelectDB脚本Demo与参数说明。

附录：SelectDB脚本Demo与参数说明

附录：离线任务脚本配置方式

如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的writer参数，脚本模式的统一要求请参见通过脚本模式配置离线同步任务，以下为您介绍脚本模式下的数据源Writer参数的指导详情。

SelectDB Writer脚本Demo

{
  "stepType": "selectdb",//插件名。
  "parameter":
  {
    "postSql"://执行数据同步任务之后率先执行的SQL语句。
    [],
    "preSql":
    [],//执行数据同步任务之前率先执行的SQL语句。
    "datasource":"selectdb_datasource",//数据源名。
    "table": "selectdb_table_name",//表名。
    "column":
    [
      "id",
      "table_id",
      "table_no",
      "table_name",
      "table_status"
    ],
    "loadProps":{
      "format":"csv",//指定为csv格式
      "column_separator": "\\x01",//指定列分隔符
      "line_delimiter": "\\x02"//指定行分隔符
    }
  },
  "name": "Writer",
  "category": "writer"
}

SelectDB Writer脚本参数

"loadProps": {
    "format": "json",
    "strip_outer_array":true
}

"loadProps": {
    "format":"csv",
    "column_separator": "\\x01",
    "line_delimiter": "\\x02"
}