Doris数据源

确认Doris的版本

数据集成对Doris版本有要求，您可以参考上文支持的Doris版本章节，查看当前待同步的Doris是否符合版本要求。您可以在Doris的官方网站下载对应的版本，并且安装。

创建账号，并配置账号权限

您需要规划一个数据仓库的登录账号用于后续操作，同时，您需要为该账号设置密码，以便后续连接到数据仓库。如果您要使用Doris默认的root用户进行登录，那么您需要为root用户设置密码。root用户默认没有密码，您可以在Doris上执行SQL来设置密码：

SET PASSWORD FOR 'root' = PASSWORD('密码')

配置Doris的网络连接

使用StreamLoad导入数据，需要访问FE节点的私网地址。如果访问FE的公网地址，则会被重定向到BE节点的内网IP（数据操作问题）。因此，您需要将Doris的网络与数据集成使用的Serverless资源组或独享数据集成资源组打通，使之通过内网地址进行访问。网络打通的具体操作可以参考网络连通方案。

离线任务脚本配置方式

如果您配置离线任务时使用脚本模式的方式进行配置，您需要按照统一的脚本格式要求，在任务脚本中编写相应的参数，详情请参见脚本模式配置，以下为您介绍脚本模式下数据源的参数配置详情。

Reader脚本Demo

{
  "type": "job",
  "version": "2.0",//版本号。
  "steps": [
    {
      "stepType": "doris",//插件名。
      "parameter": {
        "column": [//列名。
          "id"
        ],
        "connection": [
          {
            "querySql": [
              "select a,b from join1 c join join2 d on c.id = d.id;"
            ],
            "datasource": ""//数据源名称。
          }
        ],
        "where": "",//过滤条件。
        "splitPk": "",//切分键。
        "encoding": "UTF-8"//编码格式。
      },
      "name": "Reader",
      "category": "reader"
    },
    {
      "stepType": "stream",
      "parameter": {},
      "name": "Writer",
      "category": "writer"
    }
  ],
  "setting": {
    "errorLimit": {
      "record": "0"//错误记录数。
    },
    "speed": {
      "throttle": true,//当throttle值为false时，mbps参数不生效，表示不限流；当throttle值为true时,表示限流。
      "concurrent": 1,//作业并发数。
      "mbps": "12"//限流，此处1mbps = 1MB/s。
    }
  },
  "order": {
    "hops": [
      {
        "from": "Reader",
        "to": "Writer"
      }
    ]
  }
}

Reader脚本参数

Writer脚本Demo

{
  "stepType": "doris",//插件名。
  "parameter":
  {
    "postSql"://执行数据同步任务之后率先执行的SQL语句。
    [],
    "preSql":
    [],//执行数据同步任务之前率先执行的SQL语句。
    "datasource":"doris_datasource",//数据源名。
    "table": "doris_table_name",//表名。
    "column":
    [
      "id",
      "table_id",
      "table_no",
      "table_name",
      "table_status"
    ],
    "loadProps":{
      "column_separator": "\\x01",//指定CSV格式的列分隔符
      "line_delimiter": "\\x02"//指定CSV格式的行分隔符
    }
  },
  "name": "Writer",
  "category": "writer"
}

Writer脚本参数

"loadProps": {
    "format":"csv",
    "column_separator": "\t",
    "line_delimiter": "\n"
}

"loadProps": {
    "format": "json"
}

聚合类型脚本（Doris Writer写入聚合类型）

Doris Writer支持写入聚合类型，但是需要在脚本模式中做额外的配置。如下所示。

例如，对于如下一张Doris的表，其中，uuid是bitmap类型（聚合类型）、sex是HLL类型（聚合类型）。

CREATE TABLE `example_table_1` (
  `user_id` int(11) NULL,
  `date` varchar(10) NULL DEFAULT "10.5",
  `city` varchar(10) NULL,
  `uuid` bitmap BITMAP_UNION NULL, -- 聚合类型
  `sex` HLL HLL_UNION  -- 聚合类型
) ENGINE=OLAP AGGREGATE KEY(`user_id`, `date`,`city`)
COMMENT 'OLAP' DISTRIBUTED BY HASH(`user_id`) BUCKETS 32

往表中插入原始数据：

user_id,date,city,uuid,sex
0,T0S4Pb,abc,43,'54'
1,T0S4Pd,fsd,34,'54'
2,T0S4Pb,fa3,53,'64'
4,T0S4Pb,fwe,87,'64'
5,T0S4Pb,gbr,90,'56'
2,iY3GiHkLF,234,100,'54'

通过Doris Writer写入聚合类型时，不仅需要在writer.parameter.column中指定该列，还需要在writer.parameter.loadProps.columns中配置聚合函数。例如，为uuid使用聚合函数bitmap_hash，为sex使用聚合函数hll_hash。

脚本模式示例：

{
    "stepType": "doris",//插件名。
    "writer":
    {
        "parameter":
        {
            "column":
            [
                "user_id",
                "date",
                "city",
                "uuid",// 聚合类型bitmap
                "sex"// 聚合类型HLL
            ],
            "loadProps":
            {
                "format": "csv",
                "column_separator": "\\x01",
                "line_delimiter": "\\x02",
                "columns": "user_id,date,city,k1,uuid=bitmap_hash(k1),k2,sex=hll_hash(k2)"// 需要指定聚合函数
            },
            "postSql":
            [
                "select count(1) from example_tbl_3"
            ],
            "preSql":
            [],
            "datasource":"doris_datasource",//数据源名。
                    "table": "doris_table_name",//表名。
        }
          "name": "Writer",
              "category": "writer"
    }
}