StarRocks数据源

支持的版本

• 支持EMR Serverless StarRocks 2.5和3.1版本。

• 支持EMR on ECS：StarRocks 2.1版本。详情请参见：StarRocks概述。

• 支持社区版StarRocks。社区版StarRocks请参见：StarRocks官方网站。

  说明

  社区版StarRocks的开放性较强，若在数据源使用过程中出现适配性问题，欢迎提交工单反馈。

支持的字段类型

支持大部分StarRocks类型，包括数值类型、字符串类型、日期类型。

数据同步前准备

为保证资源组网络连通性，您需要提前将后续要使用的DataWorks独享资源组的白名单IP地址添加至EMR Serverless StarRocks实例的内网白名单中，同时，还需要允许该网段访问9030、8030、8040端口。

• 各DataWorks独享资源组的白名单IP地址可查看以下文档获取：

  • 使用独享数据集成资源组执行任务需要在数据库添加的IP白名单

  • （可选）添加白名单

  • 获取白名单IP地址：独享数据服务资源组

• 添加EMR Serverless StarRocks实例白名单的操作入口如下。

  

数据同步任务开发

StarRocks数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数的文案提示。

附录：脚本Demo与参数说明

附录：离线任务脚本配置方式

如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见通过脚本模式配置离线同步任务，以下为您介绍脚本模式下的数据源的Reader参数和Writer参数的指导详情。

Reader脚本Demo

{
    "stepType": "starrocks",
    "parameter": {
        "selectedDatabase": "didb1",
        "datasource": "starrocks_datasource",
        "column": [
            "id",
            "name"
        ],
        "where": "id>100",
        "table": "table1",
        "splitPk": "id"
    },
    "name": "Reader",
    "category": "reader"
}

Reader脚本参数

Writer脚本Demo

{
    "stepType": "starrocks",
    "parameter": {
        "selectedDatabase": "didb1",
        "loadProps": {
            "row_delimiter": "\\x02",
            "column_separator": "\\x01"
        },
        "datasource": "starrocks_public",
        "column": [
            "id",
            "name"
        ],
        "loadUrl": [
            "1.1.1.1:8030"
        ],
        "table": "table1",
        "preSql": [
            "truncate table table1"
        ],
        "postSql": [
        ]
    },
    "name": "Writer",
    "category": "writer"
}

Writer脚本参数