文档

配置StarRocks输出组件

更新时间:

StarRocks输出组件用于向StarRocks数据源写入数据。同步其他数据源的数据至StarRocks数据源的场景中,完成源数据源的信息配置后,需要配置StarRocks输出组件写入数据的目标数据源。本文为您介绍如何配置StarRocks输出组件。

前提条件

stream load同步数据延迟说明

当使用stream load方式向StarRocks数据库导入数据时,返回的状态有以下几种情况,可能出现publish timeout情况,此情况下任务也是成功的,但是会存在查询延迟情况。请关注运行日志中的状态:

  • Success:表示导入成功,数据可经可见。

  • Publish Timeout:表示导入作业已经成功Commit,但是由于某种原因并不能立即可见。我们可以视为已经成功不必重试导入。

  • Label Already Exists:表明该Label已经被其他作业占用,可能是导入成功,也可能是正在导入。

  • Fail:此次导入失败,可以指定Label重试此次作业。

操作步骤

  1. 请参见离线管道组件开发入口,进入离线单条管道脚本的开发页面。

  2. 按照下图指引,进入StarRocks输出配置对话框。

    image.png

  3. StarRocks输出配置对话框,配置参数。

    参数

    说明

    步骤名称

    根据当前组件的使用场景,填写组件名称。

    数据源

    选择数据源。选择Dataphin系统已配置的数据源,且数据源需同时具备以下两个条件:

    • 数据源的类型与输出组件的类型一致。

    • 执行属性配置的账号具有该数据源的同步写权限,如果没有权限,则需要申请数据源权限,详情请参见申请、续期和交还数据源权限

    同时您也可以单击数据源后的新建添加数据源,详情请参见创建StarRocks数据源

    选择输出数据的目标表。

    copy模式下不支持选择视图。

    解析方案

    可选择输出数据前后的语句准备,详情请单击页面右上方的组件说明

    CSV导入列分隔符

    使用StreamLoad CSV导入,此处可配置CSV导入列分隔符,默认\t,如使用默认值请不要在此显式指定。如果您的数据中本身包含\t,则需自定义使用其他字符作为分隔符。

    CSV导入行分隔符

    使用StreamLoad CSV导入,此处可配置CSV导入行分隔符,默认\n,如使用默认值请不要在此显式指定。如果您的数据中本身包含\n,则需自定义使用其他字符作为分隔符。

    输入字段

    根据上游的输入组件的输出字段,为您展示输入字段。

    输出字段

    根据选择的为您展示输出字段。如果不需要将某些字段输出,则您可以删除对应的字段。

    • 如果需要删除少量的字段,则可以单击操作列下的image图标,删除多余的字段。

    • 如果需要删除大批量字段,则可以单击字段管理,在字段管理页面选择多个字段后,单击image图标,将已选的输入字段移入到未选的输入字段

      image

    映射关系

    根据上游的输入和目标表的字段,可以手动选择字段映射。快速映射包括同行映射同名映射

  4. 单击确定,完成StarRocks输出组件的属性配置。

  • 本页导读 (0)
文档反馈