StarRocks输出组件用于向StarRocks数据源写入数据。同步其他数据源的数据至StarRocks数据源的场景中,完成源数据源的信息配置后,需要配置StarRocks输出组件写入数据的目标数据源。本文为您介绍如何配置StarRocks输出组件。
前提条件
已创建StarRocks数据源,如何创建,请参见创建StarRocks数据源。
进行StarRocks输出组件属性配置的账号,需具备该数据源的同步读权限。如果没有权限,则需要申请数据源权限,详情请参见申请、续期和交还数据源权限。
stream load同步数据延迟说明
当使用stream load方式向StarRocks数据库导入数据时,返回的状态有以下几种情况,可能出现publish timeout情况,此情况下任务也是成功的,但是会存在查询延迟情况。请关注运行日志中的状态:
Success:表示导入成功,数据可经可见。
Publish Timeout:表示导入作业已经成功Commit,但是由于某种原因并不能立即可见。我们可以视为已经成功不必重试导入。
Label Already Exists:表明该Label已经被其他作业占用,可能是导入成功,也可能是正在导入。
Fail:此次导入失败,可以指定Label重试此次作业。
操作步骤
请参见离线管道组件开发入口,进入离线单条管道脚本的开发页面。
按照下图指引,进入StarRocks输出配置对话框。
在StarRocks输出配置对话框,配置参数。
参数
说明
步骤名称
根据当前组件的使用场景,填写组件名称。
数据源
选择数据源。选择Dataphin系统已配置的数据源,且数据源需同时具备以下两个条件:
数据源的类型与输出组件的类型一致。
执行属性配置的账号具有该数据源的同步写权限,如果没有权限,则需要申请数据源权限,详情请参见申请、续期和交还数据源权限。
同时您也可以单击数据源后的新建添加数据源,详情请参见创建StarRocks数据源。
表
选择输出数据的目标表。
copy模式下不支持选择视图。
解析方案
可选择输出数据前后的语句准备,详情请单击页面右上方的组件说明。
CSV导入列分隔符
使用StreamLoad CSV导入,此处可配置CSV导入列分隔符,默认
\t
,如使用默认值请不要在此显式指定。如果您的数据中本身包含\t
,则需自定义使用其他字符作为分隔符。CSV导入行分隔符
使用StreamLoad CSV导入,此处可配置CSV导入行分隔符,默认
\n
,如使用默认值请不要在此显式指定。如果您的数据中本身包含\n
,则需自定义使用其他字符作为分隔符。输入字段
根据上游的输入组件的输出字段,为您展示输入字段。
输出字段
根据选择的表为您展示输出字段。如果不需要将某些字段输出,则您可以删除对应的字段。
如果需要删除少量的字段,则可以单击操作列下的
图标,删除多余的字段。
如果需要删除大批量字段,则可以单击字段管理,在字段管理页面选择多个字段后,单击
图标,将已选的输入字段移入到未选的输入字段。
映射关系
根据上游的输入和目标表的字段,可以手动选择字段映射。快速映射包括同行映射和同名映射。
单击确定,完成StarRocks输出组件的属性配置。