Impala输出组件用于向Impala数据源写入数据。同步其他数据源的数据至Impala数据源的场景中,完成源数据源的信息配置后,需要配置Impala输出组件写入数据的目标数据源。本文为您介绍如何配置Impala输出组件。
前提条件
已创建Impala数据源,如何创建,请参见创建Impala数据源。
进行Impala输出组件属性配置的账号,需具备该数据源的同步读权限。如果没有权限,则需要申请数据源权限,详情请参见申请数据源权限。
操作步骤
请参见离线管道组件开发入口,进入离线管道脚本的开发页面。
按照下图指引,进入Impala输出配置对话框。
序号
描述
①
单击页面右上角的组件库。
②
单击输出。
③
将Impala组件拖到左侧的管道画布中。
④和⑤
单击上游组件④处后拖动鼠标指向下游组件⑤处中,形成有向连线。
⑥
鼠标悬停至Impala组件框内右单击,选择属性配置。
在Impala输出配置对话框,配置参数。
参数
说明
步骤名称
根据当前组件的使用场景,填写组件名称。
数据源
选择数据源。选择Dataphin系统已配置的数据源,且数据源需同时具备以下两个条件:
数据源的类型与输出组件的类型一致。
执行属性配置的账号具有该数据源的同步写权限,如果没有权限,则需要申请数据源权限,详情请参见申请数据源权限。
同时您也可以单击数据源后的新建添加数据源,详情请参见创建Impala数据源。
表
选择输出数据的目标表。
加载策略
向目标数据源(Impala数据源)写入表中的策略。加载策略包括覆盖和追加,适用场景说明如下:
追加数据策略下,当指主键、约束冲突时,系统会提示脏数据错误。
覆盖数据策略下,当主键、约束冲突时,系统会先删除原数据,再插入整行新数据。
解析方案
可选择输出数据前后的语句准备,详情请单击页面右上方的组件说明。
输入字段
根据上游的输入组件的输出字段,为您展示输入字段。
输出字段
根据选择的表为您展示输出字段。如果不需要将某些字段输出,则您可以删除对应的字段。
如果需要删除少量的字段,则可以单击操作列下的图标,删除多余的字段。
如果需要删除大批量字段,则可以单击字段管理,在字段管理页面选择多个字段后,单击图标,将已选的输入字段移入到未选的输入字段。
映射关系
根据上游的输入和目标表的字段,可以手动选择字段映射。快速映射包括同行映射和同名映射。
单击确定,完成Impala输出组件的属性配置。
后续步骤
完成输出组件的配置后,即可配置离线单条管道的调度参数,详情请参见周期性管道调度配置。