配置Impala输出组件

Impala输出组件用于向Impala数据源写入数据。同步其他数据源的数据至Impala数据源的场景中,完成源数据源的信息配置后,需要配置Impala输出组件写入数据的目标数据源。本文为您介绍如何配置Impala输出组件。

前提条件

  • 已创建Impala数据源,如何创建,请参见创建Impala数据源

  • 进行Impala输出组件属性配置的账号,需具备该数据源的同步读权限。如果没有权限,则需要申请数据源权限,详情请参见申请数据源权限

操作步骤

  1. 请参见离线管道组件开发入口,进入离线管道脚本的开发页面。

  2. 按照下图指引,进入Impala输出配置对话框。

    image

    序号

    描述

    单击页面右上角的组件库

    单击输出

    将Impala组件拖到左侧的管道画布中。

    ④和⑤

    单击上游组件④处后拖动鼠标指向下游组件⑤处中,形成有向连线。

    鼠标悬停至Impala组件框内右单击,选择属性配置

  3. 在Impala输出配置对话框,配置参数。

    image

    参数

    说明

    步骤名称

    根据当前组件的使用场景,填写组件名称。

    数据源

    选择数据源。选择Dataphin系统已配置的数据源,且数据源需同时具备以下两个条件:

    • 数据源的类型与输出组件的类型一致。

    • 执行属性配置的账号具有该数据源的同步写权限,如果没有权限,则需要申请数据源权限,详情请参见申请数据源权限

    同时您也可以单击数据源后的新建添加数据源,详情请参见创建Impala数据源

    选择输出数据的目标表。

    加载策略

    向目标数据源(Impala数据源)写入表中的策略。加载策略包括覆盖和追加,适用场景说明如下:

    • 追加数据策略下,当指主键、约束冲突时,系统会提示脏数据错误。

    • 覆盖数据策略下,当主键、约束冲突时,系统会先删除原数据,再插入整行新数据。

    解析方案

    可选择输出数据前后的语句准备,详情请单击页面右上方的组件说明

    输入字段

    根据上游的输入组件的输出字段,为您展示输入字段。

    输出字段

    根据选择的为您展示输出字段。如果不需要将某些字段输出,则您可以删除对应的字段。

    • 如果需要删除少量的字段,则可以单击操作列下的image图标,删除多余的字段。

    • 如果需要删除大批量字段,则可以单击字段管理,在字段管理页面选择多个字段后,单击image图标,将已选的输入字段移入到未选的输入字段

      image

    映射关系

    根据上游的输入和目标表的字段,可以手动选择字段映射。快速映射包括同行映射同名映射

  4. 单击确定,完成Impala输出组件的属性配置。

后续步骤

完成输出组件的配置后,即可配置离线单条管道的调度参数,详情请参见周期性管道调度配置