数据节点

本文为您介绍如何创建数据节点。完成创建后,您可以在 数据节点 页面,查看当前租户下的所有数据节点。节点列表支持按照数据节点名称进行筛选(支持模糊匹配),还支持按类型(文件DB离线)进行筛选。

创建数据节点

  1. 登录资金安全监控控制台,在左侧导航栏单击 数据节点

  2. 在数据节点列表页,单击 新建数据节点

  3. 新建数据节点 页面,填写以下基本信息:

    • 数据节点名称:节点的名称,租户内唯一。长度为 1-100 个字符,可包含中英文、数字和下划线(_)。

    • 创建类:支持 文件DB离线一旦完成创建,该项不能修改。

    • 描述:节点的备注信息,选填。长度为 1-500 个字符。

  4. 根据上一步选择的 创建类,进行相应的配置。

    • 文件/DB

      • 数据源:选择对应的数据源配置,也可通过输入数据源配置名称关键字来选择。如果尚未创建数据源配置,可单击右侧的 新建数据源配置。详情请参见 创建数据源配置

      • 参与核对字段:需要参与核对的字段。对于 文件 是指文件属性中的字段。对于 DB 是指 SQL 中查询出来的字段。

        说明

        如果有多个需要参与核对的字段,则中间用英文逗号(,)隔开。

      • 排序字段:用于指定对当前数据进行排序所依据的字段。可从输入的核对字段中选择。

      • 取数策略:可选择 每次取 1 行 取固定字段

        • 每次取 1 行:核对时从排序后的数据中两边各取一条数据,然后进行比较。

        • 取固定字段:将值相同的数据一次取出。

          注意

          该固定字段必须与排序字段相同。

      • 散列字段:用于数据分片时进行散列计算的字段。当核对的数据量较大时,可选择参与核对字段的某个字段,针对某几位进行散列,读取到的数据就会按照散列后的值散列到不同分片中,支持后续并发排序和核对,从而提升核对效率。

        说明

        散列字段可以与排序字段保持一致。

      • 散列位数:自定义的散列位数。例如 4-6,表示取 4、5 两位。

      • 高级配置默认保持关闭。如果开启,则需要填写过滤表达式。

        说明

        关于 过滤表达式,即对数据进行逐条过滤处理,支持 Groovy 语法。

      • 是否汇总核对:默认保持关闭。如果开启,需配置相关参数(见下图)。如需配置多条,单击 新增属性 即可。

        1
    • 离线

      • 离线数据源配置:选择对应的离线数据源配置,也可通过输入数据源配置名称关键字来选择。如果尚未创建离线数据源配置,可单击右侧的 新建数据源配置。详情请参见 创建数据源配置

      • 离线表:选择用于核对的 ODPS 表。

        说明
        ODPS 表支持模糊匹配,如果匹配不到,建议您前往 DataWorks 平台确认项目名、表名。
  5. 配置完成后,单击 提交

    上述操作完成后,可在数据节点列表页面,看到刚创建的节点。

查看数据点详情

单击数据节点列表内数据节点名称,进入 数据节点详情 页面,即可查看数据节点详情,主要包含以下两部分内容:

  • 基本信息(图示中 ①)

  • 配置信息(图示中 ②)

1

修改数据节点

  1. 单击数据节点列表操作列的 修改,进入 修改数据节点 页面。

  2. 根据需要修改节点信息。

  3. 完成后单击 提交 保存修改。修改后的节点信息将在关联的核对点中同步生效。