通过DataWorks导入数据

更新时间:
复制 MD 格式

本文介绍如何使用DataWorks数据集成的OpenSearch Writer,通过脚本模式将离线数据导入OpenSearch召回引擎版,并说明Writer脚本示例、参数和使用限制。

适用范围

本文适用于 OpenSearch 向量检索版和召回引擎版。

使用限制

  • OpenSearch Writer支持使用Serverless资源组(推荐)和独享数据集成资源组,不支持使用自定义资源组。

  • OpenSearch的列是无序的,因此OpenSearch Writer写入时,需严格按照指定的列的顺序写入。如果指定的列比OpenSearch的列少,则其余列使用默认值或null。

  • 当前仅支持使用脚本模式将离线数据写入OpenSearch。

配置离线同步任务

数据同步任务的配置入口和通用配置流程可参见下文的配置指导。

附录:Writer脚本示例与参数说明

离线任务脚本配置方式

如果您配置离线任务时使用脚本模式的方式进行配置,您需要按照统一的脚本格式要求,在任务脚本中编写相应的参数,详情请参见脚本模式配置,以下为您介绍脚本模式下数据源的参数配置详情。

Writer脚本示例

以下为Writer配置片段,请根据实际数据源、表和字段修改参数。

{
  "stepType": "opensearch",
  "parameter": {
    "indexName": "",
    "column": [
      {
        "name": "col3double",
        "type": "DOUBLE"
      },
      {
        "name": "col2vector",
        "type": "MULTI_FLOAT"
      }
    ],
    "datasource": "zm_test_vector_01",
    "batchSize": "500",
    "table": "demotable"
  },
  "name": "Writer",
  "category": "writer"
}

Writer脚本参数

参数

描述

是否必选

默认值

table

写入数据的表名,不能填写多张表,因为DataX不支持同时导入多张表。

是

无

column

需要导入的字段列表。字段配置格式请参见上文的Writer脚本示例。

是

无

batchSize

单次写入的数据条数。OpenSearch写入为批量写入,通常OpenSearch的优势在于查询,写入的每秒处理事务数(TPS)不高,请根据账号申请的资源进行设置。

通常OpenSearch的单条数据小于1 MB,单次写入小于2 MB。

—

300

常见问题

列配置错误的处理

为保证写入数据的可靠性,避免多余列数据丢失造成数据质量故障。对于写入多余的列,OpenSearch Writer将报错。例如OpenSearch表字段为a、b、c,如果OpenSearch Writer写入的字段多于3列,OpenSearch Writer将报错。

表配置注意事项

OpenSearch Writer一次只能写入一个表。

任务重跑和Failover

重跑后会自动根据ID覆盖。因此,插入OpenSearch的列中,必须有一个ID,该ID是OpenSearch中一行记录的唯一标识。唯一标识一样的数据,会被覆盖掉。

相关文档

DataWorks:OpenSearch数据源