本文介绍如何使用DataWorks数据集成的OpenSearch Writer,通过脚本模式将离线数据导入OpenSearch召回引擎版,并说明Writer脚本示例、参数和使用限制。
适用范围
本文适用于 OpenSearch 向量检索版和召回引擎版。
使用限制
OpenSearch Writer支持使用Serverless资源组(推荐)和独享数据集成资源组,不支持使用自定义资源组。
OpenSearch的列是无序的,因此OpenSearch Writer写入时,需严格按照指定的列的顺序写入。如果指定的列比OpenSearch的列少,则其余列使用默认值或null。
当前仅支持使用脚本模式将离线数据写入OpenSearch。
配置离线同步任务
数据同步任务的配置入口和通用配置流程可参见下文的配置指导。
操作流程请参见脚本模式配置。
脚本模式配置的全量参数和脚本Demo请参见下文的附录:Writer脚本示例与参数说明。
附录:Writer脚本示例与参数说明
离线任务脚本配置方式
如果您配置离线任务时使用脚本模式的方式进行配置,您需要按照统一的脚本格式要求,在任务脚本中编写相应的参数,详情请参见脚本模式配置,以下为您介绍脚本模式下数据源的参数配置详情。
Writer脚本示例
以下为Writer配置片段,请根据实际数据源、表和字段修改参数。
{
"stepType": "opensearch",
"parameter": {
"indexName": "",
"column": [
{
"name": "col3double",
"type": "DOUBLE"
},
{
"name": "col2vector",
"type": "MULTI_FLOAT"
}
],
"datasource": "zm_test_vector_01",
"batchSize": "500",
"table": "demotable"
},
"name": "Writer",
"category": "writer"
}Writer脚本参数
参数 | 描述 | 是否必选 | 默认值 |
table | 写入数据的表名,不能填写多张表,因为DataX不支持同时导入多张表。 | 是 | 无 |
column | 需要导入的字段列表。字段配置格式请参见上文的Writer脚本示例。 | 是 | 无 |
batchSize | 单次写入的数据条数。OpenSearch写入为批量写入,通常OpenSearch的优势在于查询,写入的每秒处理事务数(TPS)不高,请根据账号申请的资源进行设置。 通常OpenSearch的单条数据小于1 MB,单次写入小于2 MB。 | — | 300 |
常见问题
列配置错误的处理
为保证写入数据的可靠性,避免多余列数据丢失造成数据质量故障。对于写入多余的列,OpenSearch Writer将报错。例如OpenSearch表字段为a、b、c,如果OpenSearch Writer写入的字段多于3列,OpenSearch Writer将报错。
表配置注意事项
OpenSearch Writer一次只能写入一个表。
任务重跑和Failover
重跑后会自动根据ID覆盖。因此,插入OpenSearch的列中,必须有一个ID,该ID是OpenSearch中一行记录的唯一标识。唯一标识一样的数据,会被覆盖掉。