变更数据源

更新时间:
复制 MD 格式

OpenSearch同张表只支持一种类型的数据源,如需换库操作,如RDS切换为MaxComputeRDS数据源切换不同的库等,可参考此文档进行变更。

操作步骤

删除旧数据源

  1. 点击线下变更,然后点击下一步至数据源。

  2. 点击删除按钮,删除需要替换的数据源。

添加新数据源

  1. 点击添加数据源,选择 MaxCompute 数据源类型。

  2. 点击新建数据库,配置MaxCompute(原ODPS)信息,填写project,以及已经在 MaxCompute授权的账号的accessKeyaccessKeySecret:

    连接数据库对话框中填写完成后,单击连接

  3. 在左侧数据表列表中勾选目标表(如 people_info),单击 >> 按钮将其移至右侧已选择列表。

    完成后,查看对应的映射关系是否与原数据源一致,也可根据业务需求,进行微调,如果原数据源字段中有使用到数据源插件的情况,可点击内容转换下方+添加与原数据源一致的插件即可,符合需求后点击确定

    重要

    配置应用结构时,OpenSearch规定必须要有一张主表,并且各个表需要配置唯一的主键字段。

    配置插件:在弹出的插件及参数设置对话框左侧,可选择以下插件:HTMLTagRemoverJsonKeyValueExtractorKeyValueExtractorStringCatenateExtractor。选择插件后在右侧完成参数配置,单击保存

  4. 选择分区信息:

    根据MaxCompute(原ODPS)数据特性,OpenSearch允许用户根据具体需要来指定导入的分区,支持正则表达式,表示导入前一天的数据,结合应用基本信息-索引重建-定时索引重建功能,可以实现每天导入新分区数据的效果,配置完成后点击完成,等待新版本构建完成测试即可。

    正则表达式 (等号/逗号/分号/双竖线为系统保留,每天自动导入前1天分区全量数据条件例子ds=%Y%m%d || -1 days)

说明

ds为分区字段名,“=”两边不允许有空格等其他不可见字符