Dataphin集成了mongodb的数据后在即席查询数据为空

更新时间:

产品名称

Dataphin

产品模块

数据集成

概述

本文为您介绍mongodb的数据被集成到Dataphin中,在Dataphin中查询不到数据的原因

问题描述

您的集成任务执行成功了,为什么在即席查询中查询部到数据?

问题原因

解决方案

1.首先检查任务日志,可以看到一共写入了2274条记录,任务平均流量为0B/s。所以可以判断出来集成到Dataphin的数据本来就为空,这也是为什么即席查询出来为空的原因。

2.经确认,通过客户端在mongodb上查询,该集合的数据记录数也是2274,且数据均不为空。同时核对Dataphin中配置的mongodb数据源信息,与在客户端查询的库和集合信息一致,因此可以排除数据源添加错误的因素。

3.再次查看集成日志,发现从源端同步的字段为unique_id,sid,user_id,而从客户端查询源端出来的数据并没有这三个字段。通过测试mongodb的输入组件,发现这三个字段是批量添加功能中的示例字段。因为源端没有这三个字段,所以读到的数据默认就为空,导致写入到Dataphin中的数据也是空的。

更多信息

相关文档