文档

Dataphin集成任务从Oracle 抽数据到 Hive,过滤组件中对Date类型数据处理出现脏数据

更新时间:
一键部署

问题描述

Dataphin集成任务从Oracle 抽数据到 Hive,过滤组件中对Date类型数据处理出现脏数据。

{
    "category":"filter",
    "distribute":true,
    "name":"WHERE",
    "parameter":{
     "condition":" (ODS_LOAD_DT == '2021-12-31')",
     "conditionObject":"[{\"func\":\"==\",\"leftValue\":\"ODS_LOAD_DT\",\"rightValue\":{\"text\":\"'2021-12-31'\",\"type\":\"String\"}}]"
    },
    "stepType":"aviator"
   },

问题原因

使用问题,不能直接对Date数据类型过滤。

解决方案

需要再添加一个计算组件,新增一个字段把这个字段转换成字符串,然后进行过滤。

适用于

  • Dataphin 
  • 本页导读