Dataphin的集成管道配置数据源数据表时,报错“从租户...
问题描述 Dataphin的集成管道配置数据源数据表时,报错：从租户XXX的数据源XXX获取元数据失败 DataSourceNotAvailableException java Exception:Unknown systerm variable 'xxxxx'。解决方案 原因是数据源版本选了MySQL 8.0的数据源，重新...
Dataphin中Oracle数据源数据通过管道同步至HIVE库，...
问题描述 Dataphin中Oracle数据源数据通过管道同步至HIVE库，发现NVCHAR2类型的字段映射至STRING类型字段，同步之后数据查询为乱码。Oracle和HIVE库组件编码都是UTF-8，且源表字段类型是VARCHAR2不会乱码，NVCHAR2的就都会乱码。Oracle数据...
Dataphin数据集成管道同步内存溢出问题
问题描述 试跑数据集成中的数据同步时候发现试跑报错，内存溢出。问题原因 由于通道配置引起的报错。解决方案 调整通道配置参数 适用于 Dataphin
Dataphin中Hive数据通过管道任务同步到Hbase数据库，...
问题描述 Dataphin中Hive数据通过管道任务同步到Hbase数据库，运行报错"java.lang.IllegalArgumentException:KeyValue size too large。具体日志如下所示：2021-12-22 14:39:38.179[0-0-99-reader]INFO ReaderImpl-Reading ORC rows from ...
Dataphin管道任务数据中有表情包时运行报“ERROR ...
问题描述 管道任务MaxCompute数据库数据集成到MySQL数据库，数据中包含表情包等特殊字符，任务运行报错。2021-09-09 11:39:05.486[DlinkTrans-in_article]INFO DlinkLogbackListener-in_article-完成处理(I=1,O=0,R=0,W=1,U=0,E=0)2021-09-...
Dataphin管道任务将数据同步到Oracle数据库选择表之后...
问题描述 Dataphin管道任务将数据同步到Oracle数据库选择表之后报错“获取元数据失败SQLTimeoutException：ORA-01013:user requested cancel of current operation”。问题原因 根据报错“ORA-01013:user requested cancel of current ...
Dataphin管道任务同步数据，hive源表报错“ERROR ...
问题描述 Dataphin管道任务同步数据，hive源表报错“ERROR DlinkTaskPluginCollector-脏数据”。问题原因 hive源表字段数据中有单个双引号，导致同步时数据分割错了，抛出了“ERROR DlinkTaskPluginCollector-脏数据”错误。解决方案 可以...
Dataphin管道任务补数据提示will skip and set ...
问题描述 Dataphin管道任务补数据提示will skip and set success.然后直接跳过，如下图所示。问题原因 由于任务设置的空跑状态，所以会直接置成功。解决方案 如果需要周期补充数据在任务调度配置中将时间属性设置为正常调度，如果需要手动...
Dataphin管道任务为什么抽取数据量少于来源表数据量？
概述 本文主要介绍管道任务抽取数据量少于来源表数据量的原因。详细信息 Dataphin管道任务为什么抽取数据量少于来源表数据量？原因如下：管道任务抽取之后，数据库数据发生了变化。数据库主从同步延迟，数据源配置的从库，抽取数据量和主库...
Dataphin管道任务同步数据报错“java.lang....
问题描述 用户使用管道任务同步数据时报错“java.lang.OutOfMemoryError:Compressed class space”。问题原因 管道任务运行过程中压缩类空间溢出，默认大小1GB。解决方案 创建一个shell任务，内容如下：@required_resource{required_memory...
Dataphin管道任务将FTP数据源STRING类型数据同步到...
问题描述 管道任务将FTP数据源STRING类型数据同步到Hive数据源中DATE类型字段，当FTP中改STRING类型数据为空时，管道任务会提示脏数据。但是FTP中该字段为空数据正常业务场景。2021-11-08 18:42:43.305[0-0-0-reader]INFO ...
Dataphin管道任务是否支持数据数仓的动态分区
问题描述 Dataphin管道任务是否支持数据数仓的动态分区。问题原因 静态分区与动态分区的分区字段都是一个表外的虚拟字段,静态分区需要是手动指定分区字段及文件位置(load data);动态分区则是根据指定的字段值自动判断分区；目前Dataphin...
Dataphin 管道任务如何同步逻辑表数据
概述 本文描述了Dataphin 管道任务如何同步逻辑表数据。详细信息 管道任务的输入组件中，有LogicalTable输入组件可以同步逻辑表数据。逻辑表类型包括事实逻辑表、维度逻辑表、汇总逻辑表和标签逻辑表。相关文档 ...
Dataphin管道任务将MongoDB数据同步到MaxCompute发现...
问题描述 Dataphin中通过管道任务将MongoDB中的数据同步到MaxCompute，发现有重复数据。原MongoDB表里有96条数据，同步到MaxCompute中有108条数据，通过对比分析发现_id字段值重复了12条。问题原因 客户同步了_id字段，该字段是MongoDB的...
Dataphin管道任务中预览数据发现过滤条件未生效
概述 本文描述了Dataphin管道任务中预览数据发现过滤条件未生效的处理方法。详细信息 管道任务配置过滤条件后，执行预览，发现数据依然是全量数据。解决办法：点击到过滤_1页面，重新执行预览即可。适用于 Dataphin 公共云2.9.4-3
Dataphin管道任务抽取rdbms类数据库数据，切分键使用...
产品名称 Dataphin 产品模块 数据集成 概述 管道任务中来源表数据总数和管道任务同步的数据总数不一致。但是去掉切分键后，再运行任务数据量一致 问题描述 客户管道任务抽取SqlServer数据时，查询来源表数据总数和管道任务同步的数据总数不...
Dataphin生产数据源和开发数据源不一致在管道任务中...
概述 Dataphin生产数据源和开发数据源不一致在管道任务中如何自动切换。详细信息 只需要在配置数据源的时候将开发和生产按照业务实际绑定到对应的设置中，比如生产数据源配置：开发数据源配置：然后在管道任务中开发项目正常发布到生产项目...
Dataphin管道任务从Oracle向MySQL同步数据由于主键...
问题描述 管道任务中，从Oracle向MySQL同步数据，在Oracle有...管道任务运行成功，状态正常。问题原因 由于MySQL存在主键或者唯一性索引，该列在Oracle中所有数据相同，因此导致数据丢失。解决方案 根据需要，对数据进行加工。适用于 Dataphin
Dataphin管道任务将逻辑表数据集成到业务数据库中时，...
概述 本文主要介绍Dataphin管道任务将逻辑表数据集成到业务数据库中时，调度配置中如何解析逻辑表任务为上游依赖。详细信息 由于Dataphin3.3版本开始，管道任务中没有自动解析的按钮，很多用户将逻辑表数据通过管道任务同步到其他业务数据...
Dataphin中管道任务将MySQL数据同步到Maxcompute，...
问题描述 管道任务将MySQL数据同步到Maxcompute，运行报错“[同步数据出现业务脏数据情况，数据类型转换错误.]-String['']不能转为BigDecimal.-java.lang.NumberFormatException”。完整的异常如下：2021-11-05 00:12:18.966[0-0-0-writer]...
Dataphin开发环境的管道任务手动引入数据，但是在即席...
问题描述 Dataphin开发环境的管道任务手动引入数据，但是在即席查询中查这张表，数据为0。问题原因 odps的开发数据源配置的project name 是生产项目，不是开发项目，所以数据写入到了生产项目。解决方案 更正数据源的project name 配置即可...
Dataphin管道任务中需要同步大量数据时内存设置上限
概述 描述管道任务中需要同步大量数据时内存设置上限的方法。用户通过管道任务要将大量的文件进行同步，这个内存要如何调整？详细信息 在管道任务的通道配置中，JVM配置可以设置运行内存，最大可以设置为8G。当管道任务同步数据较多时，...
Dataphin中管道任务中，SQLServer数据源无法显示数据...
问题描述 在管道任务中，SQL Server数据源无法显示数据表，只能显示数据源。当前用户具备数据源的读权限。数据源的设置如下：问题原因 SQL Server中数据源的schema填写错误，用户将schema填写为DatabaseName。解决方案 更正SQL Server数据...
Dataphin中管道任务选择MaxCompute数据源提示“元数据...
问题描述 Dataphin中管道任务选择MaxCompute数据源提示“元数据内部错误”。问题原因 添加数据源时，Access ID和Access Key等信息正确，可以成功添加数据源。随后客户修改了MaxCompute的Access ID和Access Key。导致管道任务中可以选择该...
Dataphin中基于自定义数据源创建的管道任务发布报错...
问题描述 基于离线自定义组件创建数据源如下：基于该自定义数据源创建管道任务，发布该任务的时候报错“子域发布预检失败”、“DPN.Pipeline.Object.NotExisted”：问题原因 管道任务发布的时候会同时校验如下信息：生产项目和开发项目中...
Dataphin管道任务给MaxCompute表中写数据，如何执行预...
概述 本文主要介绍Dataphin管道任务给MaxCompute表中写数据，执行预执行SQL清空分区数据的方法。详细信息 Dataphin管道任务给MaxCompute表中写数据，如何执行预执行SQL清空分区数据呢？方法如下：如果MaxCompute表获取数据的方式只有该管道...
Dataphin管道任务是否支持同步视图表数据
问题描述 Dataphin管道任务是否支持同步视图表数据？解决方案 目前Dataphin仅Hologres，ODPS，Hadoop非关系型数据库，不支持同步视图表数据；其他数据库都支持同步视图表数据，包括SqlServer，MySQL，Oracle 等关系型数据库。适用于 ...
Dataphin创建管道任务从ODPS向ADB同步数据时提示DataX...
问题描述 Dataphin创建管道任务，从ODPS向ADB同步数据报“DataX 抽取 ODPS 数据不支持字段类型为:[DATE].目前支持抽取的字段类型有：bigint,boolean,datetime,double,decimal,string”错误。问题原因 因为date是MaxCompute 2.0数据类型，...
Dataphin管道任务可以读取Oracle数据源的伪列吗
概述 Dataphin管道任务可以读取Oracle数据源的伪列吗？详细信息 管道任务读不到rowid。伪列只在数据库内部使用。伪列类似表的列，但不实际存在于表中。不能插入或删除伪列的值。伪列可使用CURRVAL,NEXTVAL,LEVEL,ROWID,ROWNUM。currval返回...
Dataphin中管道任务从MaxCompute同步Emoj数据到MySQL8...
概述 Dataphin中管道任务从MaxCompute同步Emoj数据到MySQL8出现脏数据。jdbcUrl":"jdbc:mysql:/rm-rn0e2179640.mysql.rds.aliyuncs.com:3306/da?\bcharacterEncoding=UTF-8mb4" 详细信息 执行以下命令查询MySQL数据集相关参数：SHOW ...
Dataphin管道任务输入组件为Hana数据源，选中表之后报...
问题描述 Hana数据源在管道任务中选择对应的表后提示没有足够权限获取元数据信息。报错信息如下：“从租户XXX的数据源XXX获取元数据失败JDBCDriverException SAP DBTech JDBC:[258]:insufficient privilege:Detailed info for this error ...
Dataphin中管道任务从CSV文件读取数据显示乱码
问题描述 Dataphin中管道任务从CSV文件读取数据显示乱码。问题原因 CSV文件编码的问题。解决方案 将CSV文件转化为UTF-8格式，本地CSV输入配置文件编码选择UTF-8。适用于 Dataphin
Dataphin中如何解决管道集成选不到已有数据源的问题
产品名称 Dataphin 产品模块 研发，权限 概述 本文为您介绍Dataphin中管道集成任务选不到已有数据源的原因及解决方法 问题描述 新建了数据源，在管道集成任务中选不到该数据源 问题原因 没有给该用户或者该项目授权 解决方案 1.进入...
Dataphin离线管道任务同步FTP数据报错...
问题描述 用户在使用离线管道任务同步数据的时候，报错“com.jcraft.jsch.JSchException: connection is closed by foreign host”。问题原因 系统SSH终端连接数配置过小，查看虚拟机该参数（该参数在/etc/ssh/sshd_config中配置，为...
Dataphin提交管道任务为什么会提示对数据源没有写权限...
概述 本文主要介绍提交管道任务提示对数据源没有写权限的原因。详细信息 在提交管道任务时，提示“对数据源没有写权限”，为什么会有这样的提示？原因如下：当创建Dev项目、Prod项目或Basic项目时，系统会自动生成一个生产账号与其项目一一...
Dataphin管道任务如何同步HBase源表全部字段数据
问题描述 Dataphin管道任务如何同步HBase源表全部字段数据。解决方案 在管道任务中直接使用HBase输入组件只能同步主键字段数据或普通字段数据，如果需要同步HBase表全部字段数据，需要使用脚本模式输入组件。{"parameter":{"mode":"normal...
Dataphin管道任务中对上游数据解密后进行同步，报错...
问题描述 Dataphin输入组件中来源表的数据在上游通过UDF函数进行了加密，管道任务通过解密组件对数据进行解密之后再同步到目标表。管道任务运行报错“解密数据异常,请检查配置！java.lang.Exception:AES decrypt error”。完整的异常如下：...
Dataphin离线管道抽取HANA的数据，源系统字段是...
概述 本文主要描述了Dataphin离线管道抽取HANA的数据，源系统字段是varbinary,Dataphin上使用String类型显示乱码的解决方法。详细信息 用户要使用这个字段，那这个字段就需要加工，二进制数据转换成字符串一定是乱码，所以是需要转换成其他...
Dataphin中管道任务将FTP数据同步至HIVE，运行报错"您...
问题描述 Dataphin中管道任务抽取FTP数据，报错“ERROR DlinkTaskPluginCollector-脏数据:{"message":"您尝试读取的列越界,源文件该行有[31]列,您尝试读取第[32]列,数据详情[.]”，且读取的中文数据有乱码。完整的报错信息如下：2021-11-08...
Dataphin管道任务将FTP数据同步到Hive，运行报错...
问题描述 Dataphin管道任务将FTP数据同步到Hive，运行报错“java.io.IOException:Input is not in the.gz format”。完整报错信息如下：2022-09-15 18:36:43.234[0-0-0-reader]INFO FtpReader$Task-reading file:[/upload/DLOAD/dwa_busi_...
- 产品推荐
- 这些文档可能帮助您