Dataphin同步数据到MySQL报错“Incorrect string value”

问题描述

Dataphin同步数据到MySQL报错“Incorrect string value”。

2022-10-28 08:52:50.917 [0-2-2-writer] WARN  CommonRdbmsWriter$Task - 回滚此次写入, 采用每次写入一行方式提交. 因为:Incorrect string value: '\xF0\xA0\x93\x97\xE5\xBC...' for column 'XXX' at row 11

问题原因

该问题产生原因为待写入插入数据的字符集与表结构的默认字符集不匹配导致的这个问题。比如我们插入了一条数据，其中某个字段值包含了一个字符，这个字符是以四个字节进行编码的。但是我们表结构的默认字符集（utf8）最大允许三个字节作为一个字符，此时就会出现这个错误。

解决方案

客户数据源测需要修改MySQL的编码格式配置为utf8bm4，且对应MySQL数据库、表编码格式修改为utf8mb4。

适用于

• Dataphin
• 集成任务