日志节点发布说明

类别

说明

优化

优化Binlog数量较多时show binary logs语句的查询效率，并解决出现的卡慢问题。

修复

修复对JSON数据类型进行数据整形时缓冲区溢出的问题。

修复CDC升级过程中metaDB发生HA切换导致metaDataSource scan线程退出的问题。

修复binlog_dumper_info更新时的死锁问题。

类别

说明

新增&优化

新增支持flush logs语句。

优化透明消费对外dump的速度。

CDC获得DN连接不依赖is_vip。

CDC获取metadb连接去除管控依赖。

修复

修复包含BIGINT SIGNED列定义的建表语句及解析语法报错问题。

修复recover tso生成算法可能导致binlog list空洞的问题。

修复只读实例扩缩容后，Task dump主实例DN搜不到起始位点的问题。

类别

说明

新增

新增支持对transaction对象进行持久化，以降低内存占用。

修复

修复基于历史TSO进行恢复时，recover tso不能小于最近一次扩缩容打标事务的TSO的问题。

修复CDC Dumper主备同步过程中，Dumper Master本地文件被删导致grpc线程无法退出的问题。

类别

说明

修复

修复从OSS消费binlog时，可能触发心跳窗口冲突导致链路出错的问题。

修复针对TableMapEvent进行整形时概率性出现数据格式转换错误的问题。

修复DDL Event中Sql_Mode值和原始Sql_Mode不一致的问题。

修复针对nchar、nvarchar类型逻辑表和物理表元数据不一致的问题。

修复当ddl sql中包含换行符时转单行注释失效的问题。

类别

说明

优化&新增

新增支持对工作进程的CPU使用率进行监控统计。

新增支持对EPS进行更细粒度的监控（INSERT/UPDATE/DELETE）。

优化binlog文件上传OSS速度，bps提升至700MB/s。

新增CDC运维命令（start master/stop master/restart master/reset master）。

修复

修复透明消费离线binlog时，发生长时间block的问题。

修复binlog文件在读取过程中被删除导致dump线程无法退出的问题。

修复当物理DDL元数据过多时，reset master失败的问题。

修复DDL Event中Sql_Mode值和原始sql_mode不一致的问题。

修复同一个sql中同时包含add primary key和drop primary key，导致下游MySQL报错的问题。

类别

说明

修复

修复SchemaRepository执行完SQL之后，列序不符合预期的问题。

修复数据整形时，针对空字符串整形触发NPE的问题。

类别

说明

修复

修复元数据信息超过数据类型mediumtext的长度导致数据截断的问题。

类别

说明

修复

修复mysql charset未转换为java charset导致解析失败的问题。

类别

说明

优化

优化binlog同步链路恢复时间，RTO缩短至15S。

优化数据表数量达到几十万规模时，CDC元数据信息的恢复速度。

修复

修复透明消费binlog时可能发生的位点计算错误问题。

修复针对text(0)进行元数据一致校验时的兼容性问题。

类别

说明

修复

修复连续增加主键和删除主键，导致CDC链路中断的问题。

修复消费程序在进行binlog dump前，未发送COM_REGISTER_SLAVE引起CDC主动断连的问题。

修复多流数据路由，Hash值为Integer.MIN_VALUE时导致数据链路中断的问题。

类别

说明

新增&优化

支持多级归并，实现DN节点线性增加时，性能无明显衰减。

支持透明消费，下游消费程序通过dump协议，可直接消费归档到OSS的binlog文件，无需下游自行对接OSS。

支持多流binlog，可自定义流的个数，每条流拥有独立的binlog文件日志流。

支持定时构建全量元数据Snapshot，解决历史DDL打标记录过度膨胀问题。

支持从OSS并行下载binlog文件，提升实例恢复速度。

修复

修复触发binlog event数据整形时的兼容性和正确性问题，进一步提升DDL变更期间CDC链路的稳定性。

修复CDC集群发生重启后，下游订阅可能发生dump超时的问题。

修复Dumper进程初次启动时，计算的延迟时间有误的问题。