GBASE consumer 消费数据条数不一致

阅读 127

2022-02-28

问题现象

使用 RTsync 同步 db2 中的一张表与 gbase 中的表数据条数不一致,gbase 中多了

500 多条数据。

解决方法:

通过比对发现是 gbase 中没有正确删除部分数据导致,对异常部分的数据进行分析

发现没有删掉的数据都是联合主键中其中一个字段包含了空值导致。

rtsync 生产的消息,isColValNull 永远是 false,所以 consumer 按照 not null 来

处理,导致问题现象。设置 consumer 参数_t_gcluster_kafka_null_transform=1,

这样 consumer 会判断 kafka 消息的数据如果是 A="",会自动认为 A is null,然后

按照 null 的逻辑来处理。

精彩评论(0)

0 0 举报