kafka（一：分区数据不均衡（数据倾斜），分区分配策略）

• 大数据

一：数据倾斜，导致各个分区数据不均匀。最终导致kafka堵塞，数据消费不动。

第一步：先停掉kafka中，上游和下游的代码，对分配数据较多的分区进行重新分配。

https://cloud.tencent.com/developer/article/1755177

二：重新修改进入kafka的代码，防止进行后期继续发生数据倾斜。

可以设置一个新的列，根据这个列进行hash。

三：kafka默认自动存储在zk中。如果想存储到其他地方，例如mysql，需要手动进行修改。

本文来自网络，不代表协通编程立场，如若转载，请注明出处：https://www.net2asp.com/04da93c566.html

赞 (0)
« 上一篇 1天前
下一篇 » 1天前

相关推荐