kafka
-
kerberos认证Flink的kafka connector和kafka client配置
一、flink-connector-kakfa 1. kafka配置文件 kafka jaas必须配置，如果缺少，则报一下错误。 Caused by: java.lang.Ille…
-
【flink番外篇】15、Flink维表实战之6种实现方式-完整版（1）
Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。…
-
53、Flink 的Broadcast State 模式介绍及示例
Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。…
-
Kafka 之生产者与消费者基础知识：基本配置、拦截器、序列化、分区器
一、生产者配置 1. 必须要配置的参数： kafaf集群地址列表：理论上写一个节点地址，就相当于绑定了整个kafka集群了，但是建议多写几个，如果只写一个，万一宕机就麻烦了 kaf…
-
【Kafka】华为kafka认证报错 Server not found in Kerberos database (7) – LOOKING
1.概述 最近要进行华为的环境认证，然后我他们说要他们的包，我是有2个服务，一个是web服务，一个是FLink任务，因为web的好替换我，直接替换成他们的包。 我把他们的包放到ma…
-
Kafka为什么高吞吐量
1、顺序读写 kafka的消息是不断追加到文件中的，这个特性使kafka可以充分利用磁盘的顺序读写性能，顺序读写不需要硬盘磁头的寻道时间，只需很少的扇区旋转时间，所以速度远快于随机…
-
kafka（一：分区数据不均衡（数据倾斜），分区分配策略）
一：数据倾斜，导致各个分区数据不均匀。最终导致kafka堵塞，数据消费不动。 第一步：先停掉kafka中，上游和下游的代码，对分配数据较多的分区进行重新分配。 https://cl…
-
springboot多kafka配置
第一步：引入maven依赖 org.springframework.kafka spring-kafka 第二步：新增配置文件 以下为大致结构，供参考 spring: kafka:…
-
kafka消费相关问题（GPT回答版本）
kafka消费相关问题（GPT回答版本） 在Java中，要避免重复消费Kafka消息，可以使用以下方法 1. 使用消费者组： 在设置Kafka消费者时，可以指定一个消费者组。一个消…
-
Kafka 如何实现顺序消息
版本说明 本文所有的讨论均在如下版本进行，其他版本可能会有所不同。 Kafka: 3.6.0 Pulsar: 2.9.0 RabbitMQ 3.7.8 RocketMQ 5.0 G…
-
[springboot配置Kafka] springboot配置多个kafka,包含账号密码
说明 本示例只配置了Consumer没有配置Producer，可参考配置文件_1中注释内容部分 1.引入依赖 org.springframework.kafka spring-ka…
-
Kafka在linux中的安装
Kafka 集群部署 概述 环境准备 JDK安装 Docker环境安装 Kafka集群搭建（ZK模式） zookeeper集群搭建 zookeeper部署情况 准备工作 下载安装包…
-
Failed to construct kafka producer
问题重述： org.apache.kafka.common.KafkaException: Failed to construct kafka producer Caused by…
-
【flink番外篇】13、Broadcast State 模式示例-简单模式匹配（1）
Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。…
-
kafka简单介绍和代码示例
“这是一篇理论文章，给大家讲一讲kafka” 简介 在大数据领域开发者常常会听到MQ这个术语，该术语便是消息队列的意思， Kafka是分布式的发布—订阅消息系统。它最初由Linke…
