kafka
-
kafka3.6.0部署
部署zk https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.9.1/apache-zookeepe…
-
【Spring Boot】集成Kafka实现消息发送和订阅
文章目录 一，新建Spring Boot 1，Maven配置 2，无法识别为SpringBoot项目 3，无效的源发行版 4，无法访问SpringApplication 5，运行直…
-
Flink SQL 任务消费Kafka写hudi的性能调优总结
背景 2023年双11高峰之际，实时平台有一个消费Kafka写hudi的Flink SQL类型的实时任务，每天Kafka流入的高峰时段有近350万/分钟的流入量，而任务的消费速率平…
-
java.lang.LinkageError: loader constraint violation: loader (instance of org/apache/flink/util/Child
运行 flink job用application模式运行时 flink run-application -t yarn-application /opt/flink/flink-j…
-
prometheus监控kafka
一、前言 关于对kafka的监控，要求高的话可以使用kafka-exorter和jmx-exporter一起收集监控数据，要求不高的情况下可以使用kafka-exporter…
-
项目Es、kafka、mysql容量评估方案和服务器资源预估方案
目录 1、Es 评估计划 一个接口jmeter压测qps 1万, logstash 读取日志文件写入es Logstash配置 Es容量变化前后差值/1万 * 1.67 * （1+…
-
Spring Boot中使用Kafka时遇到“构建Kafka消费者失败“的问题
在使用Spring Boot开发应用程序时，集成Apache Kafka作为消息队列是一种常见的做法。然而，有时候在配置和使用Kafka时可能会遇到一些问题。本文将探讨在Sprin…
-
Kafka学习—4、消费者（分区消费、分区平衡策略、offset、漏消费和重复消费）
1、消费者 1.1 Kafka消费方式 1、pull（拉）模式：consumer采用从broker中主动拉取数据。 2、push（推）模式：Kafka没有采用这种方式。因为brok…
-
Kerberos安全认证-连载12-Kafka Kerberos安全配置及访问
目录 1. Kafka配置Kerberos 2. 客户端操作Kafka 3. Java API操作Kafka 4. StructuredStreaming操作Kafk…
-
部署Kafka
kafka：kafka_2.13-3.5.1 NOTE: Your local environment must have Java 8+ installed. Apache Ka…
-
Kafka 的 Consumer Group 解读
作为一份笔记，本文再次梳理一下 Kafka 的 Consumer Group。我们知道，一个 Topic 往往会有多个 Partition，一条消息只会被写到一个 Kafka 的 …
-
kafka消费报错卡死：内存溢出OutOfMemoryError: Java heap space
文章目录 现象 排查 解决 现象 我们信控平台使用Java语言开发，Spring Cloud微服务架构，采用容器化部署，所有服务都部署在docker里面，使用docker-comp…
-
深度解析：Kafka、ActiveMQ、RabbitMQ、RocketMQ的区别与比较
目录 引言 1. Kafka 1.1 架构设计 1.2 特点与优势 2. ActiveMQ 2.1 架构设计 2.2 特点与优势 3. RabbitMQ 3.1 架构设计 3.2 …
-
Kafka怎么保证数据不丢失，不重复
Kafka是一个分布式消息队列系统，具有高可靠性、高性能和高扩展性等特点。在数据传输过程中，Kafka采用了多种措施来保证数据的可靠性，包括数据复制、数据持久化、数据备份等。本文将…
-
Kafka数据丢失原因及解决方案
Kafka包括Producer、Broker、Consumer，因此从这三个方面分析。 Producer端 丢失原因：Kafka在Producer端的消息发送采用的是异步发送的方式…
