kafka
-
关于Kafka事务处理的详细讲解
Kafka事务 producer可能给多个topic，多个partition发送消息，这些消息组成一个事务，这些消息需要对consumer同时可见或者同时不可见。Kafka事务需要…
-
记一次线上kafka重复消费的问题解决及思考
目录 问题 排查原因 生产者原因 消费者可能原因 1. 重复消息被分到同一消费者的同一批次处理 2. 重复消息被分到同一消费者的不同批次处理 3. 重复消息被几乎同时分到不同消费者…
-
Kafka(二）原理详解
一 、kafka核心总控制器（Controller） 在Kafka集群中会有一个或者多个broker，其中有一个broker会被选举为控制器（Kafka Controller），它…
-
kafka springBoot 配置
1、properties 配置 control.command.kafka.enabled=true control.command.kafka.bootstrap-servers…
-
ELK+kafka+filebeat企业内部日志分析系统
1、组件介绍 1、Elasticsearch： 是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTf…
-
6.2、Flink数据写入到Kafka
目录 1、添加POM依赖 2、API使用说明 3、序列化器 3.1 使用预定义的序列化器 3.2 使用自定义的序列化器 4、容错保证级别 4.1 至少一次 的配置 4.2 精确一次…
-
Kafka学习
Kafka的消息通过主题（topic）进行分类 主题可以被分为若干个分区（partition），一个分区就是一个提交日志，通过分区来实现数据冗余和伸缩性 消息以追加的方式写入分区，…
-
flinkcdc同步完全量数据就不同步增量数据了
flinkcdc同步完全量数据就不同步增量数据了 使用flinkcdc同步mysql数据，使用的是全量采集模型 startupOptions(StartupOptions.earl…
-
Kafka-服务端-PartitionLeaderSelector、ReplicaStateMachine
PartitionLeaderSelector 通过对前面的分析可知，PartitionMachine将Leader副本选举、确定ISR集合的工作委托给了PartitionLead…
-
Kafka
目录 1、Kafka简要描述 1.1、kafka 1.2 消息队列 1.3、为什么需要消息队列 1.4 kafka架构 1.5 分布式模型 1.6 Kafka网址 2、Kafka集…
-
「查缺补漏」 Kafka 核心知识梳理
这篇文章干货很多，希望你可以耐心读完。 Kafka 基础知识15问 Kafka 是什么, 适应场景有哪些? Kafka 是一个分布式的流式处理平台，用于实时构建流处理应用。主要应用…
-
【Kafka每日一问】kafka三种压缩方式差别?
Kafka 提供了三种压缩算法，分别是GZIP、Snappy 和 LZ4。 这三种压缩算法的差异主要在以下方面： 压缩比：GZIP 压缩比最高，DEFLATE 算法，但压缩和解压缩…
-
Kafka延迟队列的实现方式
在现代的分布式系统中，延迟队列是一种常见的解决方案，用于处理具有延迟要求的任务或消息。Apache Kafka是一个高性能、可扩展的分布式消息队列，可以作为延迟队列的基础设施。本文…
-
Helm方式部署 zookeeper+kafka 集群 ——2023.05
文章目录 版本概况 一、添加helm仓库 二、安装部署集群 2.1 在线安装zookeeper+kafka集群 2.2 离线安装zookeeper+kafka集群 三、验证kafk…
-
【kafka性能测试脚本详解、性能测试、性能分析与性能调优】
Kafka 性能测试 一、介绍 Apache Kafka 官方提供了两个客户端性能测试脚本，它们的存放位置如下： 生产者性能测试脚本：$KAFKA_HOME/bin/kafka-p…
