kafka

前言 现在假定这么一个业务场景，从kafka中的topic获取消息数据，经过一定加工处理后，发送到另外一个topic中，要求整个过程消息不能丢失，也不能重复发送，即实现端到端的Ex…

前言 最近对Kafka 集群部署了 Kafka_exporter 监控，并集成了 granfana 图标展示。 发现 Consumer Group Lag 有时候为负数。 于是进行…

目录 一、基本概念 二、技术特性 三、设计思想 四、运维建议 一、基本概念    Apache kafka 是一个分布式的基于push-subscribe的消息系统，它具备快速、可…

目录 配置 Kafka 及对应的 属性处理类 配置Kafka Kafka配置属性的约定 代码演示 生产者相关的配置 消费者相关的配置 代码（配置文件） application.pr…

报错信息 // 提供了配置，但不是已知的配置。 [] – The configuration ‘kafka.input.topics’ was supplied but isn’t…

GroupMetadataManager是GroupCoordinator中负责管理Consumer Group元数据以及其对应offset信息的组件。 GroupMetadata…

一、实时流式计算 1. 概念 一般流式计算会与批量计算相比较。在流式计算模型中，输入是持续的，可以认为在时间上是无界的，也就意味着，永远拿不到全量数据去做计算。同时，计算结果是持续…

推荐资源 官网 http://kafka.apache.org/ Github https://github.com/apache/kafka 书籍 《深入理解Kafka 核心设计…

文章目录 1. 监控指标采集 1.1 部署kafka_exporter 1.2 prometheus采集kafka_exporter的暴露指标 1.3 promethues配置告警…

Kafka基本使用 1.查看Kafka的进程是否在运行 #命令行终端中运行如下命令 ps -ef | grep kafka 或者 ps aux | grep kafka | gre…