kafka
-
Kafka消息监控管理工具Offset Explorer的使用教程
1、kafka监控管理工具 Offset Explorer是一款用于监控和管理Apache Kafka集群中消费者组偏移量的开源工具。它提供了一个简单直观的用户界面,用于查看和管理…
-
KAFKA高级应用
kafka高级应用 一些kafka的基础使用以及说明请参考上一篇文章kafka的基础入门。这篇文章主要是写kafka的一些高级特性、存储结构以及原理。 1.kafka副本同步机制 …
-
Kafka 可视化工具 Kafka Tool
使用Kafka的小伙伴,有没有为无法直观地查看 Kafka 的 Topic 里的内容而发过愁呢? 下面推荐给大家一款带有可视化页面的Kafka工具:Kafka Tool (目前最新…
-
@KafkaListener 详解及消息消费启停控制
参考:Kafka参数 一、@KafkaListener注解 @KafkaListener(id = “11111”, groupId = “demo-group”,topics =…
-
分布式 – 消息队列Kafka:Kafka 消费者消息消费与参数配置
文章目录 1. Kafka 消费者消费消息 01. 创建消费者 02. 订阅主题 03. 轮询拉取数据 2. Kafka 消费者参数配置 01. fetch.min.bytes 0…
-
【Kafka】Kafka客户端认证失败:Cluster authorization failed.
背景 kafka客户端是公司内部基于spring-kafka封装的 spring-boot版本:3.x spring-kafka版本:2.1.11.RELEASE 集群认证方式:S…
-
Windows系统下快速启动Kafka
目录 一、获取Kafka 二、启动KAFKA环境 2.1 启动zookeeper服务 2.2 启动Kafka服务 2.3 验证 Kafka 服务是否正常工作 三、操作Kafka 3…
-
实时计算大作业kafka+zookeeper+storm+dataV
第一章 总体需求 1.1.课题背景 近年来,大数据称为热门词汇,大数据分析随着互联网技术的发展愈加深入电商营销之 中,越来越多的电商企业利用大数据分析技术,利用信息化对产业发展营销…
-
Flink1.14新版KafkaSource和KafkaSink实践使用(自定义反序列化器、Topic选择器、序列化器、分区器)
前言 在官方文档的描述中,API FlinkKafkaConsumer和FlinkKafkaProducer将在后续版本陆续弃用、移除,所以在未来生产中有版本升级的情况下,新API…
-
ElasticStack日志分析平台-ES 集群、Kibana与Kafka
一、Elasticsearch 1、介绍: Elasticsearch 是一个开源的分布式搜索和分析引擎,Logstash 和 Beats 收集的数据可以存储在 Elasticse…
-
用好 kafka,你不得不知的那些工具
前言 工欲善其事,必先利其器。本文主要分享一下消息中间件 kafka 安装部署的过程,以及我平时在工作中针对 kafka 用的一些客户端工具和监控工具。 kafka 部署架构 一个…
-
Kafka中的auto-offset-reset配置
Kafka这个服务在启动时会依赖于Zookeeper,Kafka相关的部分数据也会存储在Zookeeper中。如果kafka或者Zookeeper中存在脏数据的话(即错误数据),这…
-
(二十五)大数据实战——kafka集群及Kafka-Eagle控制台安装与部署
前言 本节内容我们主要介绍一下搭建kafka集群以及kafka集群的一个web客户端组件Kafka-Eagle的部署安装,使用的kafka版本是kafka_2.12-3.0.0。在…
-
java:Kafka生产者推送数据与消费者接收数据(参数配置以及案例)
1.生产者推送数据 常用参数 bootstrap.servers:Kafka集群中的Broker列表,格式为host1:port1,host2:port2,…。生产者会从这些Bro…
-
kafka原理五之springboot 集成批量消费
目录 前言 一、新建一个maven工程,添加kafka依赖 二、yaml配置文件 三、消息消费 手动提交非批量消费 String 类型接入 使用注解方式获取消息头、消息体 手动…
