kafka
-
【Kafka系列 03】生产级集群参数配置
1. 概述 本文将从 Bocker 端参数、Topic 级别参数、JVM 端参数、操作系统级别参数分别介绍 Kafka 集群参数应该怎么配置。文中提到的这些参数都很重要，请读者仔细…
-
【运维知识大神篇】超详细的ELFK日志分析教程10（kafka集群原理+基本使用+zookeeper和kafka堆内存调优+kafka监控和压力测试+filebeat和logstash对接kafka）
本篇文章继续给大家介绍ELFK日志分析，我们先前介绍了ELFK架构，zookeeper部署使用，kafka的部署，仅差kafka使用就将整个体系融汇贯通了。我们本篇文章将以kafk…
-
depends
如果你经常使用docker-compose启动服务的话，可能会遇到下面的问题：服务 B 依赖服务 A，需要服务 A 先启动，再启动服务 B 举个例子，在部署 kafka 集群的时候…
-
如何删除kafka消费组
如何删除Kafka消费组 Kafka消费组可以通过Kafka客户端的命令行方式连接Kafka实例完成删除。 查询消费组 kafka-consumer-groups.sh ̵…
-
20道常见的kafka面试题以及答案
JAVA面试宝典，搞定JAVA面试，不再是难题，系列文章传送地址，请点击本链接。 目录 1、kafka的消费者是pull(拉)还是push(推)模式，这种模式有什么好处？ 2、ka…
-
Kafka-Java四：Spring配置Kafka消费者提交Offset的策略
一、Kafka消费者提交Offset的策略 Kafka消费者提交Offset的策略有 自动提交Offset： 消费者将消息拉取下来以后未被消费者消费前，直接自动提交offset。 …
-
CDH大数据平台 16Cloudera Manager Console之Sentry权限配置和测试(markdown新版)
?个人主页：@与自己作战 ?作者简介：大数据领域优质创作者、CSDN@内容合伙人、阿里云专家博主 ?希望大佬们多多支持，携手共进 ? 如果文章对你有帮助的话，欢迎评论?点赞?收藏?…
-
使用Flink处理Kafka中的数据
目录 使用Flink处理Kafka中的数据 前提： 一， 使用Flink消费Kafka中ProduceRecord主题的数据 具体代码为（scala） 执行结果 …
-
kafka详解一
kafka详解一 1、消息引擎背景 根据维基百科的定义，消息引擎系统是一组规范。企业利用这组规范在不同系统之间传递语义准确的消息，实现松耦合的异步式数据传递. 即：系统 A 发送消…
-
Spring-Kafka如何实现批量消费消息并且不丢失数据
Spring-Kafka如何实现批量消费消息并且不丢失数据 先给答案： // 批量消费配置: 1批量, 2手动提交 factory.setBatchListener(true); …
-
Kafka入门(安装和SpringBoot整合)
文章目录 一、Docker安装Kafka 1. 创建网络 2. 安装zookeeper 3. 安装Kafka 二、Kafka介绍 1. Kafka简介 三、SpringBoot整合…
-
kafka（一）——简介
简介 Kafka 是一种分布式、支持分区、多副本的消息中间件，支持发布-订阅模式，多用于实时处理大量数据缓存的场景，类似于一个“缓存池”。 架构 Producer：消息生产者； C…
-
保证消息顺序性：Kafka 的策略与挑战
目录 1. 为什么消息顺序性很重要？ 2. Kafka 的消息顺序性挑战 2.1 分区与并行性 2.2 生产者与网络延迟 2.3 消费者群组 3. 保证消息顺序性的策略 3.1 单…
-
kafka乱序消费可能的原因和解决方案
Kafka乱序消费可能的原因有以下几个： 分区顺序：Kafka中的消息按照分区进行存储和分发，每个分区内的消息是有序的，但不同分区之间的消息顺序是无法保证的。如果消费者在多个分区上…
-
Springboot 配置使用 Kafka
Springboot 配置使用 Kafka 前言 一、Linux 安装 Kafka 二、构建项目 三、引入依赖 四、配置文件 生产者 yml 方式 Config 方式 消费者 ym…
