kafka
-
51、Flink的管理执行(执行配置、程序打包和并行执行)的介绍及示例
Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点,并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。…
-
SpringBoot Kafka消费者 多kafka配置
一、配置文件 xxxxxx: kafka: bootstrap-servers: xx.xx.xx.xx:9092,xx.xx.xx.xx:9092 consumer: poll-…
-
centos7 安装部署kafka
一、下载 官网地址: https://kafka.apache.org/downloads kafka 在 2.8 版本开始脱离 zookeeper,本文示例版本为 2.7.2。 …
-
Kafka消费者详解
一、Kafka消费者的消费模式 当生产者将消息发送到Kafka集群后,会转发给消费者进行消费。消息的消费模型有两种,推送模式(push)和拉取模式(pull)。 1,消息的推送模式…
-
Kafka详解及常见面试问题解析(值得珍藏)
点击下载《Kafka详解及常见面试问题解析(值得珍藏)》 1. 定义 Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。它是一种高吞吐量的分…
-
Flink消费kafka报akka.pattern.AskTimeoutException: Ask timed out on [Actor[akka.tcp://flink@xxx]]after x
文章目录 背景: 现象与分析 解决方案 总结: 拓展 参考 背景: 最近笔者所在的公司在调研使用flink,因为公司只有笔者一个大数据开发,笔者有幸主导了此次调研,但是我们也属于新…
-
Kafka:消费者消费失败处理-重试队列
kafka没有重试机制不支持消息重试,也没有死信队列,因此使用kafka做消息队列时,需要自己实 现消息重试的功能。 实现 创建新的kafka主题作为重试队列: 创建一个topic…
-
Kafka 安装部署-单节点
Kafka强依赖ZK,如果想要使用Kafka,就必须安装ZK,Kafka中的消费偏置信息、kafka集群、topic信息会被存储在ZK中。有人可能会说我在使用Kafk…
-
go使用logrus进行日志收集并异步发布日志到kafka
项目地址 GitHub访问地址:https://github.com/sirupsen/logrus logrus是什么? logrus是go语言的一个日志工具框架,可以设置jso…
-
删除Kafka的Topic(提示:marked for deletion)
问题: 删除topic时标记删除marked for deletion但未真正的删除 解决方法: 1.修改server.properties,并重启kafka delete.to…
-
Kafka中的生产者如何处理消息发送失败的情况?
在Kafka中,生产者可以通过以下方式处理消息发送失败的情况: 同步发送模式(Sync Mode):在同步发送模式下,生产者发送消息后会阻塞等待服务器的响应。如果发送失败,生产者会…
-
KafkaLog4jAppender
Apache Log4j 中有一个 Appender 概念,它负责将日志信息输出到各种目的地,例如控制台、文件、数据库等。KafkaLog4jAppender 是 Log4j 的一…
-
Kafka为什么这么快?
Kafka 也是一个性能十分优秀的中间件,这篇文章就主要介绍 Kafka 性能优化方面的知识。 让我们一起来深入了解 Kafka “快”的内部秘密。你不仅可以学习到 Kafka 性…
-
Kafka报错under-replicated partitions
1 under-replicated partitions异常原因 Kafka报错under replicated partitions意味着某些分区的副本数量未达到预期的复制因子…
-
使用Docker/Docker Compose 快捷安装Kafka
作者:沈自在 1 Docker 安装 1.1 编写 Docker compose 文件 通过 docker compose 便捷安装 Kafka 以及 Kafka UI versi…
