kafka
-
kafka系列(二)
本章承接kafka一内容,文章在本人博客主页都有,可以自行点击浏览。 幂等性 请求执行多次,但执行的结果是一致的。 如果,某个系统是不具备幂等性的,如果用户重复提交了某个表格,就可…
-
Kafka与RabbitMQ的区别
消息队列介绍 消息队列(Message Queue)是一种在分布式系统中进行异步通信的机制。它允许一个或多个生产者在发送消息时暂时将消息存储在队列中,然后由一个或多个消费者按顺序读…
-
Kafka – TimeoutException: Expiring 1 record(s) for art-0:120001 ms has passed since batch creation
文章目录 问题描述 原因分析 Code 问题描述 报错如下: …. …. Caused by: org.apache.kafka.common.errors.Timeout…
-
Kafka入门基本概念(详细)
什么是kafka Kafka是一种高吞吐量的分布式发布订阅消息系统(消息引擎系统),它可以处理消费者在网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网…
-
kafka(三)生产问题
一、线上机器规划 二、线上问题优化 1、消息丢失的情况 消息发送端: a:acks=0: 表示producer不需要等待broker确认收到消息的回复就可以继续发送消息;性能高,但…
-
Zookeeper 和 Kafka 工作原理及如何搭建 Zookeeper集群 + Kafka集群
目录 1 Zookeeper 1.1 Zookeeper 定义 1.2 Zookeeper 工作机制 1.3 Zookeeper 特点 1.4 Zookeeper 数据结构 1.5…
-
59、Flink CEP – Flink的复杂事件处理介绍及示例(1)-入门
Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点,并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。…
-
Kafka基础—2、Kafka 生产者API
Kafka知识库 – 索引目录 一、Kafka生产者API 1、发送消息 在 Go 语言中使用 Kafka 生产者 API,首先需要 Kafka 的 Go 客户端库。 …
-
湖仓一体电商项目(十九):业务实现之编写写入DWS层业务代码
文章目录 业务实现之编写写入DWS层业务代码 一、代码编写 二、创建Iceberg-DWS层表
-
【Kafka-3.x-教程】-【三】Kafka-Broker、Kafka-Kraft
【Kafka-3.x-教程】专栏: 【Kafka-3.x-教程】-【一】Kafka 概述、Kafka 快速入门 【Kafka-3.x-教程】-【二】Kafka-生产者-Produc…
-
使用kafka
prometheus 监控 kafka 常见的有两种开源方案,一种是传统的部署 exporter 的方式,一种是通过 jmx 配置监控, 项目地址: kafka_exporter:…
-
Kafka及Kafka消费者的消费问题及线程问题
Kafka 一、Kafka中的基本信息 kafka中topic、broker、partition、及customer和producer等的对应关系 Window安装配置kafka和…
-
Python消费Kafka与优化
一.背景与问题 之前使用kafka-python库进行消费数据处理业务逻辑,但是没有深入里面的一些细节,导致会遇到一些坑。正常普通我们常见的一个消费者代码:(假设topi…
-
Kafka 学习:默认端口号 9092
Apache Kafka 是一个分布式流处理平台,它具有高吞吐量、可扩展性和容错性。在 Kafka 中,消息被组织成一个或多个主题(Topics),并通过生产者(Producers…
-
MQ面试题之Kafka
前言 前文介绍了消息队列相关知识,并未针对某个具体的产品,所以略显抽象。本人毕业到现在使用的都是公司内部产品,对于通用产品无实际经验,但是各种消息中间件大差不差,故而本次选择一个相…
