kafka
-
KafkaConsuner 指定开始消费的位置
KafkaConsumer 指定消费位置的基础 一个 Topic 对应着磁盘上的几个重要的文件： .log：数据文件，存储了该 topic 中的所有消息。 .index：索引文件，…
-
docker 部署kafka
随笔记录 目录 1. 安装zookeeper 2. 安装Kafka 2.1 拉取kafka image 2.2 查询本地docker images 2.3 查看本地 容器（dock…
-
记一次docker安装kafka，zookeeper拒绝连接的问题
第一次玩kafka，在使用docker安装kafka时，出现了如下问题 kafka的启动参数KAFKA_ZOOKEEPER_CONNECT不能是localhost:2181，因为不…
-
springcloud(nacos)集成Kafka
官网：http://kafka.apache.org/ 1.kafka安装前的配置 Kafka对于zookeeper是强依赖，保存kafka相关的节点数据，所以安装Kafka…
-
基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(一)案例需求
文章目录 Flume+Kafka+Hbase+Flink+FineBI的实时综合案例 01：课程回顾 02：课程目标 03：案例需求 Flume+Kafka+Hbase+Flink…
-
Spring集成Kafka
前言 我负责的其中一个项目，接口的交互量在千万级/d，所以要存储大量的日志，为了防止日志的存储影响到系统的性能，所以在技术选型就决定了使用Kafka中间件和一个日志存储系统来负责日…
-
【项目实战】Kafka中Topic创建介绍
一、Kafka介绍 Kafka是一种分布式流处理平台，它可以处理实时数据流，支持高吞吐量、低延迟的数据处理。 它通过Topic和Partition机制将消息存储在集群中，并支持高吞…
-
【深入浅出RocketMQ原理及实战】「消息队列架构分析」帮你梳理RocketMQ或Kafka的选择理由以及二者PK
帮你梳理RocketMQ或Kafka的选择理由以及二者PK 前提背景 架构对比 RocketMQ的架构 Kafka的架构 Broker对比 主从架构模型差异: 维度不同 刷盘机制 …
-
实战：Spring Cloud Stream集成兼容多消息中间件kafka、rabbitmq
文章目录 前言 实战要点 技术积累 Spring Cloud Stream简介 集成kafka要点 集成rabbitmq要点 实战演示 Maven依赖版本号选择 Spring及MQ…
-
Flink读取kafka数据报错
报错如下： D:\software_install\java\bin\java.exe “-javaagent:C:\Program Files\JetBrains\Intelli…
-
Kafka消费异常处理策略及重试机制
在使用Kafka进行消息传递时，消费者可能会遇到各种异常情况，例如网络故障、消息处理失败等。为了保证消息的可靠消费，我们需要实现一套有效的异常处理策略和重试机制。本文将介绍如何在K…
-
Windows环境单节点部署kafka最新版本3.2.1实战（超简单）
文章目录 1 简介及应用场景 2 下载安装 安装 配置 kafka配置 zookeeper配置 测试 3 客户端工具 kafka Tool 4 项目实战 4.1 maven依赖 4…
-
60、Flink CDC 入门介绍及Streaming ELT示例（同步Mysql数据库数据到Elasticsearch）-CDC Connector介绍及示例 (1)
Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。…
-
Kafka connect
这里以 mysql – kafka connect – oracle 实现upsert 全量同步为例： 启动zookeeper 、 kafka 等组件后 编…
-
2.1、如何在FlinkSQL中读取&写入到Kafka
目录 1、环境设置 方式1：在Maven工程中添加pom依赖 方式2：在 sql-client.sh 中添加 jar包依赖 2、读取Kafka 2.1 创建 kafka表 2.2 …
