kafka
-
2.1、如何在FlinkSQL中读取&写入到Kafka
目录 1、环境设置 方式1：在Maven工程中添加pom依赖 方式2：在 sql-client.sh 中添加 jar包依赖 2、读取Kafka 2.1 创建 kafka表 2.2 …
-
docker-compose部署kafka单机和集群
版本选择 使用 docker-compose 部署 Kafka:3.5。 从 3.3 版本后，Kafka 引入了 KRaft 来替代 ZooKeeper，所以我们不必再部署 zk …
-
Kafka-实践-数据平台-美团技术团队
1. 现状和挑战 1.1 现状 Kafka是一个开源的流处理平台，业界有很多互联网企业也都在使用这款产品。我们首先了解一下Kafka在美团数据平台的现状。 图1-1 Kafka在美…
-
Spring Boot配置多个Kafka数据源
一、配置文件 application.properties配置文件如下 #kafka多数据源配置 #kafka数据源一，日志审计推送 spring.kafka.one.bootst…
-
【新星计划】Kafka分布式发布订阅消息系统
Kafka分布式发布订阅消息系统 目录 Kafka分布式发布订阅消息系统 1. 概述 1.1 点对点消息传递模式 1.2 发布-订阅消息传递模式 1.3 Kafka特点 1.4…
-
kafka中，使用ack提交时，存在重复消费问题
ack提交时，存在重复消费？？ 往consumer监听的topic中，增加了一条数据，但是代码消费了好几次，而且确实也走ack.acknowledge();这块逻辑了，因为处理的逻…
-
依赖Kafka的Go单元测试例解
Kafka[1]是Apache基金会开源的一个分布式事件流处理平台，是Java阵营(最初为Scala)中的一款杀手级应用，其提供的高可靠性、高吞吐量和低延迟的数据传输能力，让其到目…
-
Docker与Kafka：实现高性能流处理
1.背景介绍 1. 背景介绍 Docker 和 Kafka 都是现代技术中的重要组成部分，它们各自在不同领域发挥着重要作用。Docker 是一个开源的应用容器引擎，用于自动化部署、…
-
kafka消费/发送消息，消息过大报错解决whose size is larger than the fetch size 1048576
目录 一、kafka消费报错原因 二、解决方案 1、原因一的解决方案 2、原因二的解决方案 一、kafka消费报错原因 问题原因一：个是kafka本身的配置没有调整到上限 问题原因…
-
【flink番外篇】19、Datastream数据类型到Table schema映射示例
一、Flink 专栏 Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。 2、Flink基础系…
-
【Kafka超时问题（已解决），kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting for connection w】
Kafka超时问题（已解决），kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting for conn…
-
Kafka内容分享(七)：Kafka 数据清理和配额限速
目录 一、Kafka中数据清理（Log Deletion） 1.1、日志删除 1.1.1、定时日志删除任务 1.1.2、基于时间的保留策略 1.1.2.1、设置topic 5秒删除…
-
微服务探索之路06篇k8s配置文件Yaml部署Redis使用Helm部署MongoDB和kafka
1 安装Redis 1.1创建配置文件redis.conf 切换到自己的目录下如本文是放在/home/ubuntu下 cd /home/ubuntu vim redis.conf …
-
【flink番外篇】17、DataStream 和 Table集成-仅插入流Insert-Only示例
Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。…
-
Kafka——配置文件详解
目录 1、server.properties 2、producer.properties 3、consumer.propertis 4、server.properties模板 1、…
