kafka
-
01、Kafka —— 下载、安装 ZooKeeper 和 Kafka
目录 Kafka是什么? 安装 ZooKeeper 下载 安装 启动 zookeeper 服务器端 启动 zookeeper 的命令行客户端工具 安装 Kafka 下载 安装 启动…
-
kafka详解
说说你对kafka的理解 kafka是一个流式数据处理平台,他具有消息系统的能力,也有实时流式数据处理分析能力,只是我们更多的偏向于把他当做消息队列系统来使用。 如果说按照容易理解…
-
37、Flink 的CDC 格式:debezium部署以及mysql示例(1)-debezium的部署与示例
Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点,并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。…
-
flink1.16使用消费/生产kafka之DataStream
flink高级版本后,消费kafka数据一种是Datastream 一种之tableApi。 上官网 Kafka | Apache Flink Kafka Source 引入依赖 …
-
Kafka – Broker 详解
目录 零、前置 一、Kafka Broker 工作流程 1.Zookeeper 存储的 Kafka 信息 2.Kafka Broker 总体工作流程 模拟 Kafka 上下线,Zo…
-
flink连接kafka报:org.apache.kafka.common.errors.TimeoutException
测试flink1.12.7 连接kafka: package org.test.flink; import org.apache.flink.api.common.serializ…
-
Kafka的简介及架构
目录 消息队列 产生背景 消息队列介绍 常见的消息队列产品 应用场景 消息队列的消息模型 Kafka的基本介绍 简介 Kafka的架构 Kafka的使用 Kafka的shell命…
-
kafka 分布式的情况下,如何保证消息的顺序消费?
目录 一、什么是分布式 二、kafka介绍 三、消息的顺序消费 四、如何保证消息的顺序消费 一、什么是分布式 分布式是指将计算任务分散到多个计算节点上进行并行处理的一种计算模型…
-
Flink+Kafka消费
引入jar org.apache.flink flink-java 1.8.0 org.apache.flink flink-streaming-java_2.11 1.8.0 o…
-
kafka报错:could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClie
执行kafka命令报错 排查: 命令中的kafka地址和端口是否填写正确 可查看config目录下的server.properties中的listeners=PLAINTEXT:…
-
kafka:java集成 kafka(springboot集成、客户端集成)
摘要 对于java的kafka集成,一般选用springboot集成kafka,但可能由于对接方kafka老旧、kafka不安全等问题导致kafak版本与spring版本不兼容,这…
-
Golang中常用的kafka库
本文将介绍目前主流的三种第三方kafka库,并结合实际使用中遇到的问题,给出实际的解决方案,本文只涉及kafka数据的消费,且其中对所有库的使用仅为测试过的简单代码,仅记录自己踩坑…
-
Docker 安装 Kafka
docker在3.0以前依赖于zookeeper,在安装kafka之前需要先安装zookeeper集群。 关于 zookeeper 集群的安装本文不做介绍,大家可以自行百度。 一、…
-
kafka 设置用户密码和通过SpringBoot测试
叙述 当前Kafka认证方式采用动态增加用户协议。 自0.9.0.0版本开始Kafka社区添加了许多功能用于提高Kafka群集的安全性,Kafka提供SSL或者SASL两种安全策略…
-
深入Kafka broker
一、协议设计 颗粒度, PRODUCE和FETCH中支持topic,partion等层级的颗粒度; 测试友好, 基于session_id和epoch确定一条拉取链路的fetch s…
