kafka
-
KAFKA高可用架构涉及常用功能整理
KAFKA高可用架构涉及常用功能整理 1. kafka的高可用系统架构和相关组件 2. kafka的核心参数 2.1 常规配置 2.2 特殊优化配置 3. kafka常用命令 3….
-
【云原生】Docker如何构建镜像
目录 前言 一、基于已有的镜像创建 步骤一:先基于现有的镜像创建一个容器,然后进入容器去完成修改 步骤二:将该容器作为一个模板提交创建为一个新的镜像 步骤三:基于新的镜像,dock…
-
基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(五)FineBI可视化
文章目录 22:FineBI配置数据集 23:FineBI构建报表 24:FineBI实时配置测试 附录二:离线消费者完整代码 22:FineBI配置数据集 目标:实现FineBI…
-
Kafka(二)【文件存储机制 & 生产者】
目录 一、Kafka 文件存储机制 二、Kafka 生产者 1、生产者消息发送流程 1.1、发送原理 2、异步发送 API 2.1、普通异步发送 案例演示 2.2、带回调函数的异步…
-
Kafka的集群动态扩容和缩容如何实现?Kafka的数据存储机制如何优化性能?Kafka消息的持久化机制是怎样的?Kafka和Spark Streaming如何集成?
1、Kafka的集群动态扩容和缩容如何实现? Kafka的集群动态扩容和缩容可以通过以下步骤实现: 扩容: 在集群中添加新的Kafka节点。这可以通过将新的机器添加到集群中,并配置…
-
大数据开发之kafka(完整版)
第 1 章:Kafka概述 1.1 定义 Kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域。 发布/订阅:消息的发布者不会将消息直接发送给特定的订…
-
Kafka篇——Kafka消费者端常见配置,涵盖自动手动提交offset、poll消息细节、健康状态检查、新消费组消费offset规则以及指定分区等技术点配置,全面无死角,一篇文章拿下!
消费者端自动和手动提交offset 一、自动提交offset 1、概念 Kafka中默认是自动提交offset。消费者在poll到消息后默认情况下,会自动向Broker的_cons…
-
【可视化工具】Kafka-Offset Explorer使用
感谢点赞和关注 ,每天进步一点点!加油! 目录 一、概述 二、环境信息 三、安装和使用 3.1 下载Offset Explorer 和安装 3.2 软件配置 3.2.1Proper…
-
【头歌实训】kafka-入门篇
文章目录 第1关:kafka – 初体验 任务描述 相关知识 Kafka 简述 Kafka 应用场景 Kafka 架构组件 kafka 常用命令 编程要求 测试说明 答…
-
Docker安装Kafka教程(超详细)
首先创建一个网络 app-tier:网络名称 –driver:网络类型为bridge docker network create app-tier –driver bridge …
-
(五)kafka从入门到精通之topic介绍
1、kafka简介 Kafka是一个流行的分布式消息系统,它的核心是一个由多个节点组成的分布式集群。在Kafka中,数据被分割成多个小块,并通过一些复杂的算法在节点之间传递。这些小…
-
kafka基本使用及结合Java使用
一、Kafka介绍 Kafka是一个分布式、支持分区、多副本的消息系统,最大特点是实时处理大量数据以满足各种需求场景。它可以用于日志收集、消息系统、用户活动跟踪、运营指标等。Kaf…
-
Clickhouse Engine kafka 将kafka数据同步clickhouse
根据官方给出的kafka引擎文档,做一个实践记录。 官方地址:https://clickhouse.tech/docs/zh/engines/table-engines/integ…
-
Kafka常见指令及监控程序介绍
kafka在流数据、IO削峰上非常有用,以下对于这款程序,做一些常见指令介绍。 下文使用–bootstrap-server 10.0.0.102:9092,10.0.0.103:9…
-
【Kafka】手把手SASL,SSL教学
Kafka配置SASL 1.确定使用的SASL协议 Kafka支持以下SASL机制:GSSAPI 、PLAIN、 SCRAM-SHA-256、 SCRAM-SHA-512、 OAU…
