kafka
-
50、Flink的单元测试介绍及示例
Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。…
-
私有部署ELK，搭建自己的日志中心（六）– 引入kafka对采集日志进行削峰填谷
一、背景 首先，要说明一点，elk日志中心，是可以缺少kafka组件的。 其次，如果是研发环境下，机器资源紧张的情况下，也是可不部署kafka。 最后，因为kafka的部署是可以独…
-
Kafka中的enable-auto-commit和auto-commit-interval配置
当前kafka的版本为2.8.11，Spring Boot的版本为2.7.6，在pom.xml中引入下述依赖： org.springframework.kafka spring-k…
-
【ELK 使用指南 3】Zookeeper、Kafka集群与Filebeat+Kafka+ELK架构（附部署实例）
EFLKK 一、Zookeeper 1.1 简介 1.2 zookeeper的作用 1.3 Zookeeper的特点 1.5 Zookeeper的数据结构 1.6 Zookeepe…
-
基于华为MRS3.2.0实时Flink消费Kafka落盘至HDFS的Hive外部表的调度方案
文章目录 1 Kafka 1.1 Kerberos安全模式的认证与环境准备 1.2 创建一个测试主题 1.3 消费主题的接收测试 2 Flink 1.1 Kerberos安全模式的…
-
kubernetes集群 应用实践 kafka部署
kubernetes集群 应用实践 kafka部署 零.1、环境说明 零.2、kafka架构说明 zookeeper在kafka集群中的作用 一、Broker注册 二、Topic注…
-
Kafka ui 搭建以及使用
Kafka ui 序 kafka 本身没有自带相关的 ui 界面，但是很多时候没有页面意味着只有使用命令行进行相关操作如创建 topic、更改 topic 信息、重置 offset…
-
Kafka的命令行操作
一、topic命令 下面Windows命令需要把cmd路径切换到bin/windows下。 而Linux命令只需要在控制台切换到bin目录下即可。 下面都以Windows下的操作为…
-
Kafka 基本概念和术语
1、消息 Record：Kafka 是消息引擎嘛，这里的消息就是指 Kafka 处理的主要对象。 2、主题 Topic：主题是承载消息的逻辑容器，在实际使用中多用来区分具体的业务。…
-
实战：kafka、zookeeper SASL+ACL实现动态权限认证、授权
一、方案 1. 不接入外部存储，基于kafka原生ACL认证 环境： kafka-2.2.1、zookeeper-3.6.3 kafka给我们提供了SASL/SCRAM模式，将…
-
实战Flink Java api消费kafka实时数据落盘HDFS
文章目录 1 需求分析 2 实验过程 2.1 启动服务程序 2.2 启动kafka生产 3 Java API 开发 3.1 依赖 3.2 代码部分 4 实验验证 STEP1 STE…
-
使用 Kafka Tools（现已更名为 Offeset Exploer）无法连接虚拟机的 Kafka 集群，报错error connecting to the cluster
发生缘由 学习 Kafka 的使用，结果发现使用 Kafka Tools（现已更名为 Offeset Exploer）无法连接虚拟机的 Kafka 集群，报错信息：error co…
-
【问题解决】Kafka报错 Bootstrap broker x.x.x.x:9092 (id: -1 rack: null) disconnected
问题复现 近日针对某一客户需求开发了一个需要使用Kafka的功能，功能是什么暂且不论，在本地虚机的Kafka连接一切正常遂放到测试服务器上验证功能，以下是监听topic成功和警告报…
-
【flink番外篇】15、Flink维表实战之6种实现方式-维表来源于第三方数据源
Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。…
-
kafka2.x常用命令：创建topic，查看topic列表、分区、副本详情，删除topic，测试topic发送与消费
原创/朱季谦 接触kafka开发已经两年多，也看过关于kafka的一些书，但一直没有怎么对它做总结，借着最近正好在看《Apache Kafka实战》一书，同时自己又搭建了三台kaf…
