分布式
-
kafka max.poll.records用法介绍
一、max.poll.records是什么 max.poll.records是Kafka consumer的一个配置参数，表示consumer一次从Kafka broker中拉取的…
-
Kafka的@KafkaListener注解参数详解
@KafkaListener 注解提供了许多可配置的参数，以便更灵活地定制 Kafka 消息监听器的行为。 topics： 描述： 指定监听的 Kafka 主题，可以是一个字符串数…
-
MQ回顾之kafka速通
不定期更新 官网概念自查 官网：Apache Kafka kafka结构 和kafka相关的关键名词有：Producer、Broker、Topic、Partition、Replic…
-
Kafka收发消息核心参数详解
这一部分主要是从客户端使用的角度来理解Kakfa的重要机制。重点依然是要建立自己脑海中的Kafka消费模型。Kafka的HighLevel API使用是非常简单的，所以梳理模型时也…
-
Kafka-副本数量设置
1. ISR副本数量设置 指的是存活的副本数量 ISR 机制的另外一个相关参数是 min.insync.replicas , 可以在 broker 或者主题级别进行配置，代表 IS…
-
Hadoop3.3.5云耀云服务器安装教程-单机/伪分布式配置
系列文章目录 华为云耀云服务器试用领取 领取的试用云耀云服务器在哪 阿里云服务器免费试用领取 Hadoop3.3.5云耀云服务器安装教程-单机/伪分布式配置 阿里云服务器ECS安装…
-
Kafka安全认证机制详解之SASL
一、概述 官方文档： https://kafka.apache.org/documentation/#security 在官方文档中，kafka有五种加密认证方式，分别如下： SS…
-
Zookeeper注册中心实战
Java学习手册+面试指南：https://javaxiaobear.cn Spring Cloud Zookeeper通过自动配置和绑定到 Spring 环境和其他 Spring…
-
简单实现，在nodejs中简单使用kafka
什么是 Kafka Kafka 是由 Linkedin 公司开发的，它是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台，它同时也是一款开源的基于发布…
-
Kafka查看消息是否堆积（服务器）
查询消费组 先进入kafka中的bin目录 ./kafka-consumer-groups.sh –bootstrap-server ip:9092 –li…
-
大数据与云计算——部署Hadoop集群并运行MapReduce集群案例(超级详细！)
大数据与云计算——部署Hadoop集群并运行MapReduce集群案例(超级详细！) Linux搭建Hadoop集群(CentOS7+hadoop3.2.0+JDK1.8+Mapr…
-
分布式锁（Distributed Lock）介绍（基于数据库（mysql）；基于缓存（redis）；基于ZooKeeper等分布式协调服务）
文章目录 分布式锁介绍 1. 分布式锁的工作原理 1.1 锁的基本概念 1.2 工作机制 2. 分布式锁的实现方式 2.1 基于数据库的分布式锁 2.2 基于Redis的分布式锁 …
-
私有部署ELK，搭建自己的日志中心（六）– 引入kafka对采集日志进行削峰填谷
一、背景 首先，要说明一点，elk日志中心，是可以缺少kafka组件的。 其次，如果是研发环境下，机器资源紧张的情况下，也是可不部署kafka。 最后，因为kafka的部署是可以独…
-
Zookeeper与Apache Airflow集成与优化
1.背景介绍 Zookeeper和Apache Airflow都是开源的分布式协同系统，它们在大数据和云计算领域具有广泛的应用。Zookeeper是一个高性能的分布式协同服务，用于…
-
【ELK 使用指南 3】Zookeeper、Kafka集群与Filebeat+Kafka+ELK架构（附部署实例）
EFLKK 一、Zookeeper 1.1 简介 1.2 zookeeper的作用 1.3 Zookeeper的特点 1.5 Zookeeper的数据结构 1.6 Zookeepe…
