分布式

Nacos 和 ZooKeeper 都是服务发现和配置管理的工具，它们的主要区别如下： 功能特性：Nacos 比 ZooKeeper 更加强大，Nacos 支持服务发现、动态配置、…

一、kafka集群实例角色规划 在本专栏的之前的一篇文章《kafka3种zk的替代方案》已经为大家介绍过在kafka3.0种已经可以将zookeeper去掉。 上图中黑色代表bro…

目录 一、顺序写入磁盘与I/O优化                 1.1 数据在kafka中是如何存储的 二、批量处理 三、页缓存技术 四、零拷贝技术         4.1 D…

kafka权限认证 topic权限认证 权限动态认证-亲测成功 kafka动态认证 自定义认证 安全认证-亲测成功 MacBook Linux安装Kafka Linux解压安装Ka…

开启后台管理页面 要在浏览器中访问 RabbitMQ，需要使用 RabbitMQ 的 Web 界面插件。可以按照以下步骤安装和配置： 1. 安装 RabbitMQ Web 插件： …

第1章 HDFS概述 1.1 HDFS产出背景及定义 1）HDFS产生背景 先给大家介绍一下什么叫HDFS，我们生活在信息爆炸的时代，随着数据量越来越大，在一个操作系统存不下所有的…

目录 前言 一、问题重现 1、查询Hadoop版本  2、集群启动Hadoop 二、问题分析 三、Hadoop3.x的集群配置 1、停止Hadoop服务 2、配置workers 3…

1.题目要求 针对全球重大地震数据进行分析，采用Python为编程语言，采用Hadoop存储数据，采用Spark对数据进行处理分析，并对结果进行数据可视化。 2.需求分析 本项目将…

在安装 Hadoop 3.3.6 前，需要满足以下前置条件： Java Development Kit (JDK)：Hadoop 是用 Java 编写的，因此需要安装并配置适当版本…

在部署Hadoop HA的过程时，当进行到hdfs namenode -format格式化这一步骤时显示 org.apache.hadoop.hdfs.qjournal.clien…

文章目录 了解 版本对应 Kafka安装包 Kafka源码包 了解 比如： kafka_2.11-1.1.1.jar包 其中2.11表示的是Scala的版本，因为Kafka服务器端…

今天同事反馈有个topic出现积压。于是上kfk管理平台查看该topic对应的group。发现6个分区中有2个不消费，另外4个消费也较慢，总体lag在增长。查看服务器日志，日志中有…

前言 消息队列是分布式系统中常用的组件，用于异步通信、解耦和提高系统可靠性。然而，在实际应用中，难免会遇到一些异常情况，例如消息处理失败、超时等。为了更好地处理这些异常情况，死信交…