分布式

kafak是我们工作中常用的消息组件，今天在跟合作方联调的时候被告知上游没有准备好消息数据，没有办法从依赖方拿到消息但是我们还又想测试自己写的消息消费的代码，怎么办呢？常规的做法就…

Controller 一、概念 在Kafka中，Controller是Kafka集群中的一个角色，负责管理集群的元数据、分区分配、副本管理等功能。 Controller的主要职责包…

出现错误： Hadoop启动时出现错误：Cannot execute /home/hadoop/libexec/hadoop-config.sh. 原因分析 ＇ERROR: Can…

作者：源码时代-Raymon老师 Kafka的高吞吐、低延时、高性能的实现原理 Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己…

目录 一、Hadoop 1、文件系统 1.1、文件系统定义 1.2、传统常见的文件系统 1.3、文件系统中的重要概念 1.4、海量数据存储遇到的问题 1.5、分布式存储系统的核心属…

本文主要分享了如何给项目中的RabbitMQ添加总开关，通过简单配置开/关RabbitMQ。 一、需求背景 SpringBoot项目里使用了RabbitMQ，但某些场景下，不希望项…

                                                                          💧 分布式流控组…

0、环境信息         本文采用阿里云maxcompute的spark环境为基础进行的，搭建本地spark环境参考搭建Windows开发环境_云原生大数据计算服务 MaxCo…

一、环境：Vmware16+三台cent0s6.5 二、步骤  ROOT 用户操作（三台虚拟机都要操作，下面是以 HMaster 的操作截图） 一、配置 IP 和网关 1．在 wi…

一 Zookeeper概念 1 集中式到分布式 1.1 单机架构 一个系统业务量很小的时候所有的代码都放在一个项目中就好了， 然后这个项目部署在一台服务器上，整个项目所有的服务都由…

简介      本系列是flink源码分析的第二个系列，上一个《flink源码分析之集群与资源》分析集群与资源，本系列分析功能组件，kubeclient，rpc，心跳，高可用，sl…