分布式
-
【消息队列】细说Kafka消费者的分区分配和重平衡
消费方式 我们直到在性能设计中异步模式,一般要么是采用pull,要么采用push。而两种方式各有优缺点。 pull :说白了就是通过消费端进行主动拉去数据,会根据自身系统处理能力去…
-
kafka消费多个topic的使用
kafka消费多个topic的使用 我们在业务中难免遇到一个kafka消费多个topic的消息,本文帮助大家如何在业务中用一个类消费多个topic消息 一、不同kafka的不同to…
-
【分布式技术专题】「Zookeeper中间件」zookeeper的服务器的log4j升级为log4j2的升级方案(忽略配置化兼容问题)
Zookeeper的服务器的log4j升级为log4j2的升级方案 Zookeeper的服务器的log4j升级为log4j2的升级方案(忽略配置化兼容问题) Zookeeper的服…
-
rabbitmq | rabbitTemplate的convertAndSend部分源码解析
在RabbitMQ中,事务是一种确保消息发送的可靠性的机制。Spring AMQP提供了对RabbitMQ事务的抽象,而RabbitTemplate作为Spring AMQP的核心…
-
了解Zookeeper的系统架构吗?
是的,我了解Zookeeper的系统架构。 Zookeeper是一个分布式协调服务,用于处理分布式系统中的一致性问题。它的系统架构包括以下几个主要组成部分: 客户端库:Zookee…
-
并行计算与大规模数据处理:Hadoop与Spark
1.背景介绍 大数据是指由于互联网、物联网等新兴技术的发展,数据量巨大、高速增长、多源性、不断变化的数据。大数据处理技术是指利用计算机科学技术,对大规模、高速、多源、不断变化的数据…
-
xxl-job详解
什么是xxl-job? xxl-job是一个分布式的任务调度平台,其核心设计目标是:学习简单、开发迅速、轻量级、易扩展,现在已经开放源代码并接入多家公司的线上产品线,开箱即用。…
-
SpringBoot整合Dubbo和Zookeeper分布式服务框架使用的入门项目实例
文章目录 SpringBoot整合Dubbo和Zookeeper分布式服务框架使用的入门项目实例 Dubbo 定义 其核心部分包含: 工作原理 为什么要用dubbo 各个节点角色说…
-
kafka之消费者(Consumer)
1、kafka消费者消费方式 kafka 的消费者(Consumer)采用 pull 的方式主动从 broker 中拉取数据,这种不足之处会有:当 broker 中…
-
kafka启动报错:java.lang.ClassNotFoundException:kafka.security.auth.SimpleAclAuthorizer
一、问题描述 某次现场启动kafka服务时报错如下:java.lang.ClassNotFoundException:kafka.security.auth.SimpleAclAu…
-
Kafka 知识总结之消费者简单使用
目录 简述 一. kafka消费者 二. 构建测试工程 三. offset提交 3.1. 手动提交offset 3.2. 按照分区消费 3.3. 指定offset消费 3.4. 按…
-
Kafka事务
Kafka事务是2017年Kafka 0.11.0.0引入的新特性。类似于数据库的事务。Kafka事务指的是生产者生产消息以及消费者提交offset的操作可以在一个原子操作中,要么…
-
Hadoop3完全分布式搭建
一、第一台的操作搭建 修改主机名 使用hostnamectl set-hostname 修改当前主机名 关闭防火墙和SELlinux 1,使用 systemctl stop fir…
-
ZooKeeper介绍
简介 ZooKeeper 是一个开源的分布式协调服务,它的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来,构成一个高效可靠的原语集,并以一系列简单易用的接口提供给用户使用…
-
Hadoop分布式集群搭建
文章目录 准备工作 静态IP设置 修改主机名 关闭防火墙 同步时间 安装JDK 上传jdk安装包并解压 配置环境变量 配置从节点虚拟机 克隆虚拟机 设置IP地址 设置主机名 配置h…
