分布式
-
【Kafka-3.x-教程】-【一】Kafka 概述、Kafka 快速入门
【Kafka-3.x-教程】专栏: 【Kafka-3.x-教程】-【一】Kafka 概述、Kafka 快速入门 【Kafka-3.x-教程】-【二】Kafka-生产者-Produc…
-
Kafka(四)Broker
目录 1 配置Broker 1.1 Broker的配置 broker.id=0 listerers zookeeper.connect log.dirs log.dir=/tmp/…
-
RabbitMQ 笔记一
概览: MQ基本概念 RabbitMQ入门 基本工作模 1.MQ是什么? MQ:Message Queue, 存储消息的中间件,是消息发送过程中的暂存容器,主要用于解决分布式系统进…
-
Zookeeper与Apache Curator集成与优化
1.背景介绍 Zookeeper和Apache Curator都是分布式系统中用于实现分布式协同和高可用性的重要组件。Zookeeper是一个开源的分布式协调服务,用于构建分布式应…
-
kafka基本操作
创建topic 创建一个topic(主题)。Kafka中所有的消息都是保存在主题中,要生产消息到Kafka,首先必须要有一个确定的主题。 cd /export/server/ka…
-
分布式计算 第五章 大数据多机计算:Hadoop
文章目录 分布式计算 第五章 大数据多机计算:Hadoop 5.2 大数据和分布式的基础概念 5.2.1 从硬件思考大数据 5.1.2 从软件角度看大数据 5.1.3 分布式 DI…
-
zookeeper分布式协调系统的架构设计与源码剖析
目录 001_我们一般到底用ZooKeeper来干什么事儿? 002_有哪些开源的分布式系统中使用了ZooKeeper? 003_为什么我们在分布式系统架构中需要使用ZooKeep…
-
Hadoop(05) HBase2.5.5安装和编程实践指南
HBase是一个基于Apache Hadoop的分布式、可扩展、面向列的NoSQL数据库系统。它被设计用于处理大规模数据集,并提供快速的读写访问性能。 以下是HBase的一些关键特…
-
ELK概述部署和Filebeat 分布式日志管理平台部署
ELK概述部署、Filebeat 分布式日志管理平台部署 一、ELK 简介 二、ELK部署 2.1、部署准备 2.2、优化elasticsearch用户拥有的内存权限 2.3、启动…
-
rabbitmq第三课-RabbitMQ高级功能详解以及常用插件实战
一、选择合适的队列. 实际上是可以选择三种队列类型的,classic经典队列,Quorum仲裁队列,Stream流式队列。 后面这两种队列也是RabbitMQ在最近的几个大的版本中…
-
Kafka——Kafka Connect详解
目录 Kafka Connect 1、概要介绍 2、standalone Connect 2.1、数据抽取与加载示例 2.2、数据抽取、转换与加载示例 3、distributed …
-
Spark之Adaptive Query Execution
文章目录 Adaptive Query Execution Coalescing Post Shuffle Partitions Spliting skewed shuffle p…
-
kafka集群和Filebeat+Kafka+ELK
一、Kafka 概述 1.1 为什么需要消息队列(MQ) 主要原因是由于在高并发环境下,同步请求来不及处理,请求往往会发生阻塞。比如大量的请求并发访问数据库,导致行锁表锁,最后请求…
-
RabbitMQ的消息批量发送与消息批量消费
1.背景介绍 在分布式系统中,消息队列是一种常见的异步通信方式,可以帮助系统的不同组件之间进行通信。RabbitMQ是一种流行的消息队列系统,它支持多种消息传输模式,包括点对点(P…
-
Spark与HadoopMapReduce
1.背景介绍 Spark与HadoopMapReduce是大数据处理领域中两种非常重要的技术。Spark是一个快速、灵活的大数据处理框架,可以处理批处理和流处理任务。HadoopM…
