分布式
-
【分布式链路追踪技术】sleuth+zipkin
目录 1.概述 2.搭建演示工程 3.sleuth 4.zipkin 5.插拔式存储 5.1.存储到MySQL中 5.2.用MQ来流量削峰 6.联系作者 1.概述 当采用分布式架构…
-
Kafka消费者异常问题解析与解决方案
Kafka是一个分布式流处理平台,它提供了高吞吐量、容错性和可扩展性的特性。然而,有时候在使用Kafka消费者时,可能会遇到一些异常情况。本文将详细讨论几种常见的Kafka消费异常…
-
14、Kafka 请求是怎么被处理的
Kafka 请求是怎么被处理的 1、处理请求的 2 种常见方案 1.1、顺序处理请求 1.2、每个请求使用单独线程处理 2、Kafka 是如何处理请求的? 3、控制类请求和数据类请…
-
掌握Spark的数据序列化和压缩技术
1.背景介绍 在大数据处理领域,Apache Spark作为一个快速、灵活的大数据处理框架,已经成为了许多企业和研究机构的首选。Spark的核心功能包括数据处理、机器学习、图形计算…
-
RabbitMQ – 消息堆积问题的最佳解决方案?惰性队列
目录 一、惰性队列 1.1、消息堆积问题 1.2、消息堆积问题的解决方法 从消费者的角度: 从队列的角度: 1.3、引入惰性队列 1.3.1、什么是惰性队列 1.3.2、惰性队列的…
-
RabbitMQ在Linux上的安装和相关配置
目录 1.RabbitMQ消息队列 2.将Erlang和RabbitMQ的rpm源文件放到第二台装有RabbitMQ服务器的opt文件夹下 3.在Linux中安装Erlang 4….
-
从0到1构建智能分布式大数据爬虫系统
文章目录 1. 写在前面 2. 数据获取挑战 3. 基础架构 4. 爬取管理 5. 数据采集 6. 增量与去重设计 【作者主页】:吴秋霖 【作者介绍】:Python领域优质创作者、…
-
【程序猿包邮送书:第四期】《分布式统一大数据虚拟文件系统——Alluxio原理、技术与实践》
🌹欢迎来到爱书不爱输的程序猿的博客, 本博客致力于知识分享,与更多的人进行学习交流 爱书不爱输的程序猿:送书第三期 🚩🚩Ƕ…
-
Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者
1、查看kafka队列中topic信息 1.1、查看所有topic ./kafka-topics.sh –zookeeper 10.128.106.52:2181 –list …
-
Hadoop的启动和停止命令
一,当我们遇到hadoop无法集群启动namenode或者Datanode的时候我们可以选择单个强制命令来分别启动他们 (1)单个启动namenode的指令如下 sbin/hado…
-
RabbitMQ的基本使用&入门
前言 RabbitMQ是一个开源的消息代理软件,用于处理应用程序之间的消息传递。它实现了高级消息队列协议(AMQP),是一个可靠且灵活的消息中间件,广泛用于构建分布式系统、微服务架…
-
数据优化的数据湖:构建高效的数据仓库解决方案
1.背景介绍 数据湖和数据仓库都是用于存储和管理大规模数据的解决方案,但它们之间存在一些关键的区别。数据湖是一种无结构化或半结构化的数据存储,允许数据在存储过程中保持原始格式,而数…
-
Hadoop分布式安装部署
Hadoop分布式安装部署软件 VMware Workstation Pro17 CentOS7 Hadoop-3.3.6 jdk1.8.0_391 第一步:创建虚拟机 修改网络配…
-
Kafka存取原理与实现分析,打破面试难关
系列文章目录 上手第一关,手把手教你安装kafka与可视化工具kafka-eagle Kafka是什么,以及如何使用SpringBoot对接Kafka 架构必备能力——kafka的…
-
Dubbo 3.x结合Zookeeper实现远程服务基本调用
ZooKeeper和Dubbo是两个在分布式系统中常用的开源框架,它们可以协同工作,提供服务注册与发现、分布式协调等功能。 – 服务注册与发现: Dubbo服务提供者将…
