分布式
-
RabbitMQ高阶使用消息推送
目录 1 从打车开始说起 1.1 需要解决的问题 1.2 消息推送 2 消息推送 2.1 什么是消息推送 2.2 方案介绍 2.2.1 ajax短轮询 2.2.2 长轮询 2.2….
-
Kafka基础—2、Kafka 生产者API
Kafka知识库 – 索引目录 一、Kafka生产者API 1、发送消息 在 Go 语言中使用 Kafka 生产者 API，首先需要 Kafka 的 Go 客户端库。 …
-
【Kafka-3.x-教程】-【三】Kafka-Broker、Kafka-Kraft
【Kafka-3.x-教程】专栏： 【Kafka-3.x-教程】-【一】Kafka 概述、Kafka 快速入门 【Kafka-3.x-教程】-【二】Kafka-生产者-Produc…
-
Kafka及Kafka消费者的消费问题及线程问题
Kafka 一、Kafka中的基本信息 kafka中topic、broker、partition、及customer和producer等的对应关系 Window安装配置kafka和…
-
HBase的数据清洗与数据质量检查
1.背景介绍 1. 背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、Map…
-
MQ面试题之Kafka
前言 前文介绍了消息队列相关知识，并未针对某个具体的产品，所以略显抽象。本人毕业到现在使用的都是公司内部产品，对于通用产品无实际经验，但是各种消息中间件大差不差，故而本次选择一个相…
-
01、Kafka —— 下载、安装 ZooKeeper 和 Kafka
目录 Kafka是什么？ 安装 ZooKeeper 下载 安装 启动 zookeeper 服务器端 启动 zookeeper 的命令行客户端工具 安装 Kafka 下载 安装 启动…
-
Android应用集成RabbitMQ消息处理指南
Android应用集成RabbitMQ消息处理指南 RabbitMQ 1、前言 2、RabbitMQ简介 2.1、什么是RabbitMQ 2.2、RabbitMQ的特点 2.3、R…
-
Linux系统下Spark的下载与安装（pyspark运行示例）
最近需要完成数据课程的作业，因此实践了一下如何安装并配置好spark 1、版本要求 由于我想要将hadoop和spark一起使用，因此必须确定好spark的版本 Spark和Had…
-
kafka详解
说说你对kafka的理解 kafka是一个流式数据处理平台，他具有消息系统的能力，也有实时流式数据处理分析能力，只是我们更多的偏向于把他当做消息队列系统来使用。 如果说按照容易理解…
-
Spark: 检查数据倾斜的方法以及解决方法总结
1. 使用Spark UI Spark UI提供了一个可视化的方式来监控和调试Spark作业。你可以通过检查各个Stage的任务执行时间和数据大小来判断是否存在数据倾斜。 任务执行…
-
Hadoop入门概述
Hadoop 是一个开源的分布式计算框架，主要用于处理和存储大规模数据集。以下是学习Hadoop时需要掌握的一些关键概念和技术要点： Hadoop 概述 Hadoop是什么： Ha…
-
flink1.16使用消费/生产kafka之DataStream
flink高级版本后，消费kafka数据一种是Datastream 一种之tableApi。 上官网 Kafka | Apache Flink Kafka Source 引入依赖 …
-
RabbitMQ – 修改日志和数据存放路径
RabbitMQ是一个功能强大的消息中间件，被广泛应用于分布式系统中。默认情况下，RabbitMQ会将日志和数据存储在预定义的路径下。然而，有时候我们希望修改这些路径，以满足特定的…
-
Pytorch 分布式并行DDP 卡死 挂起
问题描述： 1、使用A30显卡，使用分布式并行Distributed Data Parallel，运行程序时显卡显存充满，卡在设置local_rank处，并未启动进程组 2、如图：…
