分布式
-
RabbitMq知识概述
本文来说下RabbitMq相关的知识与概念 文章目录 概述 AMQP协议 Exchange 消息如何保证100％投递 什么是生产端的可靠性投递 可靠性投递保障方案 消息幂等性 高并…
-
rabbitMq 针对于当前监听的队列，来控制消费者并发数量，不影响其他队列，代码示例
@Configuration @ConditionalOnClass(SimpleRabbitListenerContainerFactory.class) public clas…
-
Spark与Cassandra的集成与数据存储
Apache Spark和Apache Cassandra是大数据领域中两个重要的工具，用于数据处理和分布式数据存储。本文将深入探讨如何在Spark中集成Cassandra，并演示…
-
关于集群分布式torchrun命令踩坑记录（自用）
项目场景： 在训练或者微调模型的过程中，单节点的显存溢出，或者单节点的显卡较少，算力有限。需要跨节点用多个节点多块显卡来运行这项任务。这里就需要使用分布式命令，将这项任务分布到多个…
-
手动修复 rabbitmq 报错 “Crash dump is being written to“
rabbitmq 报错: 2023-11-07 16:38:52.682 [error] emulator Error in process on node ‘rabbit@rab…
-
【新星计划】Kafka分布式发布订阅消息系统
Kafka分布式发布订阅消息系统 目录 Kafka分布式发布订阅消息系统 1. 概述 1.1 点对点消息传递模式 1.2 发布-订阅消息传递模式 1.3 Kafka特点 1.4…
-
第十七章：HBase的查询与索引
1.背景介绍 1. 背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、Map…
-
Spark优化和问题
优化 spark sql 优化 在配置SparkSQL任务时指定executor核心数 建议为4 (同一executor[进程]内内存共享,当数据倾斜时,使用相同核心数与内存量的两…
-
消息队列：RabbitMQ
目录 1、什么是rabbitMQ 1.1、AMQP 1.2几种MQ的对比 编辑 2、快速入门 2.1、安装RabbitMQ（使用虚拟机安装） 2.2、使用RabbitMQ准备 2…
-
kafka中，使用ack提交时，存在重复消费问题
ack提交时，存在重复消费？？ 往consumer监听的topic中，增加了一条数据，但是代码消费了好几次，而且确实也走ack.acknowledge();这块逻辑了，因为处理的逻…
-
依赖Kafka的Go单元测试例解
Kafka[1]是Apache基金会开源的一个分布式事件流处理平台，是Java阵营(最初为Scala)中的一款杀手级应用，其提供的高可靠性、高吞吐量和低延迟的数据传输能力，让其到目…
-
Docker与Kafka：实现高性能流处理
1.背景介绍 1. 背景介绍 Docker 和 Kafka 都是现代技术中的重要组成部分，它们各自在不同领域发挥着重要作用。Docker 是一个开源的应用容器引擎，用于自动化部署、…
-
rabbitmq延时队列相关配置
确保 RabbitMQ 的延时消息插件已经安装和启用。你可以通过执行以下命令来安装该插件： rabbitmq-plugins enable rabbitmq_delayed_mes…
-
Kafka内容分享(七)：Kafka 数据清理和配额限速
目录 一、Kafka中数据清理（Log Deletion） 1.1、日志删除 1.1.1、定时日志删除任务 1.1.2、基于时间的保留策略 1.1.2.1、设置topic 5秒删除…
-
RabbitMQ反序列化失败：Failed to convert message
🎈 1 参考文档 RabbitMQ消费消息坑：failed to convert serialized Message content | jiuchengi-cn…
