分布式

1. 现状和挑战 1.1 现状 Kafka是一个开源的流处理平台，业界有很多互联网企业也都在使用这款产品。我们首先了解一下Kafka在美团数据平台的现状。 图1-1 Kafka在美…

目录 第1关： Standalone 分布式集群搭建 任务描述 相关知识 课程视频 Spark分布式安装模式 示例集群信息 配置免密登录 准备Spark安装包 配置环境变量 修改 …

为什么写这篇文章? 老东西叫我用vmvare部署hadoop,我觉得这简直蠢毙了,让我们用docker和docker-compose来快速的过一遍如何使用docker-compos…

1. 分布式锁 1.1 什么是分布式锁 在我们进行单机应用开发涉及并发同步的时候，我们往往采用synchronized或者ReentrantLock的方式来解决多线程间的代码同步问…

前言         前面荔枝梳理了RabbitMQ中的普通队列、交换机以及相关的知识，在这篇文章中荔枝将会梳理RabbitMQ的一个重要的队列 —— 死信队列，主要了解消息流转到…

本文来说下RabbitMq相关的知识与概念 文章目录 概述 AMQP协议 Exchange 消息如何保证100％投递 什么是生产端的可靠性投递 可靠性投递保障方案 消息幂等性 高并…

Apache Spark和Apache Cassandra是大数据领域中两个重要的工具，用于数据处理和分布式数据存储。本文将深入探讨如何在Spark中集成Cassandra，并演示…

项目场景： 在训练或者微调模型的过程中，单节点的显存溢出，或者单节点的显卡较少，算力有限。需要跨节点用多个节点多块显卡来运行这项任务。这里就需要使用分布式命令，将这项任务分布到多个…

Kafka分布式发布订阅消息系统   目录 Kafka分布式发布订阅消息系统 1. 概述 1.1 点对点消息传递模式 1.2 发布-订阅消息传递模式 1.3 Kafka特点 1.4…

优化 spark sql 优化 在配置SparkSQL任务时指定executor核心数 建议为4 (同一executor[进程]内内存共享,当数据倾斜时,使用相同核心数与内存量的两…

目录 1、什么是rabbitMQ 1.1、AMQP 1.2几种MQ的对比 ​编辑 2、快速入门 2.1、安装RabbitMQ（使用虚拟机安装） 2.2、使用RabbitMQ准备 2…