分布式
-
kafka详解一
kafka详解一 1、消息引擎背景 根据维基百科的定义,消息引擎系统是一组规范。企业利用这组规范在不同系统之间传递语义准确的消息,实现松耦合的异步式数据传递. 即:系统 A 发送消…
-
kafka(一)——简介
简介 Kafka 是一种分布式、支持分区、多副本的消息中间件,支持发布-订阅模式,多用于实时处理大量数据缓存的场景,类似于一个“缓存池”。 架构 Producer:消息生产者; C…
-
保证消息顺序性:Kafka 的策略与挑战
目录 1. 为什么消息顺序性很重要? 2. Kafka 的消息顺序性挑战 2.1 分区与并行性 2.2 生产者与网络延迟 2.3 消费者群组 3. 保证消息顺序性的策略 3.1 单…
-
kafka乱序消费可能的原因和解决方案
Kafka乱序消费可能的原因有以下几个: 分区顺序:Kafka中的消息按照分区进行存储和分发,每个分区内的消息是有序的,但不同分区之间的消息顺序是无法保证的。如果消费者在多个分区上…
-
搭建hadoop初次格式化 格式化了很多次报错解决方案(亲测好用)
在搭建完hadoop集群时,初次启动HDFS集群,需要对主节点进行格式化操作,其本质是清理和做一些准备工作,因为此时的HDFS在物理上还是存在的。而且主节点格式化操作只能进行一次。…
-
分布式微服务springboot+springcloud基于java的课程教学资源下载视频播放管理系统 Eureka
要掌握有关系统的基本理论,如 Java语言、 MySQL数据库等,并对其进行全面的分析。为了给系统打下坚实的技术基础,本系统采用了 MySQL数据库的架构,在开始这项工作前,首先要…
-
RabbitMQ-交换机
文章目录 一、交换机是什么? 1.路由键 2.绑定键 二、交换机的类型 1.直连交换机:Direct exchange 规则 理解 2.主题交换机:Topic exchange 规…
-
关于RabbitMQ如何增加用户名,设置权限
1.安装erl和rabbitmq;这些都可以在网上找到,安装完成之后,配置成服务,将erl和mq配置到环境变量中去。 安装方法可参考:在Windows下安装RabbitMQ_rab…
-
[PySpark学习]RDD的转换(Transformation)与动作算子(Action)
一、RDD概念 RDD(英文全称Resilient Distributed Dataset),即弹性分布式数据集是spark中引入的一个数据结构,是Spark中最基本的数据抽象,代…
-
一篇文章带你学会Hadoop-3.3.4集群部署
目录 编辑 一、Hadoop集群部署 二、基础设施配置 2.1 设置网络 2.1.1 设置主机名称 2.1.2 设置hosts配置文件 2.1.3 关闭防火墙 2.1.4 关…
-
Hadoop 高可用集群完全分布式安装教程一篇就够用(zookeeper、spark、hbase、mysql、hive)
Hadoop 高可用集群完全分布式安装教程一篇就够用(zookeeper、spark、hbase、mysql、hive) 写在之前,Hadoop完全分布式集群资源配置规划情况 一、…
-
数据仓库与Hadoop:如何实现大规模数据处理
1.背景介绍 数据仓库和Hadoop都是处理大规模数据的重要技术,它们在现代数据科学和人工智能中发挥着至关重要的作用。数据仓库是一种用于存储和管理大量历史数据的系统,主要用于数据分…
-
Eureka整合seata分布式事务
文章目录 一、分布式事务存在的问题 二、分布式事务理论 三、认识Seata Seata分布式事务解决方案 1、XA模式 2、AT模式 3、SAGA模式 4.SAGA模式优缺点: 5…
-
AI分布式训练:DDP (数据并行)技术详解与实战
分布式训练:DDP (数据并行)技术详解与实战 一、背景介绍 什么是AI分布式训练 分布式训练作为一种高效的训练方法,在机器学习领域中得到了广泛的应用和关注。而其中的一种技术…
-
hadoop集群搭建–启动hdfs时NameNode或DataNode或SecondaryNameNode启动失败解决方法
1、集群HDFS配置情况 node101:NameNode、DataNode node102:DataNode node103:SecondaryNameNode、DataNode…
