分布式
-
理解 Spark 写入 API 的数据处理能力
这张图解释了 Apache Spark DataFrame 写入 API 的流程。它始于对写入数据的 API 调用,支持的格式包括 CSV、JSON 或 Parquet。流程根据选…
-
Spark—SparkSQL介绍
一、SparkSQL介绍 1、Shark Shark是基于Spark计算框架之上且兼容Hive语法的SQL执行引擎,由于底层的计算采用了Spark,性能比MapReduce的Hiv…
-
加密算法、分布式缓存与Hadoop
1 加密算法 1.1. AES 高级加密标准(AES,Advanced Encryption Standard)为最常见的对称加密算法(微信小程序加密传 输就是用这个加密算法的)。…
-
【分布式技术】消息队列Kafka
目录 一、Kafka概述 二、消息队列Kafka的好处 三、消息队列Kafka的两种模式 四、Kafka 1、Kafka 定义 2、Kafka 简介 3、Kafka 的特性 五、K…
-
【RabbitMQ】RabbitMQ详解(二)
RabbitMQ详解 死信队列 死信来源 消息TTL过期 队列达到最大长度 消息被拒绝 RabbitMQ延迟队列 TTL的两种设置 队列设置TTL 消息设置TTL 整合Srping…
-
Spark与PySpark(1.概述、框架、模块)
目录 1.Spark 概念 2. Hadoop和Spark的对比 3. Spark特点 3.1 运行速度快 3.2 简单易用 3.3 通用性强 3.4 可以允许运行在很多地方 4….
-
RabbitMQ管理界面介绍
1.管理界面概览 connections: 无论生产者还是消费者,都需要与RabbitMQ建立连接后才可以完成消息的生产和消费,在这里可以查看连接情况 channe…
-
使用 Redis 实现生成分布式全局唯一ID(使用SpringBoot环境实现)
目录 一、前言 二、如何通过Redis设计一个分布式全局唯一ID生成工具 2.1、使用 Redis 计数器实现 2.2、使用 Redis Hash结构实现 三、通过代码实现分布式全…
-
C#使用RabbitMQ-4
简介 RabbitMQ中的路由模式是一种根据Routing Key有条件地将消息筛选后发送给消费者的模式。在路由模式中,生产者向交换机发送消息时,会指定一个Routing Key。…
-
Kafka本地安装⭐️(Windows)并测试生产消息以及消费消息的可用性
2023.12.17 天气晴 温度较低 十点半,不是不想起实在是阳光浴太nice了 日常三连,喂,刷,肝 刷会儿博客,看会儿设计模式 冷冷冷 进被窝 刷视频…
-
kafka hang 问题记录
参考文档 https://cloud.tencent.com/developer/article/1821477 9092端口 端口9092通常与Apache Kafka关联。 K…
-
HADOOP的配置
一,集群和分布式的概念 hadoop+java1.8:链接:https://pan.baidu.com/s/1yTlgLGzz6Ow-YWU-CeF68w 提取码:aoag –来自…
-
RabbitMQ-中死信交换机
在RabbitMQ中,死信交换机(DLX,Dead Letter Exchange)是一种用于处理无法正常消费的消息的机制。当消息在一个队列中变成死信(dead letter)之后…
-
使用Apache Kafka进行分布式流处理
1.背景介绍 分布式流处理是现代大数据技术中的一个重要领域,它涉及到实时处理大规模数据流,以支持各种应用场景,如实时数据分析、实时推荐、实时监控等。在这些场景中,数据处理需要在高吞…
-
深入理解Apache Hadoop的分布式存储
1.背景介绍 分布式存储是大数据处理领域中的一个重要话题。随着数据量的增加,单机存储和计算的能力已经无法满足需求。因此,分布式存储和计算技术变得越来越重要。Apache Hadoo…
