分布式
-
依赖Kafka的Go单元测试例解
Kafka[1]是Apache基金会开源的一个分布式事件流处理平台，是Java阵营(最初为Scala)中的一款杀手级应用，其提供的高可靠性、高吞吐量和低延迟的数据传输能力，让其到目…
-
Docker与Kafka：实现高性能流处理
1.背景介绍 1. 背景介绍 Docker 和 Kafka 都是现代技术中的重要组成部分，它们各自在不同领域发挥着重要作用。Docker 是一个开源的应用容器引擎，用于自动化部署、…
-
rabbitmq延时队列相关配置
确保 RabbitMQ 的延时消息插件已经安装和启用。你可以通过执行以下命令来安装该插件： rabbitmq-plugins enable rabbitmq_delayed_mes…
-
Kafka内容分享(七)：Kafka 数据清理和配额限速
目录 一、Kafka中数据清理（Log Deletion） 1.1、日志删除 1.1.1、定时日志删除任务 1.1.2、基于时间的保留策略 1.1.2.1、设置topic 5秒删除…
-
RabbitMQ反序列化失败：Failed to convert message
🎈 1 参考文档 RabbitMQ消费消息坑：failed to convert serialized Message content | jiuchengi-cn…
-
Spark在Windows下的环境搭建及pyspark的使用
一、JDK的安装 Spark是一个用于大数据处理的开源框架，它是用Scala编写的，而Scala是一种运行在Java虚拟机（JVM）上的编程语言，因此它依赖于Java的…
-
Spark核心–RDD介绍
一、RDD的介绍rdd 弹性分布式数据集 是spark框架自己封装的数据类型，用来管理内存数据 数据集： rdd数据的格式 类似Python中 [] 。 hive中的…
-
Kafka——配置文件详解
目录 1、server.properties 2、producer.properties 3、consumer.propertis 4、server.properties模板 1、…
-
HBase的数据备份与恢复
1.背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计，可以存储和管理大量结构化数据。HBase是Hadoop生态系统的一部分，…
-
HBase常用命令（超全超详细）
目录 连接HBase 连接HBase并查看版本 帮助命令 查看服务器状态 查看当前数据库中有哪些表 命名空间 列出所有命名空间 新建命名空间 删除命名空间 修改命名空间 创建表 列…
-
【hadoop】解决浏览器不能访问Hadoop的50070、8088等端口？！
【hadoop】解决浏览器不能访问Hadoop的50070、8088等端口？！😎 前言🙌 【hadoop】解决浏览器不能访问Hadoop的50070…
-
RabbitMQ创建新用户,并给用户添加角色和授权
一、进入容器 1.1 查看运行容器的详细信息 docker ps -a 1.2 进入容器命令 docker exec -it 容器ID /bin/bash 或 docker e…
-
LLM-分布式训练工具（一）：DeepSpeed【微软】【大模型分布式训练工具，实现ZeRO并行训练算法】【zero3配置将模型参数切分后分配到不同的显卡中，突破单张显卡容量不足以加载模型参数的限制】
DeepSpeed是微软推出的大规模模型分布式训练的工具，主要实现了ZeRO并行训练算法。 原始文档链接： DeepSpeed 一、DeepSpeed目前支持的功能 Optimiz…
-
Hadoop3.x完全分布式环境搭建Zookeeper和Hbase
集群规划 IP地址 主机名 集群身份 192.168.138.100 hadoop00 主节点 192.168.138.101 hadoop01 从节点 192.168.138.1…
-
【Hadoop】图解 Hadoop 生态系统及其组件
图解 Hadoop 生态系统及其组件 1.HDFS2.MapReduce3.YARN4.Hive5.Pig6.Mahout7.HBase8.Zookeeper9.Sqoop10.F…
