分布式
-
Spark在Windows下的环境搭建及pyspark的使用
一、JDK的安装 Spark是一个用于大数据处理的开源框架,它是用Scala编写的,而Scala是一种运行在Java虚拟机(JVM)上的编程语言,因此它依赖于Java的…
-
Spark核心–RDD介绍
一、RDD的介绍rdd 弹性分布式数据集 是spark框架自己封装的数据类型,用来管理内存数据 数据集: rdd数据的格式 类似Python中 [] 。 hive中的…
-
Kafka——配置文件详解
目录 1、server.properties 2、producer.properties 3、consumer.propertis 4、server.properties模板 1、…
-
HBase的数据备份与恢复
1.背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统,基于Google的Bigtable设计,可以存储和管理大量结构化数据。HBase是Hadoop生态系统的一部分,…
-
HBase常用命令(超全超详细)
目录 连接HBase 连接HBase并查看版本 帮助命令 查看服务器状态 查看当前数据库中有哪些表 命名空间 列出所有命名空间 新建命名空间 删除命名空间 修改命名空间 创建表 列…
-
【hadoop】解决浏览器不能访问Hadoop的50070、8088等端口?!
【hadoop】解决浏览器不能访问Hadoop的50070、8088等端口?!😎 前言🙌 【hadoop】解决浏览器不能访问Hadoop的50070…
-
RabbitMQ创建新用户,并给用户添加角色和授权
一、进入容器 1.1 查看运行容器的详细信息 docker ps -a 1.2 进入容器命令 docker exec -it 容器ID /bin/bash 或 docker e…
-
LLM-分布式训练工具(一):DeepSpeed【微软】【大模型分布式训练工具,实现ZeRO并行训练算法】【zero3配置将模型参数切分后分配到不同的显卡中,突破单张显卡容量不足以加载模型参数的限制】
DeepSpeed是微软推出的大规模模型分布式训练的工具,主要实现了ZeRO并行训练算法。 原始文档链接: DeepSpeed 一、DeepSpeed目前支持的功能 Optimiz…
-
Hadoop3.x完全分布式环境搭建Zookeeper和Hbase
集群规划 IP地址 主机名 集群身份 192.168.138.100 hadoop00 主节点 192.168.138.101 hadoop01 从节点 192.168.138.1…
-
【Hadoop】图解 Hadoop 生态系统及其组件
图解 Hadoop 生态系统及其组件 1.HDFS2.MapReduce3.YARN4.Hive5.Pig6.Mahout7.HBase8.Zookeeper9.Sqoop10.F…
-
Zookeeper-一致性协议ZAB
ZAB协议介绍 ZAB 协议全称:Zookeeper Atomic Broadcast(Zookeeper 原子广播协议)。 Zookeeper 是一个为分布式应用提供高效且可靠的…
-
prometheus监控kafka
一、前言 关于对kafka的监控,要求高的话可以使用kafka-exorter和jmx-exporter一起收集监控数据,要求不高的情况下可以使用kafka-exporter…
-
rabbitMq怎么查看队列消息-Tracing日志
Trace 是Rabbitmq用于记录每一次发送的消息,方便使用Rabbitmq的开发者调试、排错。 1、启动Tracing插件 在RabbitMQ中默认是关闭的,需手动开启。此处…
-
深入理解 Hadoop (五)YARN核心工作机制浅析
深入理解 Hadoop (一)网络通信架构与源码浅析 深入理解 Hadoop (二)HDFS架构演进 深入理解 Hadoop (三)HDFS文件系统设计实现 深入理解 Hadoop…
-
zookeeper:启动后占用8080端口问题解决
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务。它为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。 我们经常在运行z…
