hdfs
-
大数据之使用Flume监听本地文件采集数据流到HDFS
本文介绍Flume监听本地文件采集数据流到HDFS 我还写了一篇文章是Flume监听端口采集数据流到Kafka【点击即可跳转，写的也非常详细】 任务一： 在Master节点使用Fl…
-
Hadoop：学习HDFS，看完这篇就够了！
HDFS（Hadoop Distributed File System）是Apache Hadoop生态系统中的分布式文件系统，用于存储和处理大规模数据集。由于其具有高容错性、高…
-
2024-01-30（Hadoop
1.什么是大数据 狭义（技术思维）：使用分布式技术完成海量数据的处理，得到数据背后蕴含的价值。 广义：大数据是数字化时代，信息化时代的基础（技术）支撑，以数据为生活赋能。 大数据的…
-
学会大数据基础，一篇就够了
第 2 章-大数据处理架构 Hadoop 1 hadoop 生态系统 1 Hadoop的三大组件 1) HDFS分布式文件管理系统 超大数据存储 流式存储 2) MapRuduce…
-
Hadoop集群！将HDFS副本数设置为3；可以正常提交MapReduce运行！
目录 一、将HDFS副本数设置为3 1、什么是HDFS副本数？ 2.将副本数设置为3 二、基于MapReduce框架开发wordcount程序 1、什么是MapReduce框架？ …
-
HDFS基本命令
目录 1.上传文件到HDFS文件系统 2.-appendToFile：追加一个文件到已经存在的文件末尾 3.查看HDFS文件系统中的文件 4.查看上传到HDFS文件系统中指定文件…
-
NameNode和DataNode在HDFS中的作用是什么？
作者简介：一名后端开发人员，每天分享后端开发以及人工智能相关技术，行业前沿信息，面试宝典。 座右铭：未来是不可确定的，慢慢来是最快的。 个人主页：极客李华-CSDN博客 合作方式：…
-
HDFS HA 高可用集群搭建详细图文教程
目录 一、高可用（HA）的背景知识 1.1 单点故障 1.2 如何解决单点故障 1.2.1 主备集群 1.2.2 Active、Standby 1.2.3 高可用 1.2.4…
-
Hadoop-5-HDFS常用命令
hdfs常用命令： 第一部分：hdfs文件系统命令 第一类：文件路径增删改查系列： hdfs dfs -mkdir dir 创建文件夹 hdfs dfs -rmr dir 删除文件…
-
HDFS 常用命令
HDFS 常用命令 HDFS (Hadoop Distributed File System) 是 Hadoop 分布式文件系统，以下是一些 HDFS 常用命令： 低版本 hado…
-
HDFS系统权限详解
一，HDFS超级用户 启动namenode的用户就是HDFS中的超级用户 如图所示 HDFS中，也是有权限控制的，其控制逻辑和Linux文件系统的完全一致 但是不同的是，两个系统的…
-
Pyspark读写csv,txt,json,xlsx,xml,avro等文件
1. Spark读写txt文件 读： df = spark.read.text(“/home/test/testTxt.txt”).show() +————-+ |…
-
HDFS读写数据流程、NameNode与DataNode工作机制
文章目录 HDFS 写数据流程 HDFS 读数据流程 HDFS 节点距离计算 HDFS 机架感知 HDFS NN和2NN工作机制 HDFS FsImage镜像文件 HDFS Edi…
-
HDFS Federation前世今生
一 背景 熟悉大数据的人应该都知道，HDFS 是一个分布式文件系统，它是基于谷歌的GFS实现的开源系统，设计目的就是提供一个高度容错性和高吞吐量的海量数据存储解决方案。在经典的HD…
-
HDFS及各组件功能介绍
Hadoop分布式文件系统（Hadoop Distributed File System，HDFS）是Hadoop生态系统的核心组件之一，它是设计用于存储和处理大规模数据集的分布式…
