hdfs
-
hadoop集群搭建–启动hdfs时NameNode或DataNode或SecondaryNameNode启动失败解决方法
1、集群HDFS配置情况 node101:NameNode、DataNode node102:DataNode node103:SecondaryNameNode、DataNode…
-
HDFS常用命令汇总
HDFS常用命令汇总 一、前言信息 二、帮助信息查看 1、查看帮助信息 2、帮助文档（附带命令的详细说明） 三、常用命令 1、创建目录 2、查看目录下的内容 3、上传文件 4、上传…
-
2.2 如何使用FlinkSQL读取&写入到文件系统(HDFS\Local\Hive)
目录 1、文件系统 SQL 连接器 2、如何指定文件系统类型 3、如何指定文件格式 4、读取文件系统 4.1 开启 目录监控 4.2 可用的 Metadata 5、写出文件系统 …
-
hadoop面试题（大数据）（附答案）
hadoop Hadoop 中常问的就三块，第一：分布式存储(HDFS)；第二：分布式计算框架(MapReduce)；第三：资源调度框架(YARN)。 一，什么是Hadoop及其组…
-
【Hadoop】图解 Hadoop 生态系统及其组件
图解 Hadoop 生态系统及其组件 1.HDFS2.MapReduce3.YARN4.Hive5.Pig6.Mahout7.HBase8.Zookeeper9.Sqoop10.F…
-
一百五十九、Kettle——Kettle9.2通过配置Hadoop clusters连接Hadoop3.1.3（踩坑亲测、附流程截图）
一、目的 由于kettle的任务需要用到Hadoop（HDFS），所以就要连接Hadoop服务。 之前使用的是kettle9.3，由于在kettle新官网以及博客百度等渠道实在找不…
-
一文快速学会Hadoop伪分布式环境搭建，很详细
文章目录 一、准备工作 二、配置ssh免密登录 三、修改hadoop的配置文件 四、格式化namenode节点，启动hdfs，启动yarn 一、准备工作 配置hadoop模板虚拟机…
-
大数据小白初探HDFS从零到入门（一）
目录 1. 前言 2. 大数据的诞生 3.发展趋势及应用 4.离线计算和实时计算 5.大数据的特性 1. 前言 前两天把Hbase的初级入门知识整理了下，在文章中提…
-
Hadoop 存储占用分析命令，查看 Hdfs 文件夹占用大小
兼职公司 Hadoop 运维之后，经常要解决 Hdfs 空间占用的问题，不知道哪天谁又在集群上留下一大堆缓存文件也不清掉，Hadoop 本身默认就是三副本，人一多每个人留一点结果占…
-
最详细HDFS常用命令作用及截图
Hdfs dfs -appendToFile：把本地文件中的内容追加到HDFS中指定文件的末尾 Hdfs dfs -cat ：用于查看分布式文件系统中指定文件里面的内容； 两个命令…
-
Hadoop—20.网站日志分析项目案例（详解）
目录 一、导入数据 1、启动hadoop 2、在hdfs下创建文件夹hadoop_class 3、查询文件夹是否创建成功 4、在hadoop_class下创建一个文件夹存放总数据…
-
Hadoop/HDFS/MapReduce/Spark/HBase重要知识点整理
本复习提纲主要参考北京大学计算机学院研究生课程《网络大数据管理与应用》课程资料以及厦门大学计算机科学系研究生课程 《大数据技术基础》相关材料整理而成，供广大网友学习参考，如有版权问…
-
（最新版本）hive4.0.0 + hadoop3.3.4 集群安装（无坑版）-大数据学习系列（一）
云原生大数据组件研究（Hive+Hadoop） 前言 网上的找的文档大多残缺不靠谱，所以我整理了一份安装最新版本的hive4..0.0+hadoop3.3.4的学习环境，可以提供大…
-
【Hadoop】创建Hadoop集群（3个节点）—— 安装部署一个3个节点构成的hbase集群
前言 此实验搭建3个虚拟节点，一个mater，一个slave1，一个slave2 集群简介 HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但在物…
-
解决ERROR: Attempting to operate on hdfs namenode as root
一、遇到的问题： 二、问题原因： 这个错误提示表明你正在尝试以 root 用户身份操作 HDFS 的 Namenode，但是没有定义 HDFS_NAMENODE_USER 环境变量…
