hadoop
-
HDFS基本命令
目录 1.上传文件到HDFS文件系统 2.-appendToFile：追加一个文件到已经存在的文件末尾 3.查看HDFS文件系统中的文件 4.查看上传到HDFS文件系统中指定文件…
-
用户认证-Kerberos的介绍和使用(Hadoop、Hive、数仓流程、Presto、Kylin集成配置)
文章目录 介绍 概述 基本概念 认证原理 优点和缺点 安装和使用 安装Kerberos相关服务 修改配置文件 初始化KDC数据库 修改管理员权限配置文件 启动Kerberos相关服…
-
Flink 内容分享(二十七)：Hadoop vs Spark vs Flink——大数据框架比较
大数据开发离不开各种框架，我们通过学习 Apache Hadoop、Spark 和 Flink 之间的特征比较，可以从侧面了解要学习的内容。众所周知，Hadoop vs Spark…
-
深入理解 Hadoop （一）网络通信架构与源码浅析
深入理解 Hadoop （一）网络通信架构与源码浅析 深入理解 Hadoop （二）HDFS架构演进 深入理解 Hadoop （三）HDFS文件系统设计实现 深入理解 Hadoop…
-
NameNode和DataNode在HDFS中的作用是什么？
作者简介：一名后端开发人员，每天分享后端开发以及人工智能相关技术，行业前沿信息，面试宝典。 座右铭：未来是不可确定的，慢慢来是最快的。 个人主页：极客李华-CSDN博客 合作方式：…
-
HDFS HA 高可用集群搭建详细图文教程
目录 一、高可用（HA）的背景知识 1.1 单点故障 1.2 如何解决单点故障 1.2.1 主备集群 1.2.2 Active、Standby 1.2.3 高可用 1.2.4…
-
Hudi集成Hive时的异常解决方法 java.lang.ClassNotFoundException: org.apache.hudi.hadoop.HoodieParquetInputFormat
Hudi 0.10.0 集成 Hive 时的异常及解决方法: java.lang.ClassNotFoundException: org.apache.hudi.hadoop.Ho…
-
如何使用Hive或者HadoopMR访问表格存储中的表
使用教程 更新时间：2023-12-14 09:58 本文主要为您介绍如何使用Hive或者HadoopMR访问表格存储中的表。 数据准备 在表格存储中准备一张数据表pet，name…
-
Hadoop-5-HDFS常用命令
hdfs常用命令： 第一部分：hdfs文件系统命令 第一类：文件路径增删改查系列： hdfs dfs -mkdir dir 创建文件夹 hdfs dfs -rmr dir 删除文件…
-
Hive内核调优(二)
Hive内核调优(二) 1.3 Hive 日志说明 SQL调优过程中需要结合Hive日志分析性能瓶颈，如下是对关键日志进行说明。 1.3.1 运行日志 运行态日志主要包括HiveS…
-
HDFS 常用命令
HDFS 常用命令 HDFS (Hadoop Distributed File System) 是 Hadoop 分布式文件系统，以下是一些 HDFS 常用命令： 低版本 hado…
-
HDFS系统权限详解
一，HDFS超级用户 启动namenode的用户就是HDFS中的超级用户 如图所示 HDFS中，也是有权限控制的，其控制逻辑和Linux文件系统的完全一致 但是不同的是，两个系统的…
-
HBase与Hadoop：HBase与Hadoop的集成与使用
1.背景介绍 1. 背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。HBase提供了一种自动分区、自动同步的数据存储方式，可…
-
hadoop面试题
0. 思维导图 1. HDFS 1. HDFS的架构♥♥ HDFS主要包括三个部分，namenode,datanode以及secondary namenode。这里主要讲一下他…
-
jdbc通过kerberos认证连接hive
pom依赖添加hive-jdbc 根据实际情况添加依赖，主要看服务器hive版本 org.apache.hive hive-jdbc 2.1.1-cdh6.3.2 org.slf4…
