hadoop
-
Hive csv文件导入Hive
一、如何把csv文件导入Hive (1) 在Hive中建立与csv相对应的表 create table if not exists tmp.tmp_wenxin_20231123 …
-
Hadoop3.x源码解析
文章目录 一、RPC通信原理解析 1、概要 2、代码demo 二、NameNode启动源码解析 1、概述 2、启动9870端口服务 3、加载镜像文件和编辑日志 4、初始化NN的RP…
-
Hadoop高可靠集群搭建步骤(手把手教学)【超级详细】
Hadoop高可靠集群搭建步骤(手把手教学) 【超级详细】 文章目录 1 HA集群基础配置 1.1 创建系统为Centos7(Linux)的虚拟机 1.2 基本网络配置 1.3 连…
-
解决集群部署Hadoop 启动后没有ResourceManager问题
解决集群部署Hadoop 启动后没有ResourceManager问题 问题 1. 启动完成后输入jps命令没有看到ResourceManager 2. 查看ResourceMan…
-
Hadoop安装和使用详解
本文主要参考林子雨老师的教程,以下是参考源: 视频慕课:2.3.2 Hadoop的安装与使用详解_哔哩哔哩_bilibili 本文希望通过部署Hadoop为主线,对Hadoop的框…
-
Hive 数仓及数仓设计方案
数仓(Data Warehouse) 数据仓库存在的意义在于对企业的所有数据进行汇总,为企业各个部门提供一个统一、规范的出口。做数仓就是做方案,是用数据治理企业的方案。 数据仓库的…
-
[hadoop全分布部署]安装Hadoop、配置Hadoop 配置文件①
👨🎓👨🎓博主:发量不足 个人简介:耐心,自信来源于你强大的思想和知识基础!! 📑📑…
-
bash: 未预期的符号 `newline‘ 附近有语法错误——解决方法
大家看了这篇文章,别笑我😭,我的脑子最近真的不好使! 先放图: 当我在修改Hadoop中core-site.xml配置文件后,想使用source让文件生效,结果出现…
-
基于Hadoop的豆瓣电影的数据抓取、数据清洗、大数据分析(hdfs、flume、hive、mysql等)、大屏可视化
目录 项目介绍 研究背景 国内外研究现状分析 研究目的 研究意义 研究总体设计 数据获取 网络爬虫介绍 豆瓣电影数据的采集 数据预处理 数据导入及环境配置 Flume介绍 Hive…
-
【hive】hive数据类型及数据类型转换的注意事项
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 一、hive数据类型 1、数值型数据类型 2、字符型数据类型 3、日期型数据类型 4、其他数据类型 5、…
-
HIVE窗口函数
什么是窗口函数 hive中开窗函数通过over关键字声明;窗口函数,准确地说,函数在窗口中的应用;比如sum函数不仅可在group by后聚合,在可在窗口中应用; hive中gro…
-
大数据学习的第一课-大数据概论和技术原理
目录 大数据概论 大数据概念 为什么会有大数据 大数据的4v特征 大数据的来源 云计算与大数据 大数据发展历史 大数据技术原理 大数据的存储技…
-
【Hadoop】HA高可用搭建保姆级教程(大二学长的万字笔记)
知识目录 一、写在前面🎈 二、集群准备🍟 2.1 集群规划 2.2 集群解释 三、说明🔑 3.1 主机名说明 3.2 用户名说明 3…
-
Hive创建外部表详细步骤
① 在hive中执行HDFS命令:创建/data目录 hive命令终端输入: hive> dfs -mkdir -p /data; 或者在linux命令终端输入: hdfs …
-
【Hadoop】完全分布式集群搭建
知识目录 一、前言 二、配置三台虚拟机 2.1 克隆三台虚拟机 2.2 配置克隆的虚拟机 2.3 使用Xshell连接虚拟机 2.4 配置SSH免密登录 三、Hadoop集群准备 …
