hive
-
Hive使用shell调用命令行特殊字符处理
1.场景分析 数据处理常用hive -e的方式，通过脚本操作数仓，过程中常常遇到特殊字符的处理，如单双引号、反斜杠、换行符等，现将特殊字符用法总结使用如下，可直接引用，避免自行测试…
-
Spark On Hive原理和配置
目录 一、Spark On Hive原理 （1）为什么要让Spark On Hive？ 二、MySQL安装配置（root用户） （1）安装MySQL…
-
Hive行转列[一行拆分成多行/一列拆分成多列]
场景： hive有张表armmttxn_tmp，其中有一个字段lot_number，该字段以逗号分隔开多个值，每个值又以冒号来分割料号和数量，如：A3220089:-40,A322…
-
大数据数仓建模基础理论【维度表、事实表、数仓分层及示例】
文章目录 什么是数仓仓库建模？ ER 模型 三范式 维度建模 事实表 事实表类型 维度表 维度表类型 数仓分层 ODS 源数据层 ODS 层表示例 DWD 明细数据层 DWD 层表…
-
Hive —- 文件格式和压缩
Hive —- 文件格式和压缩 1. Hadoop压缩概述 2. Hive文件格式 1. Text File 2. ORC 3. Parquet 3. 压缩 1. Hi…
-
大数据HIVE
启动Hive 启动集群组件 cd /export/onekey ./start-all.sh 终端链接Hive 进入到/export/server/hive-2.1.0/bin目录…
-
hive和presto的求数组长度函数区别及注意事项
1、任务 获取邮箱字符串’@’后字符串 ，求长度 2、hive & spark-sql 求数组长度的函数 size hive & spark-sql 求…
-
Hive on Spark环境搭建
文章目录 Hive 引擎简介 环境配置 （ssh已经搭好） JDK准备 Hadoop 准备 配置集群 启动集群 LZO压缩配置 Hive 准备 Hive 元数据配置到 MySQL …
-
Hive运算符和函数
day04 函数和运算符 1、运算符 建表和数据 create external table ext_table( id int, name string, age int, s_…
-
Hive表锁机制原理以及各种场景的解决方案
hive 锁机制(S锁,X锁) 是由hive的事务管理器出发，锁的原理是 一张表简称A表，我们对A表做查询操作的时候，就会获取到 A表的S锁(共享锁), 如果对A表做alter 等…
-
Apache Hive 简介
目录 一、 Apache Hive 架构图 （一） Hive 的本质 （二） Hive 架构图 二、 Hive 的三种部署方式 三、 数据仓库和数据库的区别 四、 数仓经…
-
大数据平台环境搭建—- Hive&MySql数据库组件配置
前置环境 Hadoop集群必须部署完成，如果还没有搭建请先前往>>Hadoop全分布搭建笔记 程序版本 hive 1.1.0 mysql 5.7.25 mysql-co…
-
大数据开发之电商数仓（hadoop、flume、hive、hdfs、zookeeper、kafka）
第 1 章：数据仓库 1.1 数据仓库概述 1.1.1 数据仓库概念 1、数据仓库概念： 为企业制定决策，提供数据支持的集合。通过对数据仓库中数据的分析，可以帮助企业，改进业务流程…
-
Hive初体验
首先，确保启动了Metastore服务 {runjar就是metastore ；hadoop要先启动 } 可以执行： bin/hive 进入到Hive Shell 环境中，可以直…
-
Hive case when 用法详细介绍
Hive的CASE WHEN语句是一种条件语句，用于在查询结果中根据不同的条件返回不同的结果。 语法： SELECT CASE WHEN condition1 THEN resul…
![Hive行转列[一行拆分成多行/一列拆分成多列]](/img/6c/49747b5c83b84ed0a10c4b5525e157f4.png)
