hive
-
大数据分析组件Hive-集合数据结构
Hive的数据结构 前言 一、array数组类型 二、map键值对集合类型 三、struct结构体类型 前言 Hive是一个基于Hadoop的数据仓库基础设施，用于处理大规模分布式…
-
DATAX 数据同步 My SQL-＞Hive
DATAX 数据同步 My SQL->Hive 安装 DATAX官方地址：https://github.com/alibaba/DataX DATAX-WEB官方地址：htt…
-
Hive之set参数大全-20
指定在执行大表半连接操作时的最小表大小，以决定是否启用半连接操作的优化 在 Hive 中，hive.tez.bigtable.minsize.semijoin.reduction …
-
HIVE核心优化方案
目录 1.数据采样 2.join优化 3.Hive索引 4.数据倾斜 1.HIVE核心优化方案–数据采样 分桶表 分文件的, 在创建表的时候, 指定分桶字段, 并设置分…
-
hive：insert into/overwrite插入分区详解
需求描述：最近在做数据清洗的工作，从ods层到dwd层对数据进行标准化。有多张表需要汇入主题表，因为表中的字段比较多，况且也不统一，需要从指定字段拿数据，并且清洗，最后汇入主题表。…
-
数据库sum()over()函数
一、sum()over()函数 sum():对某个字段求和。 over():开窗，按照某种规则，将数据分组、分窗口计算。 sum()over():对某个字段有规则的求和。规则即ov…
-
Hive 排名函数ROW
目录 1. ROW_NUMBER() 2. RANK() 3. DENSE_RANK() 4. NTILE() 5. CUME_DIST() 6. PERCENT_RANK() 1…
-
【程序员必知必会3】ClickHouse和Hive究竟哪些区别
ClickHouse和Hive究竟哪些区别 ClickHouse和Hive都是用于大数据处理和分析的分布式存储和计算系统，但它们之间存在一些区别： 架构：ClickHouse采用列…
-
2024.1.30 Spark SQL的高级用法
目录 1、如何快速生成多行的序列 2、如何快速生成表数据 3.开窗函数 排序函数 平分函数 聚合函数 向上向下窗口函数 1、如何快速生成多行的序列 — 需求: 请生成一列数据…
-
Hive SQL中的列转行（lateral view与explode）、行转列
一、列转行 1、相关函数 列转行：将某列一行中的数据拆分成多行 1）Explode炸裂函数 将hive某列一行中复杂的 array 或 map 结构拆分成多行（只能输入array或…
-
【hive】- 使用insert into/insert overwrite插入数据到静态分区、动态分区、动静态分区
文章目录 前言 一、hive分区 hive分区类型 hive分区参数 二、数据插入方式 静态分区插入数据 动态分区插入数据 动静混合分区插入数据 前言 Hive中支持的分区类型有两…
-
【Hive-Sql】Hive 处理 13 位时间戳得到年月日时分秒（北京时间）
【Hive-Sql】Hive 处理 13 位时间戳得到年月日时分秒（北京时间） 1）需求 2）实现 1）需求 使用 Hive 自带函数 将 13位 时间戳转成年月日时分秒（北京时间…
-
大数据毕业设计选题推荐-热门旅游景点数据分析-Hadoop-Spark-Hive
✨作者主页：IT研究室✨ 个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学…
-
按分隔符分割字符串（DB2/mysql/hive/Oracle）
1、DB2 –substr+locate/instr DB2没有自己按分隔符分割字符串的函数，只能结合使用 或者在DB2里还可以自己写一个split分割字符串的函数 附…
-
用户认证-Kerberos的介绍和使用(Hadoop、Hive、数仓流程、Presto、Kylin集成配置)
文章目录 介绍 概述 基本概念 认证原理 优点和缺点 安装和使用 安装Kerberos相关服务 修改配置文件 初始化KDC数据库 修改管理员权限配置文件 启动Kerberos相关服…
