hive
-
FlinkSQL对接MySQL CDC写入数据到Hive
环境搭配 想要针对公司集群环境学习一下Flink对接MySQL CDC写入Hive的方法，并对过程进行记录。公司环境为CDH 6.3.2搭建的集群，MySQL使用的是AWS RDS…
-
Hudi集成Hive时的异常解决方法 java.lang.ClassNotFoundException: org.apache.hudi.hadoop.HoodieParquetInputFormat
Hudi 0.10.0 集成 Hive 时的异常及解决方法: java.lang.ClassNotFoundException: org.apache.hudi.hadoop.Ho…
-
如何使用Hive或者HadoopMR访问表格存储中的表
使用教程 更新时间：2023-12-14 09:58 本文主要为您介绍如何使用Hive或者HadoopMR访问表格存储中的表。 数据准备 在表格存储中准备一张数据表pet，name…
-
Hive窗口函数整理
Hive 中的窗口函数允许你在结果集的一个特定“窗口”内对行进行计算。这些窗口可以是物理的（基于行在数据中的实际位置）或逻辑的（基于行的一些排序标准）。窗口函数在处理排名、计算累计…
-
Hive内核调优(二)
Hive内核调优(二) 1.3 Hive 日志说明 SQL调优过程中需要结合Hive日志分析性能瓶颈，如下是对关键日志进行说明。 1.3.1 运行日志 运行态日志主要包括HiveS…
-
大数据 Hive – 实现SQL执行
文章目录 MapReduce实现SQL的原理 Hive的架构 Hive如何实现join操作 小结 MapReduce的出现大大简化了大数据编程的难度，使得大数据计算不再是高不可攀的…
-
【SQL相关】Hive进行表关联时on后不支持非等值连接的解决方法
1.报错原因 Hive查询语言的设计目标是与传统的SQL类似，但它在某些方面有一些限制。标准的SQL（如ORACLE、MySQL）是支持对连接条件进行非等值连接的，…
-
Hive SQL，使用UNION ALL 纵向合并表，当字段为空值时报错
使用UNION ALL纵向合并表，当字段为空值时报错如下： SQL 错误 [40000] [42000]: Error while compiling statement: FAI…
-
Spark读写Hive
Spark读写Hive 文章目录 Spark读写Hive （一）配置本地域名映射 （二）创建Hive表 （三）IDEA中编写Spark代码读取Hive数据 （四）IDEA中编写Sp…
-
jdbc通过kerberos认证连接hive
pom依赖添加hive-jdbc 根据实际情况添加依赖，主要看服务器hive版本 org.apache.hive hive-jdbc 2.1.1-cdh6.3.2 org.slf4…
-
【HIVE】数据的定义与操作
文章目录 前言 一、Hive基本数据类型 二、Hive集合数据类型 三、Hive数据定义与操作 1.创建数据库 2.查看数据库 3.删除数据库 4.创建表 5.修改表 6.删除表 …
-
Hive Case When与IF的用法（嵌套、混合使用）
1、CASE WHEN 1.1、CASE WHEN 语法 case when 条件表达式 then 条件成立，结果1 else 条件不成立，结果2 end 1.2、单个条件 1.2…
-
Hive数据清洗中常见的几个函数
Hive数据清洗中常见的几个字符串处理函数 1.空格处理 trim() 2.字符串分割 split() 3.无用符处理 regexp_replace() 4.字符串拼接 conca…
-
mongodb数据同步到hive
背景 用户需求: 需要将 mongodb 的数据同步到 hive 表，共 2 亿+条数据，总数据量约 30G 查阅一些博客后，大致同步方法有以下几种 手动+离线 对于比较小的数据，…
-
Hive 表权限授权
近期，总给其他部门的人开数据表权限，如果单独给每一个用户开权限，有点杂乱也不太好管理，所以抽空理了一下hive数据表权限相关的知识点。 目录 目录 参数配置 角色创建删除 授权及回…
