数据仓库
-
ETL基础概念及要求详解
ETL基础概念及要求详解 概念 ETL与ELT 数据湖与数据仓库 ETL应用场景 ETL具体流程及操作要求 抽取 清洗 转换 加载 ETL设计模式 SQL+脚本语言 ETL工具设计…
-
FlinkCDC实现主数据与各业务系统数据的一致性(瀚高、TIDB)
文章末尾附有flinkcdc对应瀚高数据库flink-cdc-connector代码下载地址 1、业务需求 目前项目有主数据系统和N个业务系统,为…
-
【Hive
1、 计算资源配置 1.1 Yarn资源配置 1.2 MapReduce资源配置 2、 Explain查看执行计划(重点) 2.1 Explain执行计划概述 2.2 基本语法 2…
-
Hive创建分区表并插入数据
业务中经常会遇到这种需求:数据每天全量更新,但是要求月底将数据单独保存一份以供后期查询某月节点的信息。这时就要考虑用到Hive的分区表实现,即按照月份创建分区表,相当于新的月份数据…
-
【dbeaver】win环境的kerberos认证和Clouders/cdh集群中Kerberos认证使用Dbeaver连接Hive、Impala和Phoenix
一、配置Mit kerberos 1.1 下载安装MIT KERBEROS客户端 MIT KERBEROS 下载较新的版本即可。 下载之后一路默认安装即可。注意:不要修改软件安装位…
-
[hive] 窗口函数 ROW
文章目录 `ROW_NUMBER() ` 示例 窗口函数 ROW_NUMBER() 在 Hive SQL 中,ROW_NUMBER()是一个用于生成行号的窗口函数。 它可以为查询结…
-
【湖仓一体化】存OR算之争?SPL 我都要
在互联网技术飞速发展的今天,数据已经成为了最为宝贵的资源之一。数据的产生、收集和分析,已经成为了科技公司最为重要的一环。到底什么是湖仓一体?它和数据仓库、数据湖的关系是什么?为什么…
-
数仓工具—Hive进阶之StorageHandler(23)
Storage Handler 引入Storage Handler,Hive用户使用SQL的方式读写外部数据源, 例如ElasticSearch、 Kafka、HBase等数据源的…
-
【数据仓库】Windows源码安装DataEase,DataEase二次开发
上文记录了DataEase入门使用指南,本文主要记录Windows下源码安装及二次开发步骤【数据仓库】BI看板DataEase入坑指南_wenchun001的博客-CSDN博客 …
-
Hive 的权限管理
目录 编辑 一、Hive权限简介 1.1 hive中的用户与组 1.1.1 用户 1.1.2 组 1.1.3 角色 1.2 使用场景 1.2.1 hive cli 1.2.2 h…
-
解决Hive在DataGrip 中注释乱码问题
注释属于元数据的一部分,同样存储在mysql的metastore库中,如果metastore库的字符集不支持中文,就会导致中文显示乱码。 不建议修改Hive元数据库的编码,此处我们…
-
数据仓库 基本信息
数据仓库基本理论 数据仓库(英语:Data Warehouse,简称数仓、DW),是一个用于存储、分析、报告的数据系统。数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策…
-
大数据处理架构详解:Lambda架构、Kappa架构、流批一体、Dataflow模型、实时数仓
前言 本文隶属于专栏《大数据理论体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢! 本专栏目录结构和参考文献请见大数据理论体系 姊妹篇 《分布式数据…
-
数据仓库系列:StarRocks 入门培训教程
文章目录 1. 什么是StarRocks? 1.1. 适用场景 1.2. [产品特性](https://docs.starrocks.io/zh-cn/latest/introdu…
-
数据仓库命名规范详解
一、数仓中为什么要在数据开发过程中强调遵守数仓开发命名规范呢? 养成良好的编程习惯 写出清楚、易懂、易维护的程序代码 提高代码质量与沟通效率 减少编码中的不必要的错误 二、数仓开发…
