数据仓库
-
SAP ABAP中的数据类型 Data Types
简单来说分两种: 数据字典里定义的 在ABAP程序里定义的 文章目录 1. ABAP数据字典里的 1.1 数字型的 1.2 字符型 1.3 字节型 1.4 特殊类型 2. 预定义的…
-
浅谈数据仓库模型设计
目录 一、背景 1.引言 2.目的与范围 3.使用对象 4.分层意义 二、数据仓库(ETL的四个操作) 三、数据仓库的技术架构 四、数仓分层架构 1.贴源层(ODS: Operat…
-
最近怎么流量涨这么多?那我开始讲Hive特性了!
Hive架构原理 a.用户接口:Client CLI(Hive shell)、JDBC/ODBC(java访问hive)、Hive WEBUI(浏览器访问hive)和Thrift服…
-
DBeaver连接hive
1.新建hive连接 其中主机填写hive所在节点地址,端口10000为默认,数据库名不填则是默认default数据库,用户名密码填写hadoop集群中能操作hdfs的用户和密码。…
-
【ClickHouse】-01.万字带你快速入门使用CK
文章目录 学习目标 1. Clickhouse简介 1.1 历史背景 1.1.1 版本号历史 1.2 特性 1.2.1 真正的列式数据库管理系统 1.2.2 数据压缩 1.2.3 …
-
Hive使用shell调用命令行特殊字符处理
1.场景分析 数据处理常用hive -e的方式,通过脚本操作数仓,过程中常常遇到特殊字符的处理,如单双引号、反斜杠、换行符等,现将特殊字符用法总结使用如下,可直接引用,避免自行测试…
-
六、数据仓库详细介绍(ETL)经验篇
0x00 前言 日常工作中大多数时候都是在做数据开发,ETL 无处不在。虽然最近两年主要做的大数据开发,但感觉日常干的这些还是 ETL 那点事儿,区别只是技术组件全…
-
数据仓库的ETL技术:最佳实践与案例分析
1.背景介绍 数据仓库是一种用于存储和管理大量历史数据的系统,它通常用于企业和组织的决策支持、数据分析和业务智能等方面。ETL(Extract, Transform, Load)技…
-
数据可重用性:数据仓库与数据湖的区别与应用
1.背景介绍 数据可重用性是现代企业和组织中的一个关键概念。随着数据的量和复杂性不断增加,有效地存储、管理和分析数据变得越来越重要。数据仓库和数据湖是两种不同的数据存储方法,它们各…
-
Hive行转列[一行拆分成多行/一列拆分成多列]
场景: hive有张表armmttxn_tmp,其中有一个字段lot_number,该字段以逗号分隔开多个值,每个值又以冒号来分割料号和数量,如:A3220089:-40,A322…
-
数据仓库与数据挖掘c1-c4基础知识
chapter1 mooc Test1 1.判断以下行为是否属于数据挖掘任务:监测患者的心率是否异常 来自 是的,监测患者的心率是否异常可以被认为是数据挖掘任务的一种。 数据挖掘是…
-
大数据数仓建模基础理论【维度表、事实表、数仓分层及示例】
文章目录 什么是数仓仓库建模? ER 模型 三范式 维度建模 事实表 事实表类型 维度表 维度表类型 数仓分层 ODS 源数据层 ODS 层表示例 DWD 明细数据层 DWD 层表…
-
阿里云实时数据仓库Hologres&Flink
1. 实时数仓Hologres特点 专注实时场景:数据实时写入、实时更新,写入即可见,与Flink原生集成,支持高吞吐、低延时、有模型的实时数仓开发,满足业务洞察实时性需求。亚秒级…
-
Hive运算符和函数
day04 函数和运算符 1、运算符 建表和数据 create external table ext_table( id int, name string, age int, s_…
-
数据仓库架构之详解Kappa和Lambda
目录 一、前言 二、架构详解 1 Lambda 架构 1.1 Lambda 架构组成 1.2 Lambda 特点 1.3 Lambda 架构的优点 1.4 Lambda 架构的不足…
