数据仓库
-
阿里云实时数据仓库Hologres&Flink
1. 实时数仓Hologres特点 专注实时场景：数据实时写入、实时更新，写入即可见，与Flink原生集成，支持高吞吐、低延时、有模型的实时数仓开发，满足业务洞察实时性需求。亚秒级…
-
阿里云实时数据仓库Hologres&Flink
1. 实时数仓Hologres特点 专注实时场景：数据实时写入、实时更新，写入即可见，与Flink原生集成，支持高吞吐、低延时、有模型的实时数仓开发，满足业务洞察实时性需求。亚秒级…
-
Hive表锁机制原理以及各种场景的解决方案
hive 锁机制(S锁,X锁) 是由hive的事务管理器出发，锁的原理是 一张表简称A表，我们对A表做查询操作的时候，就会获取到 A表的S锁(共享锁), 如果对A表做alter 等…
-
数据仓库内容分享(三)：行式存储VS列式存储
目录 行式存储 列式存储 行存储、列存储对比 数据写入对比 数据读取对比 代码模拟行存和列存 行式存储、列式存储的主流数据库 行式存储数据库 列式存储数据库 行列混存数据库 行式存…
-
直播电商数据仓库
直播电商数据仓库 一. 数仓及其维度 什么是数仓 数据仓库，简称数仓,（ Data Warehouse ）。 从逻辑上理解，数据库和数仓没有区别，都是通过数据库软件实现存放数据的地…
-
Hive初体验
首先，确保启动了Metastore服务 {runjar就是metastore ；hadoop要先启动 } 可以执行： bin/hive 进入到Hive Shell 环境中，可以直…
-
Hive case when 用法详细介绍
Hive的CASE WHEN语句是一种条件语句，用于在查询结果中根据不同的条件返回不同的结果。 语法： SELECT CASE WHEN condition1 THEN resul…
-
数据仓库-数仓优化小厂实践
一、背景 由于公司规模较小，大数据相关没有实现平台化，相关的架构都是原生的Apache组件，所以集群的维护和优化都需要人工的参与。根据自己的实践整理一些数仓相关的优…
-
Hive调优之小表Join大表
Join: 1、小表join大表 将key相对分散，并且数据量小的表放在join的左边，这样可以有效减少内存溢出错误发生的几率，再进一步可以使用group 让小的维表(1000条以…
-
广州Y行信用卡中心大数据部数据开发岗笔试题
【Linux】广州Y行信用卡中心大数据部数据开发岗笔试题 1.SELECT语句的完整语法比较复杂，但至少包括的部分：（B） A.SELECT INTO B.SELECT FROM …
-
hive中array相关函数总结
目录 hive官方函数解释 示例 实战 hive官方函数解释 hive官网函数大全地址： hive官网函数大全地址 Return Type Name Description arr…
-
大数据之数据治理架构 —— Atlas
文章目录 什么是数据治理？ 什么是 Atlas? Atlas 的作用 Atlas 架构 Atlas 架构解析 Atlas 大数据集群搭建 JDK 与 Hadoop 搭建 MySQL…
-
Hive-concat
concat_ws 是 Hive 中的一个函数，用于在给定分隔符的情况下连接字符串数组或字符串。它的语法如下： concat_ws(separator, const1, const…
-
万字详解数据仓库、数据湖、数据中台和湖仓一体
文章目录 一、前言 二、概念解析 1. 数据仓库 2. 数据湖 3. 数据中台 三、具体区别 1. 数据仓库 VS 数据湖 2. 数据仓库 VS 数据中台 3. 总结 四、湖仓一体…
-
银行数据仓库体系实践（7）–数据模型设计及流程
数据仓库作为全行或全公司的数据中心和总线，汇集了全行各系统以及外部数据，通过良好的系统架构可以保证系统稳定性和处理高效性，那如何保障系统数据的完备性、规范性和统一…
