数据仓库
-
hive–给表名和字段加注释
1.建表添加注释 CREATE EXTERNAL TABLE `test`( `loc_province` string comment ‘省份’, `loc_city` stri…
-
HIVE 中INSERT INTO 和 INSERT OVERWRITE 的区别,以及OVERWRITE哪些隐藏的坑
HIVE 中INSERT INTO 和 INSERT OVERWRITE 的区别,以及 overwrite 在分区表和非分区表中使用时的注意事项。 概要 1.hive中insert…
-
Hive简述
Hive的产生背景 数据库擅长事务性的工作,但不擅长分析型的工作,所以应要求就产生了数据仓库。 数据仓库相当于集成化数据管理的平台,从多个数据源抽取有价值的数据,在仓库内转换和流动…
-
【数据开发】Hive 多表join中的条件过滤与指定分区
1、条件过滤 left join 中 on 后面加条件 where 和 and 的区别 1、 on条件是在生成临时表时使用的条件,它不管and中的条件是否为真,都会保留左边表中的全…
-
银行数据仓库体系实践(6)–调度系统
调度系统是数据仓库的重要组成部分,也是每个银行或公司一个基础软件或服务,需要在全行或全公司层面进行规划,在全行层面统一调度工具和规范,由于数据类系统调度作业较多,交…
-
【译】OpenMetadata 与 DataHub: 架构、功能、集成等方面的比较
原文地址:OpenMetadata vs. DataHub: Compare Architecture, Capabilities, Integrations & More…
-
银行数据仓库体系实践(2)–系统架构
UML对系统架构的定义是:系统的组织结构,包括系统分解的组成部分,它们的关联性,交互,机制和指导原则,例如对系统群就是定义各子系统的功能和职责,如贷款系统群可能分为…
-
Hive常见报错与解决方案
背景 公司近期上火山云,hive、hadoop、tez等都有较大的版本升级,继而引发了 一系列的报错。现将遇到的报错内容以及相应解决方法列出来,供大家参考。 关于版本: 组件 升级…
-
GBASE南大通用 GCDW&阿里云计算巢:自动化部署云原生数据仓库
目前,GBASE南大通用已与阿里云计算巢合作,双方融合各自技术优势,助力企业用户实现云上数据仓库的自动化部署,让用户在云端获取数据仓库服务“更简单”,让用户在云端使用数据仓库服务“…
-
数据仓库的安全性与合规性
1.背景介绍 数据仓库是企业和组织中的核心资产之一,它存储了大量的敏感数据和商业秘密。随着数据仓库的发展和应用范围的扩大,数据仓库的安全性和合规性变得越来越重要。数据仓库的安全性涉…
-
数据仓库的数据模型与设计:关系图形化构建
1.背景介绍 数据仓库是一种用于存储和管理大量历史数据的系统,它的主要目的是为数据分析和报告提供支持。数据仓库通常包含大量的表格数据,这些数据需要进行复杂的查询和分析。为了实现高效…
-
阿里云-数据仓库-全链路大数据开发治理平台-DataWorks的数字世界
一、前言 上文我讲到 阿里云-数据仓库-数据分析开发神器-ODPS ,今天我带领大家一起走进神器的成长环境及它的数据世界。 二、 DataWorks是什么 DataWorks基于M…
-
一文了解数据库vs数据仓库vs数据湖
大家好,我是K&D,一名10年以上大数据架构&研发经验从业者,目前主要从事云原生大数据方向设计,擅长云原生技术、数据架构、数据平台构建、大数据组件性能调优 以下是本…
-
springboot+mybatis+echarts +mysql制作数据可视化大屏
作者水平低,如有错误,恳请指正!谢谢!!!!! 目录 一、数据源 二、所需工具 三、项目框架搭建 3.1新建springboot项目 3.1.1进入官网 3.1.2创建项目 四、后…
-
2024.1.5 Hadoop阶段,各组件工作原理,八股文,面试题
目录 1 . 简述下分布式和集群的区别 2. Hadoop的三大组件是什么? 3. 请简述hive元数据服务配置的三种模式? 4. 数据库与数据仓库的区别? 5. 简述下数据仓库经…
