数据仓库
-
浅谈数据仓库运营
一、背景 企业每天都会产生大量的数据，随着时间增长，数据会呈现几何增长，尤其在系统基建基础好的公司。好的数据仓库需要提前规划和好的运营，才能支持企业的发展，为企业提…
-
数据仓库现代化和迁移解决方案Datametica
Datametica利用自动化将数据/工作负载/ETI/分析迁移到云，从而为企业提供支持。 Datametica是一家通过建立数据湖来帮助企业实现数据平台现代化的公司，该数据湖安全…
-
Hive中left join 中的where 和 on的区别
目录 一、知识点 二、测试验证 三、引申 前言 数仓实际开发中经常会涉及到多表关联，这个时候就会涉及到on与where的使用。因此本篇文章主要阐述on 和 where之间的区…
-
使用navicat创建Oracle新用户
创建表空间 连上数据库之后，在navicat里点击其他，然后选择表空间 然后选择新建表空间 可以参考存在的表空间进行新建。 表空间类型有以下几种： PERMANENT: 永久表空间…
-
【hive-解决】HiveAccessControlException Permission denied: CREATEFUNCTION
文章目录 一.任务描述 二. 解决 一.任务描述 Error while compiling statement: FAILED: HiveAccessControlExcepti…
-
seatunnel-2.3.2 doris数据同步到hive(cdh-6.3.2)首次运行踩坑记录
seatunnel-2.3.2 doris数据同步到hive(cdh-6.3.2)首次运行报错解决，解决的报错如下： 1、java.lang.NoClassDefFoundErro…
-
Hive DDL语法
Hive的语法和MySQL大部分都相同 一、数据库操作 1.1、创建数据库 CREATE DATABASE [IF NOT EXISTS] database name [COMME…
-
可路由计算引擎实现前置数据库
很多大机构都会有个中央数据仓库负责向应用提供数据服务。随着业务的发展，中央数据仓库的负载在持续增加。一方面，数仓是前端应用的数据后台，而前端应用不断增多，用户访问的并发数也不断增长…
-
从0到1搭建数据仓库流程
从0到1搭建数仓，可以概括为6个步骤：业务探查、技术选型、规范制定、主题域划分、数仓分层、模型建设。 一、业务探查 梳理公司业务系统，业务关心的指标，开发过的需求。一般业务关心的数…
-
hive文件存储格式orc和parquet详解
hive支持的文件类型：textfile、sequencefile（二进制序列化文件）、rcfile（行列式文件）、parquet、orcfile（优化的行列式文件） 一、orc文…
-
Hive中生成自增序列的常用方法
在日常业务开发过程中，通常遇到需要hive数据表中生成一列唯一ID，当然连续递增的更好。 最近在结算业务中，需要在hive表中生成一列连续且唯一的账单ID，于是就了解生成唯一ID的…
-
阿里云-数据仓库-数据分析开发神器-ODPS
一、 ODPS 基本面-F10 1、什么是ODPS？ 1、开发数据处理服务(Open Data Processing Service，简称ODPS)，2016年后更名MaxComp…
-
一文带你读懂：数据集市、数据仓库、数据湖
hello宝子们…我们是艾斯视觉擅长ui设计和前端开发10年+经验！希望我的分享能帮助到您！如需帮助可以评论关注私信我们一起探讨！致敬感谢感恩！ 一文带你读懂：数据集市…
-
Storm的数据库与ETL集成: 实时数据处理与传统数据仓库协同
1.背景介绍 实时数据处理在大数据时代具有重要意义。传统的数据仓库和ETL技术主要面向批处理，而实时数据处理则需要一种更加高效、实时的处理方式。Apache Storm是一个开源的…
-
[Hive] INSERT OVERWRITE DIRECTORY要注意的问题
在使用Hive的INSERT OVERWRITE语句时，需要注意以下问题： 数据覆盖：INSERT OVERWRITE语句会覆盖目标目录中的数据。因此，在执行该语句之前，请确保目标…
![[Hive] INSERT OVERWRITE DIRECTORY要注意的问题](/img/47/4543ec8a5e0d476faf70a9ab57832ba8.jpeg)