大数据
-
大数据数仓建模基础理论【维度表、事实表、数仓分层及示例】
文章目录 什么是数仓仓库建模? ER 模型 三范式 维度建模 事实表 事实表类型 维度表 维度表类型 数仓分层 ODS 源数据层 ODS 层表示例 DWD 明细数据层 DWD 层表…
-
【星环云课堂大数据实验】InceptorSQL使用方法
文章目录 一、InceptorSQL概述 二、实验环境 三、实验准备 四、实验目的 五、实验步骤 5.1 使用Waterdrop连接Inceptor 5.2、WordCount 5…
-
Hive —- 文件格式和压缩
Hive —- 文件格式和压缩 1. Hadoop压缩概述 2. Hive文件格式 1. Text File 2. ORC 3. Parquet 3. 压缩 1. Hi…
-
MySQL数据库的数据类型和基于MySQL数据类型的综合实例项目
文章目录 MySQL数据库的数据类型和基于MySQL数据类型的综合实例项目 1、MySQL具有的数据类型 1.1、MySQL整数类型 1.2、MySQL浮点类型和定点数 1.3、M…
-
AttributeError: module ‘numpy‘ has no attribute ‘ndarray‘(最新版解决,综合多篇)
原因:numpy与pandas版本不匹配! 下图中两版本匹配,重新安装即可。 1.进入你所在环境,分别卸载掉原有的numpy与pandas 2. 重新安装n…
-
flink 从kafka读取数据报错
报错: Caused by: org.apache.flink.runtime.JobException: Recovery is suppressed by NoRestartB…
-
大数据HIVE
启动Hive 启动集群组件 cd /export/onekey ./start-all.sh 终端链接Hive 进入到/export/server/hive-2.1.0/bin目录…
-
大数据02-HDFS的使用和基本命令
目录 Hadoop分布式文件系统 HDFS简介 HDFS的体系结构 HDFS的使用和基本命令 学习参考 Hadoop分布式文件系统 HDFS简介 HDFS(Hadoop Dis…
-
第三章:AI大模型的开发环境搭建3.3 开发环境配置3.3.1 本地环境配置
在本章中,我们将详细介绍如何为AI大模型的开发搭建本地环境。我们将从背景介绍开始,然后讲解核心概念与联系,接着深入了解核心算法原理、具体操作步骤以及数学模型公式。在此基础上,我们将…
-
【逆向爬虫】Python中执行调用JS的多种方法汇总
一、引言 “以前的数据靠买,现在的数据靠爬”,越来越多的学者通过网络爬虫来获取数据。但是做爬虫的人都知道,现在的很多网站都在和我们斗智斗勇,防护普遍越来越好,并且越有价值的网站在这…
-
clickhouse-数据导入导出方案
一、简介 clickhouse有多种数据的导入导出方式,可以灵活使用,下面对这些方式分别做些介绍,导入导出的写法与格式和格式设置有关。 二、导入 1.从s3导入 详情可查看官网,也…
-
【SQL应知应会】表分区(二)• MySQL版
欢迎来到爱书不爱输的程序猿的博客, 本博客致力于知识分享,与更多的人进行学习交流 本文收录于SQL应知应会专栏,本专栏主要用于记录对于数据库的一些学习,有基础也有进阶,有MySQL…
-
Spring Boot 整合 分布式搜索引擎 Elastic Search 实现 搜索、分页与结果过滤
文章目录 ⛄引言 一、酒店搜索和分页 ⛅需求分析 ⚡源码编写 二、酒店结果过滤 ⌚需求分析 ⏰修改搜索业务 ✅效果图 ⛵小结 ⛄引言 本文参考黑马 分布式Elastic searc…
-
flink内存配置
flink内存配置 配置 TaskManager 内存 | Apache Flink
-
38、Flink 的CDC 格式:canal部署以及示例
Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点,并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。…
