spark
-
全国职业院校技能大赛-大数据 离线数据处理模块-指标计算
赛题来源2023年全国职业院校技能大赛赛题第1套任务B中指标计算模块 子任务三：指标计算 编写Scala代码，使用Spark计算相关指标。 注：在指标计算中，不考虑订单信息表中or…
-
Spark的多语言支持与生态系统
1.背景介绍 Spark是一个开源的大数据处理框架，它可以处理大量数据并提供高性能、可扩展性和易用性。Spark的核心组件是Spark Core，它负责数据存储和计算。Spark还…
-
Spark SQL将Hive表中的数据写入到MySQL数据库中
import org.apache.spark.sql.SparkSession object HiveToMySQL { def main(args: Array[String]…
-
Spark升级中对log4j的一些思考
背景 最近在做Spark版本的升级(由spark3.1升级到spark3.5)，其实单纯从spark升级涉及到的log4j来说，并没有什么能够记录的， 但是由于公司内部做了Spar…
-
【Spark面试】Spark面试题&答案
目录 1、spark的有几种部署模式，每种模式特点？（☆☆☆☆☆） 2、Spark为什么比MapReduce块？（☆☆☆☆☆） 3、简单说一下hadoop和spark的shuffl…
-
万字详解数据仓库、数据湖、数据中台和湖仓一体
文章目录 一、前言 二、概念解析 1. 数据仓库 2. 数据湖 3. 数据中台 三、具体区别 1. 数据仓库 VS 数据湖 2. 数据仓库 VS 数据中台 3. 总结 四、湖仓一体…
-
大数据之使用Flink消费Kafka中topic为ods
目录 前言 题目： 一、读题分析 二、处理过程 三、重难点分析 总结 前言 本题来源于全国职业技能大赛之大数据技术赛项赛题 – 电商数据处理 – 实时数据…
-
Spark Local环境部署
目录 1:规划： 1：想法： 2： 版本 2:spark配置文件部署 1:上传Spark安装包到/export下面 2:解压下载的Spark安装包并且改名 …
-
Spark与时间序列分析
1.背景介绍 时间序列分析是一种处理和分析时间顺序数据的方法，主要用于预测、趋势分析、季节性分析和残差分析。随着数据规模的增加，传统的时间序列分析方法已经无法满足需求，因此需要采用…
-
Spark SQL 日期时间转换指南
Spark SQL 日期时间转换指南 在Spark SQL中，日期时间的处理是非常重要的。本文将介绍如何在Spark SQL中进行日期时间转换操作，并提供相应的源代码示例。 将字符…
-
利用Spark构建房价分析与推荐系统：基于58同城数据的大数据实践
利用Spark构建房价分析与推荐系统：基于58同城数据的大数据实践 基于Spark的房价数据分析预测推荐系统 引言 技术栈 功能概述 项目实现 1. 数据爬取与处理 2. 大数据分…
-
Spark与 Mesos集成
1.背景介绍 Spark与 Mesos 集成是一种高效的大数据处理方案，它可以充分利用 Mesos 的资源调度能力，以及 Spark 的高性能计算能力。这种集成方案可以实现大数据应…
-
Spark 增量抽取 Mysql To Hive
题目要求： 抽取ds_db01库中customer_inf的增量数据进入Hive的ods库中表customer_inf。根据ods.user_info表中modified_time…
-
java.lang.ClassNotFoundException: org.slf4j.impl.StaticLoggerBinder
本地开发spark项目时，测试案例运行时出现以下错误： Exception in thread “main” java.lang.NoClassDefFoundError: org…
-
数据仓库的数据仓库灾备与恢复：保证数据仓库的可用性和稳定性
1.背景介绍 数据仓库是企业中大量的历史数据的集中存储和管理系统，它的数据量巨大，数据更新频繁，对企业业务的稳定运行具有重要的支持作用。因此，保证数据仓库的可用性和稳定性是企业业务…
