spark
-
Linux系统下Spark的下载与安装（pyspark运行示例）
最近需要完成数据课程的作业，因此实践了一下如何安装并配置好spark 1、版本要求 由于我想要将hadoop和spark一起使用，因此必须确定好spark的版本 Spark和Had…
-
Spark: 检查数据倾斜的方法以及解决方法总结
1. 使用Spark UI Spark UI提供了一个可视化的方式来监控和调试Spark作业。你可以通过检查各个Stage的任务执行时间和数据大小来判断是否存在数据倾斜。 任务执行…
-
基于Python和Spark的大数据音乐推荐系统的设计与实现
基于Python和Spark的大数据音乐推荐系统的设计与实现 摘 要 随着科学技术的发展，人们对服务的要求也越来越高。为了能提高管理者的管理效能，现在的音乐推荐管理必须要脱离…
-
在pycharm中使用PySpark第三方包时调用python失败，求教
python版本是3.12 输入代码： from pyspark import SparkConf,SparkContext # 在PySpark中调用python解释器 impo…
-
Spark与IoT与智能设备
1.背景介绍 随着互联网的普及和技术的不断发展，物联网(IoT)已经成为了我们生活中不可或缺的一部分。智能设备、自动化、大数据等技术已经深入到我们的生活中，为我们提供了更方便、更智…
-
Spark期末考试练习题
一、单选题 1. 下面的端口不是 Spark 自带的服务端口的是___________。 A. 8080 B. 4040 C. 8090 D. 18080 2. 下面的描述不是 R…
-
高可用分布式部署Spark、完整详细部署教程
前言 Spark 是 UC Berkeley AMP Lab 开源的通用分布式并行计算框架。 Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapRed…
-
hudi搭建【大数据比赛长期更新】
hudi搭建 题目分析 本任务需要使用root用户完成相关配置，具体要求如下： 1、 从宿主机/opt目录下将maven相关安装包复制到容器Master中的/opt/softwar…
-
Hive中数组array的相关应用
array()：创建一个数组。split(string,delimiter)：按指定字符分隔字符串成数组。 select array(1,3,5) c1,split(‘a,c,b’…
-
基于Python+Spark的热门旅游景点数据可视化分析系统的设计与实现
🔥作者：雨晨源码🔥 💖简介：java、微信小程序、安卓；定制开发，远程调试 代码讲解，文档指导，ppt制作💖 精彩专…
-
Spark写入kafka（批数据和流式）
Spark写入（批数据和流式处理） Spark写入kafka批处理 写入kafka基础 # spark写入数据到kafka from pyspark.sql import Spar…
-
Spark Graphx Pregel原理方法示例源码详解
Spark Graphx Pregel原理方法示例源码详解–点击此标题看全文 文章目录 [Spark Graphx Pregel原理方法示例源码详解–点击此标题看全文]…
-
银行数据仓库体系实践（1）–银行数据仓库简介
银行数据仓库简介 数据仓库之父比尔（Bill Inmon）在1991年出版的“Building the Data Warehouse”（《建立数据仓库》）一书中所提…
-
Spark SQL增量查询Hudi表
前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun 前言 由于…
-
大数据实战（hadoop+spark+python）：淘宝电商数据分析
一，运行环境与所需资源： 虚拟机：Ubuntu 20.04.6 LTS docker容器 hadoop-3.3.4 spark-3.3.2-bin-hadoop3 python，p…
