spark
-
Hadoop/HDFS/MapReduce/Spark/HBase重要知识点整理
本复习提纲主要参考北京大学计算机学院研究生课程《网络大数据管理与应用》课程资料以及厦门大学计算机科学系研究生课程 《大数据技术基础》相关材料整理而成，供广大网友学习参考，如有版权问…
-
SpringBoot 使用 Spark
文章目录 读取 txt 文件 读取 csv 文件 读取 MySQL 数据库表 读取 Json 文件 中文输出乱码 前提： 可以参考文章 SpringBoot 接入 Spark Sp…
-
Hive引擎MR、Tez、Spark
Hive引擎包括：默认MR、Tez、Spark 不更换引擎hive默认的就是MR。 MapReduce：是一种编程模型，用于大规模数据集（大于1TB）的并行运算。 Hive on …
-
软工大数据实验（手把手教你入门Hadoop、hbase、spark）
写在最前面，如果你只是来找答案的，那么很遗憾，本文尽量避免给出最后结果，本文适合Linux0基础学生，给出详细的环境配置过程，实验本身其实很简单，供大家一起学习交流。 实验1 1．…
-
未来趋势：Spark在人工智能和物联网领域的发展前景
未来趋势：Spark在人工智能和物联网领域的发展前景 随着技术的不断进步，大数据、人工智能（AI）和物联网（IoT）已经成为推动数字化转型的三大核心力量。在这三大领域中，Apach…
-
数据清洗【大数据比赛长期更新】
数据清洗 1.题目分析 使用Scala编写spark工程代码，将ods库中相应表数据全量抽取到Hive的dwd库中对应表中。表中有涉及到timestamp类型的，均要求按照yyyy…
-
hive on spark集群环境部署（彻底摆脱做毕设没环境）
#所需安装包下载路径 (1)mysql rpm包路径：https://downloads.mysql.com/archives/community/ connect路径：https…
-
Python大数据之PySpark(三)使用Python语言开发Spark程序代码
文章目录 使用Python语言开发Spark程序代码 总结 后记 使用Python语言开发Spark程序代码 Spark Standalone的PySpark的搭建—-…
-
大数据系统常用组件理解（Hadoop/hive/kafka/Flink/Spark/Hbase/ES）
一.Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。 Hadoop的核心是yarn、HD…
-
hadoop集群搭建、spark集群搭建、pyspark搭建（linux+window）
1、前言 本文记录学习过程中Hadoop、zookeeper、spark集群搭建，主要为pyspark库服务（具体为window上pyspark环境和pyspark库，linux上…
-
大数据篇 | Hadoop、HDFS、HIVE、HBase、Spark之间的联系与区别
文章目录 1、Hadoop 2、HDFS 3、HIVE 4、HBase 5、Spark 1、Hadoop Hadoop是一个开源的分布式计算框架，用于存储和处理大规模数据集。它提供…
-
Spark实战：Spark读取Excel文件
文章目录 一、实战概述 二、excel数据源转成csv 三、Spark读取csv文件 （一）启动spark-shell （二）Spark读取csv生成df （三）查看df内容 四、…
-
基于spark的电影推荐系统，包括基于ALS、LFM的离线推荐、实时推荐
完整项目地址：https://download.csdn.net/download/lijunhcn/88463162 基于spark的电影推荐系统，包括基于ALS、LFM的离线推…
-
【kettle】pdi/data-integration 集成kerberos认证连接hdfs、hive或spark thriftserver
一、背景 kerberos认证是比较底层的认证，掌握好了用起来比较简单。 kettle完成kerberos认证后会存储认证信息在jvm中，之后直接连接hive就可以了无需提供额外的…
-
一文带你读懂：数据集市、数据仓库、数据湖
hello宝子们…我们是艾斯视觉擅长ui设计和前端开发10年+经验！希望我的分享能帮助到您！如需帮助可以评论关注私信我们一起探讨！致敬感谢感恩！ 一文带你读懂：数据集市…
