大数据
-
使用 PySpark 进行数据清洗与 JSON 格式转换的实践详解（保姆级编码教程）
在大数据处理中，PySpark 提供了强大的工具来处理海量数据，特别是在数据清洗和转换方面。本文将介绍如何使用 PySpark 进行数据清洗，并将数据格式转换为 JSON 格式的实…
-
为什么说新一代流处理器Flink是第三代流处理器(论点:发展历史、区别、适用场景)
Flink 被认为是第三代流处理器，这是因为 Flink 在设计时参考了前两代流处理器的经验教训并引入了一些新的技术和思想，从而使得 Flink 具有更高的性能和更广…
-
SqlServer数据库定时清理数据，仅保留指定时间段内的数据——高效处理大数据
SqlServer数据库定时清理数据，仅保留指定时间段内的数据——高效处理大数据 引言： 在日益增长的数据量下，保持数据库的健康状态变得尤为重要。对于大数据场景中的SqlServe…
-
【Java SE】如何解读Java的继承和多态的特性？
前言 什么是继承和多态，为什么被称为Java三大特性，这两大特性为我们程序员带来了什么影响呢？是让复杂的代码简化了，还是为程序员写代码提供了多样性呢？那让我们一起来揭开这层神秘的面…
-
Flink窗口与水位线
简介 Flink是一个分布式流处理框架，具有高性能、高可靠性和可扩展性。Flink支持实时和批处理，可以处理无限数据流和有限数据集。它提供了丰富的API和工具，可以方便地进行数据转…
-
【漫画可视化大屏系统】基于Spark的国漫推荐系统源码
目录 一、整体目录： 文档含项目摘要、前言、技术介绍、可行性分析、流程图、结构图、ER属性图、数据库表结构信息、功能介绍、测试致谢等约1万字等 二、运行截图 三、代码部分（示范…
-
flink数据延迟原因及详细处理方案
Flink数据延迟的原因有很多，可能是程序自身存在问题，也可能是外部因素造成的，下面列举一些可能的原因和相应的处理方案： 数据输入环节问题：可能是数据来源的数据增长速度过快，导致f…
-
大数据学习之Flink算子、了解DataStream API（基础篇一）
DataStream API （基础篇） 注： 本文只涉及DataStream 原因：随着大数据和流式计算需求的增长，处理实时数据流变得越来越重要。因此，DataStream由于其…
-
Flink问题解决及性能调优-【Flink不同并行度引起sink2es报错问题】
最近需求，仅想提高sink2es的qps，所以仅调节了sink2es的并行度，但在调节不同算子并行度时遇到一些问题，找出问题的根本原因解决问题，并分析整理。 实例代码 –SET …
-
从零开始Hadoop安装和配置，图文手把手教你，定位错误（已部署成功）
文章目录 时间急的可以看速成，虚拟机和配置方法已给出，提供下载的为一台主节点一台分结点的虚拟机下载，只需进行ip地址更换即可 [现成Hadoop配置，图文手把手交你](https:…
-
R统计绘图-线性混合效应模型详解(理论、模型构建、检验、选择、方差分解及结果可视化)
目录 一、 基础理论 二、数据准备 三、构建线性混合效应模型(LMMs) 3.1 lme4线性混合效应模型formula 3.2 随机截距模型构建及检验 3.3 随机截距模型分析结…
-
大数据的演变
大数据的概念已经存在很长时间了。人类最早将大量数据存储在一个中心位置的例子之一是埃及的亚历山大大图书馆。该图书馆建于公元前285-246年之间，在公元270 – 275…
-
大数据之巅：深入分析数据湖架构的优势
文章目录 什么是数据湖？ 数据湖的优势 1. 弹性扩展性 2. 多样化的数据 3. 原始数据保存 4. 成本效益 5. 灵活性和创新 6. 基于云的部署 数据湖的挑战 1. 数据治…
-
分布式文件系统使用——MinIO
分布式文件系统使用——MinIO 1 分布式文件系统 1.1 概念 常见的文件系统：FAT16/FAT32、NTFS、HFS、UFS、APFS、XFS、Ext4等 。 现在有个问题…
-
（最新版本）hive4.0.0 + hadoop3.3.4 集群安装（无坑版）-大数据学习系列（一）
云原生大数据组件研究（Hive+Hadoop） 前言 网上的找的文档大多残缺不靠谱，所以我整理了一份安装最新版本的hive4..0.0+hadoop3.3.4的学习环境，可以提供大…
