大数据

Hadoop的基础操作 HDFS是Hadoop的分布式文件框架，它的实际目标是能够在普通的硬件上运行，并且能够处理大量的数据。 HDFS采用主从架构，其中由一个NameNode和多…

        之前使用Flink查询Redis数据的过程中，由于对数据一致性的要求并不是很高，当时是用MapFunction +  State 的方案。先缓存一大堆数据到Stat…

小知识: 大数据开发人员/数据分析人员,必须要对自己统计的指标结果负责!!! 结果数据的核对方式: 1- 在离线文件中直接ctrl+F搜索关键内容核对(不常用) 2- 一般原始数据…

Flink 风险欺诈检测 文章目录 Flink 风险欺诈检测 背景 准备条件 FraudDetectionJob.java FraudDetector.java 代码分析 执行环境…

目录 前言 毕设选题 网站和Web应用开发方向 小程序开发方向 人工智能和机器学习方向 数据科学和大数据分析方向 信息安全和网络安全方向 物联网和智能家居方向 选题迷茫 选题的重要…

1. Spark基本介绍 1.1 定义 Spark是可以处理大规模数据的统一分布式计算引擎。 1.2 Spark与MapReduce的对比 在之前我们学习过MapReduce，同样…

系统环境为 CentOS 7.5 版本。 安装 Java 8。 安装 Hadoop 集群，Hadoop 建议选择 Hadoop 2.7.5 以上版本。 配置集群节点服务器间时间同步…

目录 （一）防火墙 1.查看防火墙状态 2.关闭防火墙 （二）登录MySQL 1.登录 2.查看MySQL端口号 （三）连接navicat 1.点击连接 2.新建连接 3.连接成功…

Apache Flink 是一个框架和分布式处理引擎， 用于在无边界和有边界数据流上进行有状态的计算。 Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。 …

文章目录 一、概述 二、Hadoop 环境准备 三、内存资源限制 四、CPU 资源限制 1）启用 LCE 2）启用 CGroup 3）配置 Yarn CGroup 目录 3）CPU…

1. 引言 数据可视化和交互式分析是大数据领域中的重要方面。随着大数据时代的到来，数据量越来越大，数据类型越来越复杂，传统的数据处理和分析方法已经无法满足我们的需求。数据可视化可以…