大数据
-
Java基于大数据的超市进销存预警系统(源码+mysql+文档)
本系统（程序+源码）带文档lw万字以上 文末可领取本课题的JAVA源码参考 系统程序文件列表 系统的选题背景和意义 选题背景： 在当今社会，超市作为人们日常生活的重要组成部分，其…
-
深入理解 Hadoop （一）网络通信架构与源码浅析
深入理解 Hadoop （一）网络通信架构与源码浅析 深入理解 Hadoop （二）HDFS架构演进 深入理解 Hadoop （三）HDFS文件系统设计实现 深入理解 Hadoop…
-
FlinkSQL对接MySQL CDC写入数据到Hive
环境搭配 想要针对公司集群环境学习一下Flink对接MySQL CDC写入Hive的方法，并对过程进行记录。公司环境为CDH 6.3.2搭建的集群，MySQL使用的是AWS RDS…
-
Flink Checkpoint 超时问题详解
第一种、计算量大，CPU密集性，导致TM内线程一直在processElement，而没有时间做CP【过滤掉部分数据；增大并行度】 代表性作业为算法指标-用户偏好的计算，需要对用户在…
-
Flink的可读性与可维护性
1.背景介绍 Flink是一个流处理框架，用于实时数据处理和分析。它具有高吞吐量、低延迟和强大的状态管理功能。Flink的可读性和可维护性是其在实际应用中的关键特点。在本文中，我们…
-
2024最新Spark核心知识点总结
Spark 有哪些核心组件 master&worker：（spark独立部署模式里的概念）： master是一个进程，主要负责资源的调度和分配，进行集群的监控，类似于yar…
-
HBase的数据库与Apache Ranger的集成
1.背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、Hive、Pig、Zo…
-
NameNode和DataNode在HDFS中的作用是什么？
作者简介：一名后端开发人员，每天分享后端开发以及人工智能相关技术，行业前沿信息，面试宝典。 座右铭：未来是不可确定的，慢慢来是最快的。 个人主页：极客李华-CSDN博客 合作方式：…
-
HDFS HA 高可用集群搭建详细图文教程
目录 一、高可用（HA）的背景知识 1.1 单点故障 1.2 如何解决单点故障 1.2.1 主备集群 1.2.2 Active、Standby 1.2.3 高可用 1.2.4…
-
Hyperledger Fabric 应用实战（1）–前期准备
1. 应用整体概述 1.1应用说明 本应用示例基于Hyperledger fabric2.4搭建一个自由房屋租赁区块链系统freerent， 用户可以自由在链上开展合同签订、执行和…
-
Ubuntu搭建Hadoop3.X分布式和高可用集群，一步步深入
目录 1. 介绍 2. 基础环境 2.1 关闭防火墙 2.2 修改主机名和主机映射 2.3 免密登录 2.4 安装jdk 3. 搭建hadoop3.x完全分布式 3.1 下载包地址…
-
基本操作：如何在HBase中进行基本的CRUD操作
1.背景介绍 在HBase中进行基本的CRUD操作是一项重要的技能。在本文中，我们将深入了解HBase的核心概念和算法原理，并通过具体的代码实例来展示如何进行基本的CRUD操作。 …
-
从大数据到人工智能：技术的演进与融合
我熟悉云计算、机器学习、深度学习、神经网络、量子计算机等概念。这些领域虽然在技术上有所重叠，但它们各自保持着独特的特点。例如，大数据和人工智能在许多应用场景中是相互交织的，同时大数…
-
Flink与ApacheAirflow集成
1.背景介绍 在大数据处理领域，流处理和批处理是两个非常重要的领域。Apache Flink 是一个流处理框架，Apache Airflow 是一个工作流管理器。在实际应用中，我们…
-
Hive窗口函数整理
Hive 中的窗口函数允许你在结果集的一个特定“窗口”内对行进行计算。这些窗口可以是物理的（基于行在数据中的实际位置）或逻辑的（基于行的一些排序标准）。窗口函数在处理排名、计算累计…
