分布式
-
【4-5章】Spark编程基础(Python版)
课程资源:(林子雨)Spark编程基础(Python版)_哔哩哔哩_bilibili 第4章 RDD编程(21节) Spark生态系统: Spark Core:底层核心(RDD…
-
深入了解HBase:数据模型与查询语言
1.背景介绍 作为一位世界级人工智能专家,程序员,软件架构师,CTO,世界顶级技术畅销书作者,计算机图灵奖获得者,计算机领域大师,我们将深入了解HBase的数据模型与查询语言,揭示…
-
16、Kafka —— SpringBoot 整合 Kafka (配置 Kafka 属性 及对应的 属性处理类 解析)
目录 配置 Kafka 及对应的 属性处理类 配置Kafka Kafka配置属性的约定 代码演示 生产者相关的配置 消费者相关的配置 代码(配置文件) application.pr…
-
HBase的数据类型与索引
1.背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统,基于Google的Bigtable设计。它是Hadoop生态系统的一部分,可以与HDFS、MapReduce、Z…
-
Kafka-服务端-GroupMetadataManager
GroupMetadataManager是GroupCoordinator中负责管理Consumer Group元数据以及其对应offset信息的组件。 GroupMetadata…
-
Spark与ApacheHive数据仓库
1.背景介绍 1. 背景介绍 Apache Spark和Apache Hive都是大规模数据处理的开源工具,它们在数据仓库领域具有广泛的应用。Spark是一个快速、高效的大数据处理…
-
【愚公系列】2024年02月 大数据教学课程 019-Hadoop的体系
🏆 作者简介,愚公搬代码 🏆《头衔》:华为云特约编辑,华为云云享专家,华为开发者专家,华为产品云测专家,CSDN博客专家,CSDN商业化专家,阿里云…
-
实战:Spark在大数据可视化中的应用
1.背景介绍 大数据可视化是现代数据科学的一个重要领域,它涉及到如何将大量、复杂的数据转化为易于理解和分析的视觉表示。Apache Spark是一个流行的大数据处理框架,它提供了一…
-
Spark的核心组件:Spark SQL
1.背景介绍 Spark SQL是Apache Spark生态系统的一个重要组件,它提供了一个用于处理结构化数据的API。Spark SQL可以处理各种数据源,如HDFS、Hive…
-
Zookeeper与分布式锁的应用
1.背景介绍 1. 背景介绍 分布式系统中,多个节点之间需要协同工作,共享资源和数据。为了保证数据一致性和系统稳定性,需要实现一种互斥机制,以防止多个节点同时访问同一资源,导致数据…
-
KAFKA监控方法以及核心指标
文章目录 1. 监控指标采集 1.1 部署kafka_exporter 1.2 prometheus采集kafka_exporter的暴露指标 1.3 promethues配置告警…
-
【愚公系列】2024年02月 大数据教学课程 017-Hadoop环境配置
🏆 作者简介,愚公搬代码 🏆《头衔》:华为云特约编辑,华为云云享专家,华为开发者专家,华为产品云测专家,CSDN博客专家,CSDN商业化专家,阿里云…
-
【愚公系列】2024年02月 大数据教学课程 016-Hadoop预备知识
🏆 作者简介,愚公搬代码 🏆《头衔》:华为云特约编辑,华为云云享专家,华为开发者专家,华为产品云测专家,CSDN博客专家,CSDN商业化专家,阿里云…
-
Zookeeper的集群监控与报警
1.背景介绍 1. 背景介绍 Apache Zookeeper 是一个开源的分布式协调服务,它为分布式应用提供一致性、可靠性和原子性的数据管理。Zookeeper 的核心功能包括数…
-
Kafka基本使用
Kafka基本使用 1.查看Kafka的进程是否在运行 #命令行终端中运行如下命令 ps -ef | grep kafka 或者 ps aux | grep kafka | gre…
