分布式
-
ELK+kafka+filebeat企业内部日志分析系统
1、组件介绍 1、Elasticsearch： 是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTf…
-
数据仓库的数据模型与设计：关系图形化构建
1.背景介绍 数据仓库是一种用于存储和管理大量历史数据的系统，它的主要目的是为数据分析和报告提供支持。数据仓库通常包含大量的表格数据，这些数据需要进行复杂的查询和分析。为了实现高效…
-
Kafka学习
Kafka的消息通过主题（topic）进行分类 主题可以被分为若干个分区（partition），一个分区就是一个提交日志，通过分区来实现数据冗余和伸缩性 消息以追加的方式写入分区，…
-
Spark连接快速入门
文章最前： 我是Octopus，这个名字来源于我的中文名–章鱼；我热爱编程、热爱算法、热爱开源。所有源码在我的个人github ；这博客是记录我学习的点点滴滴，如果您对…
-
Kafka-服务端-PartitionLeaderSelector、ReplicaStateMachine
PartitionLeaderSelector 通过对前面的分析可知，PartitionMachine将Leader副本选举、确定ISR集合的工作委托给了PartitionLead…
-
Kafka
目录 1、Kafka简要描述 1.1、kafka 1.2 消息队列 1.3、为什么需要消息队列 1.4 kafka架构 1.5 分布式模型 1.6 Kafka网址 2、Kafka集…
-
「查缺补漏」 Kafka 核心知识梳理
这篇文章干货很多，希望你可以耐心读完。 Kafka 基础知识15问 Kafka 是什么, 适应场景有哪些? Kafka 是一个分布式的流式处理平台，用于实时构建流处理应用。主要应用…
-
MapReduce and Hadoop: An InDepth Look at the Relationship
1.背景介绍 大数据是当今世界最热门的话题之一，它指的是那些以前无法使用传统数据库和数据处理技术来处理的数据。这些数据通常是非结构化的，例如社交网络的用户行为数据、传感器数据、图像…
-
SpringBoot分布式Netty集群，通过Redis发布/订阅广播
一、前言 之前做用springboot+websocket做双向通讯时，websocket的session存在无法序列化导致集群不能通过共享session来实现，后…
-
Hadoop 3.2.4 集群搭建详细图文教程
目录 一、集群简介 二、Hadoop 集群部署方式 三、集群安装 3.1 集群角色规划 3.2 服务器基础环境准备 3.2.1 环境初始化 3.2.2 ssh 免密登录（在…
-
【Kafka每日一问】kafka三种压缩方式差别?
Kafka 提供了三种压缩算法，分别是GZIP、Snappy 和 LZ4。 这三种压缩算法的差异主要在以下方面： 压缩比：GZIP 压缩比最高，DEFLATE 算法，但压缩和解压缩…
-
Kafka延迟队列的实现方式
在现代的分布式系统中，延迟队列是一种常见的解决方案，用于处理具有延迟要求的任务或消息。Apache Kafka是一个高性能、可扩展的分布式消息队列，可以作为延迟队列的基础设施。本文…
-
【云原生】springcloud13——Config分布式配置中心
前 言 🍉 作者简介：半旧518，长跑型选手，立志坚持写10年博客，专注于java后端 ☕专栏简介：深入、全面、系统的介绍springcloud与springclo…
-
【kafka性能测试脚本详解、性能测试、性能分析与性能调优】
Kafka 性能测试 一、介绍 Apache Kafka 官方提供了两个客户端性能测试脚本，它们的存放位置如下： 生产者性能测试脚本：$KAFKA_HOME/bin/kafka-p…
-
zookeeper的环境搭建和配置
zookeeper的环境搭建和配置 1. zookeeper下载 2. zookeeper的安装和配置 2.1 解压上传的压缩包到指定的目录位置 2.2 配置zookeeper的环…
