分布式
-
大数据平台环境搭建—- Hbase组件配置
前置环境 Hadoop集群必须部署完成，如果还没有搭建请先前往>>大数据平台环境搭建—- Hadoop组件配置 Zookeeper集群必须部署完成且未启动，…
-
Kafka 监听器详解
Kafka 监听器详解 Kafka Assistant 是一款 Kafka GUI 管理工具——管理Broker,Topic,Group、查看消费详情、监控服务器状态、支持多种消息…
-
Rabbitmq消息大量堆积,我慌了！
背景 记得有次公司搞促销活动，流量增加，但是系统一直很平稳（我们开发的系统真牛），大家很开心的去聚餐，谈笑风声，气氛融洽，突然电话响起… 运维：小李，你们系统使用的rabbitmq…
-
RabbitMQ不公平分发问题分析及问题解决
1.不公平分发 1.1 不公平分发策略是什么？ 在 RabbitMQ 中，不公平分发（Unfair Dispatch）是指当多个消费者（Consumers）同时订阅同一个队列（Qu…
-
RabbitMQ的基本消息属性与持久化
1.背景介绍 RabbitMQ是一款开源的消息中间件，它使用AMQP(Advanced Message Queuing Protocol)协议来提供高性能、可靠的消息传递功能。在分…
-
Spark的内核调度
目录 概述 RDD的依赖 DAG和Stage DAG执行流程图形成和Stage划分 Stage内部流程 Spark Shuffle Spark中shuffle的发展历程 优化…
-
zookeeper未授权漏洞复现及处理
一、漏洞详情 Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式…
-
数据查询与扫描：HBase数据的查询与扫描
1.背景介绍 在大数据时代，HBase作为一个高性能、可扩展的列式存储系统，已经成为了许多企业和组织的核心数据存储和管理解决方案。HBase的查询和扫描功能是其核心特性之一，它们为…
-
向爬虫而生—Redis 拓宽篇6＜redis分布式锁 —ZooKeeper＞
前言: 用到scrapy-redis的时候,很多时候,那个锁是关键!!! 那么怎么用锁呢?当然,redis也有自己自带的,但它自己都承认说不是很好,那果断就用这个api……
-
Kafka 简介
目录 1、概念介绍 Kafka 由来 ZooKeeper Kafka 特性 Kafka 使用场景 Kafka 复制备份 2、Kafka 架构 Broker Topic Produ…
-
三、Kafka生产者4—核心组件[元数据]-Metadata
概述： 本文主要分享Kafka客户端的元数据如何创建，及其内部结构和对象 一、介绍MetaData 客户端元数据在初始化生产者客户端时被创建，以缓存的形式保存在客户端本地内存中； …
-
Hadoop详解
Hadoop 概念 就是一个大数据解决方案。它提供了一套分布式系统基础架构。 核心内容包含 hdfs 和mapreduce。hadoop2.0 以后引入 yarn. hdfs 是提…
-
kafka-consumer-groups.sh消费者组管理
1.查看消费者列表 –list bin/kafka-consumer-groups.sh –bootstrap-server hadoop102:9092,hadoo…
-
Spark之Dynamic Resource Allocation
文章目录 Dynamic Resource Allocation 请求策略 移除策略 移除存在的问题 相关参数 Dynamic Resource Allocation Spark提…
-
Hadoop的任务调度与资源管理
1.背景介绍 Hadoop是一个分布式文件系统和分布式计算框架，由Google的MapReduce和Google File System(GFS)技术启发。Hadoop的核心组件有…
![三、Kafka生产者4—核心组件[元数据]-Metadata](/img/62/4d18999be4bd4fdd8e814569cf802ec8.png)
