分布式
-
kafka监控工具Kafka-eagle安装
1. Kafka-Eagle简介 在开发工作中,当业务前提不复杂时,可以使用Kafka命令来进行一些集群的管理工作。但如果业务变得复杂,例如:我们需要增加group、topic分区…
-
RabbitMQ高级特性
消息的可靠性 消息的可靠性保证:保证消息在传输过程中不会出现消息丢失的情况,确保发送的消息至少被消费一次。 消息的可靠性问题 消息从生产者生成,到消费者消费,大致可分为三个阶段,这…
-
Spark-RDD详解
SPARK–RDD 1、RDD的介绍 RDD 弹性分布式数据集合 是Spark中的一种数据类型,管理spark的内存数据 [1,2,3,4] spark中还有dataframe,d…
-
centos7安装hadoop
1.软件准备 Vmware workstation pro16 centos7镜像文件 Java8-linux 网盘地址:链接:https://pan.baidu.com/s/15…
-
10款优秀的Kafka管理工具分享
Kafka是一种高性能、可扩展的分布式消息队列系统,被广泛应用于大规模数据流处理和实时数据传输场景。有效地管理和监控Kafka集群对于确保其可靠性和性能至关重要。在本文中,我将分享…
-
RabbitMQ 参数配置说明
1.application.yml spring: rabbitmq: host: 127.0.0.1 #ip port: 5672 #端口 username: guest #账号…
-
Kafka在美团数据平台的实践
1. 现状和挑战 1.1 现状 Kafka是一个开源的流处理平台,业界有很多互联网企业也都在使用这款产品。我们首先了解一下Kafka在美团数据平台的现状。 图1-1 Kafka在美…
-
Kafka实战进阶:一篇详解与互联网实战PDF指南,带你深入Apache Kafka的世界
前言 Apache Kafka是由Apache软件基金会开发的一款开源消息系统项目,主要使用Scala语言编写。该项目旨在为处理实时数据提供一个统一、高通量、低等待的平台。Kafk…
-
Hadoop安装笔记1单机/伪分布式配置
将下发的ds_db01.sql数据库文件放置mysql中 12、编写Scala代码,使用Spark将MySQL的ds_db01库中表user_info的全量数据抽取到Hive的o…
-
SpringCloud Alibaba(一)微服务简介+Nacos的安装部署与使用+Nacos集成springboot实现服务注册+Feign实现服务之间的远程调用+负载均衡+领域划分
目录 一.认识微服务 1.0.学习目标 1.1.单体架构 单体架构的优缺点如下: 1.2.分布式架构 分布式架构的优缺点: 1.3.微服务 微服务的架构特征: 1.4.Spring…
-
Kafka篇——生产者端发送消息配置汇总(ACK配置、重试间隔设置以及发送消息缓冲机制)干货满满!细节满满!
ACK配置 生产者同步发送消息的时候,生产者在获得集群返回的ACK前会一直阻塞,那么集群什么时候给生产者返回ACK呢? 在Kafka中,ACK(Acknowledgement)是一…
-
Kafka消费流程
Kafka消费流程 消息是如何被消费者消费掉的。其中最核心的有以下内容。 1、多线程安全问题 2、群组协调 3、分区再均衡 1.多线程安全问题 当多个线程访问某个类时,这个类始终都…
-
RabbitMQ快速实战
目录 什么是消息队列? 消息队列的优势 应用解耦 异步提速 削峰填谷 总结 主流MQ产品特点比较 Rabbitmq快速上手 创建用户admin Exchange和Queue Con…
-
Springboot:kafka运行成功,报错InvalidTopicException
官方说法:The client has attempted to perform an operation on an invalid topic. For example the…
-
RabbitMQ基础知识
一.什么是RabbitMQ RabbitMQ是一个开源的、高性能的消息队列系统,用于在应用程序之间实现异步通信。它实现了AMQP(Advanced Message Qu…
