分布式
-
KAFKA高可用架构涉及常用功能整理
KAFKA高可用架构涉及常用功能整理 1. kafka的高可用系统架构和相关组件 2. kafka的核心参数 2.1 常规配置 2.2 特殊优化配置 3. kafka常用命令 3….
-
大数据–分布式存储 Hadoop
一:hadoop简介 Hadoop指Apache这款开源框架,它的核心组件有: HDFS(分布式文件系统):解决海量数据存储 MAPREDUCE(分布式运算编程框架):解决海量数据…
-
猿创征文|分布式国产数据库 TiDB 从入门到实战
写在前面 本文讲解的是目前欢迎程度最高分布式国产数据库 TiDB,详细讲解了 TiDB 的由来、架构、SQL 基本操作、SpringBoot 整合 TiDB 等内容。 目录 写在前…
-
【云原生】Docker如何构建镜像
目录 前言 一、基于已有的镜像创建 步骤一:先基于现有的镜像创建一个容器,然后进入容器去完成修改 步骤二:将该容器作为一个模板提交创建为一个新的镜像 步骤三:基于新的镜像,dock…
-
RabbitMQ与SpringAMQP
MQ,中文是消息队列(MessageQueue),字面来看就是存放消息的队列。也就是事件驱动架构中的Broker。(经纪人!) 1.RabbitMQ介绍 微服务间通讯有同步和异步两…
-
Kafka(二)【文件存储机制 & 生产者】
目录 一、Kafka 文件存储机制 二、Kafka 生产者 1、生产者消息发送流程 1.1、发送原理 2、异步发送 API 2.1、普通异步发送 案例演示 2.2、带回调函数的异步…
-
docker安装RabbitMQ教程(2023年最详细)
1.使用docker查询rabbitmq的镜像 docker search rabbitmq 2.安装镜像 如果需要安装其他版本在rabbitmq后面跟上版本号即可 docker…
-
分布式数据库 GaiaDB-X 金融应用实践
1 银行新一代核心系统建设背景及架构 在银行的 IT 建设历程中,尤其是中大行,大多都基于大型机和小型机来构建核心系统。随着银行业务的快速发展,这样的系统对业务的支持越来越举步维艰…
-
结合案例详细说明Spark的部分调优手段
当谈到优化 Apache Spark 应用程序时,有一些更加详细和具体的优化策略和技术,可以帮助提高性能并最大化集群资源利用。以下是更详细的 Spark 调优方法: 资源配置与管理…
-
Kafka的集群动态扩容和缩容如何实现?Kafka的数据存储机制如何优化性能?Kafka消息的持久化机制是怎样的?Kafka和Spark Streaming如何集成?
1、Kafka的集群动态扩容和缩容如何实现? Kafka的集群动态扩容和缩容可以通过以下步骤实现: 扩容: 在集群中添加新的Kafka节点。这可以通过将新的机器添加到集群中,并配置…
-
RabbitMQ详解(三):消息模式(fanout、direct、topic、work)
消费模式 参考官网:https://www.rabbitmq.com/getstarted.html 简单模式 Simple, 参考RabbitMQ详解(二):消息模式 Simpl…
-
大数据开发之kafka(完整版)
第 1 章:Kafka概述 1.1 定义 Kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域。 发布/订阅:消息的发布者不会将消息直接发送给特定的订…
-
rabbitMQ rascal/amqplib报错 Error: Unexpected close 排查
以下是一些可能导致此 RabbitMQ 客户端或任何其他 RabbitMQ 客户端中的套接字读取或写入失败的常见场景 1.错过(客户端)心跳 第一个常见原因是RabbitMQ 检测…
-
Hadoop高可靠集群搭建步骤(手把手教学)【超级详细】
Hadoop高可靠集群搭建步骤(手把手教学) 【超级详细】 文章目录 1 HA集群基础配置 1.1 创建系统为Centos7(Linux)的虚拟机 1.2 基本网络配置 1.3 连…
-
Kafka篇——Kafka消费者端常见配置,涵盖自动手动提交offset、poll消息细节、健康状态检查、新消费组消费offset规则以及指定分区等技术点配置,全面无死角,一篇文章拿下!
消费者端自动和手动提交offset 一、自动提交offset 1、概念 Kafka中默认是自动提交offset。消费者在poll到消息后默认情况下,会自动向Broker的_cons…
