分布式
-
3、漫谈分布式系统、拜占庭将军问题与区块链
分布式系统和一致性问题 拜占庭将军问题 我们前面讨论的一致性协议，有一个重要的前提条件，就是：各个节点都是可以信任的，它们都严格遵守同样的一套规则。这个条件，在一个公司的内部网络中…
-
手把手入门MO | 如何使用 Flink 将批量数据写入 MatrixOne
1 概述 Apache Flink 是一个强大的框架和分布式处理引擎，专注于进行有状态计算，适用于处理无边界和有边界的数据流。Flink 能够在各种常见集群环境中高效运行，并以内存…
-
分布式【zookeeper面试题23连问】
1. ZooKeeper是什么？ ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，它是集群的管理者，监视着集群中各个…
-
RabbitMQ 消息丢失解决 （高级发布确认、消息回退与重发、备份交换机）
目录 一、发布确认SpringBoot版本 确认机制图例： 代码实战： 代码架构图： 1.1交换机的发布确认 添加配置类 消息消费者 消息生产者发布消息后的回调接口 测试： 1….
-
部署Filebeat+Kafka+ELK 集群
目录 Kafka 概述 为什么需要消息队列（MQ） 使用消息队列的好处 消息队列的两种模式 Kafka 定义 Kafka 简介 Kafka 的特性 Kafka 系统架构 在zook…
-
【rabbitMQ】rabbitMQ的下载，安装与配置
目录 1. 下载Erland 安装步骤： 配置环境变量： 校验环境变量配置是否成功 2.下载MQ 安装步骤： 添加可视化插件 ： 启动： 拒绝访问 1. 下载Erland 因为…
-
HBase的索引和搜索功能
1.背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、MapReduce、Z…
-
zookeeper 常见客户端介绍和使用 zkCli、自带API、 zkClient、Curator
文章目录 一、Zookeeper的命令行使用 二、Zookeeper自带API的使用 2.1 引入API 2.1 API简单使用 三、Zookeeper三方客户端zkClient的…
-
实操Hadoop大数据高可用集群搭建（hadoop3.1.3+zookeeper3.5.7+hbase3.1.3+kafka2.12）
前言 纯实操，无理论，本文是给公司搭建测试环境时记录的，已经按照这一套搭了四五遍大数据集群了，目前使用还未发现问题。 有问题麻烦指出，万分感谢！ PS：Centos7.9、Rock…
-
Rabbitmq的使用
文章目录 MQ的优点： 如何整合rabbitmq 基本的概念 mq的工作模式 消息的可靠传输？如果消息丢了怎么办？ 消息的幂等性 时延队列是什么？ 基于mq的分布式事务 mq作为常…
-
数据库信息速递 — 别把kafka 当做你的第二个数据库 （翻译）
开头还是介绍一下群，如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, Oceanbase, Sql Server等有问题，有需求都可…
-
Zookeeper-Zookeeper选举源码
看源码方法： 1、先使用：先看官方文档快速掌握框架的基本使用 2、抓主线：找一个demo入手，顺藤摸瓜快速静态看一遍框架的主线源码，画出源码主流程图，切勿一开始就陷入源码的细枝末节…
-
[HADOOP]数据倾斜的避免和处理
避免数据倾斜 初始设计方面： 设计阶段考虑数据分布，并尽可能确保数据均匀分布。预处理数据： 在数据加载到 Hadoop 之前进行预处理，以减少倾斜。使用抽样或统计方法来了解数据分布…
-
kafka相关知识
消息队列 生产者产生消息，将消息放到MQ中，消费者从MQ中获取消息进行消费 消息队列的作用 异步处理 将一些耗时的操作请求传输给MQ，直接给用户返回成功的结果。其他系统可以消费MQ…
-
Cassandra 与 Kafka 集成：实时数据处理和分析
1.背景介绍 随着数据的增长，实时数据处理和分析变得越来越重要。这篇文章将介绍如何将 Cassandra 与 Kafka 集成，以实现实时数据处理和分析。Cassandra 是一个…
