分布式
-
【项目实战】Kafka中Topic创建介绍
一、Kafka介绍 Kafka是一种分布式流处理平台，它可以处理实时数据流，支持高吞吐量、低延迟的数据处理。 它通过Topic和Partition机制将消息存储在集群中，并支持高吞…
-
Zookeeper与ApacheSuperset集成
1.背景介绍 1. 背景介绍 Apache Zookeeper 和 Apache Superset 都是开源的分布式协调服务和数据可视化工具，它们在分布式系统中发挥着重要作用。Zo…
-
Zookeeper的分布式通信与协调
1.背景介绍 Zookeeper是一个开源的分布式应用程序，它为分布式应用程序提供一致性、可靠性和原子性的分布式协调服务。Zookeeper的核心功能包括：数据持久化、监听器机制、…
-
Kafka消费异常处理策略及重试机制
在使用Kafka进行消息传递时，消费者可能会遇到各种异常情况，例如网络故障、消息处理失败等。为了保证消息的可靠消费，我们需要实现一套有效的异常处理策略和重试机制。本文将介绍如何在K…
-
Spark在降本增效中的一些思考
背景 在大环境不好的情况下,本司也开始了“降本增效”，本文探讨一下，在这种背景下 Spark怎么做的降本增效。 Yarn 基于 EMR CPU 是xlarge，也就是内存和核的比例…
-
Hadoop增加新节点环境配置（自用）
完成Hadoop集群增添一个新的节点配置（文中命名为）Hadoop106，没有进行继续为该节点分配身份职能的步骤 1.在VMware中安装CentOS 7 新建虚拟机 1.⾸先我们…
-
2.1、如何在FlinkSQL中读取&写入到Kafka
目录 1、环境设置 方式1：在Maven工程中添加pom依赖 方式2：在 sql-client.sh 中添加 jar包依赖 2、读取Kafka 2.1 创建 kafka表 2.2 …
-
深入理解 Flink（四）Flink Time+WaterMark+Window 深入分析
深入理解 Flink 系列文章已完结，总共八篇文章，直达链接： 深入理解 Flink （一）Flink 架构设计原理 深入理解 Flink （二）Flink StateBacken…
-
RabbitMQ中方法channel.basicAck的使用说明
方法channel.basicAck的作用 在RabbitMQ中，channel.basicAck方法用于确认已经接收并处理了消息。 方法的参数说明 public void bas…
-
RabbitMQ（不完整版）
文章目录 RabbitMQ 入门 1.什么是MQ 2.为什么要用MQ 流量消峰 应用解耦 异步处理 3.MQ的分类 ActiveMQ Kafka RocketMQ RabbitMQ…
-
Kafka-实践-数据平台-美团技术团队
1. 现状和挑战 1.1 现状 Kafka是一个开源的流处理平台，业界有很多互联网企业也都在使用这款产品。我们首先了解一下Kafka在美团数据平台的现状。 图1-1 Kafka在美…
-
Spark 完全分布式的安装和部署
目录 第1关： Standalone 分布式集群搭建 任务描述 相关知识 课程视频 Spark分布式安装模式 示例集群信息 配置免密登录 准备Spark安装包 配置环境变量 修改 …
-
简单讲讲在一台机器上用docker部署hadoop HDFS
为什么写这篇文章? 老东西叫我用vmvare部署hadoop,我觉得这简直蠢毙了,让我们用docker和docker-compose来快速的过一遍如何使用docker-compos…
-
Java中利用Redis,ZooKeeper,数据库等实现分布式锁(遥遥领先)
1. 分布式锁 1.1 什么是分布式锁 在我们进行单机应用开发涉及并发同步的时候，我们往往采用synchronized或者ReentrantLock的方式来解决多线程间的代码同步问…
-
RabbitMQ深入 —— 死信队列
前言 前面荔枝梳理了RabbitMQ中的普通队列、交换机以及相关的知识，在这篇文章中荔枝将会梳理RabbitMQ的一个重要的队列 —— 死信队列，主要了解消息流转到…
