分布式
-
RabbitMq异步请求+Redis轮询解决响应时间过长
RabbitMq异步请求+Redis轮询解决响应时间过长 如果还没有学习Rabbit的建议去学一下我的另一篇RabbitMq的使用再来看这个实际的使用` **当前问题:**处理时间…
-
【大数据】Hadoop
目录 前言 一、概述 1. MapReduce定义、优缺点 2. MapReduce核心思想、进程 3. MapReduce编程——WordCount 二、Hadoop序列化 1….
-
【分布式和微服务1】一篇文章详细了解分布式和微服务的基本概念
目录 一、系统高可用(High Availability) (1) 啥是 “高可用” ? (2) 集群是啥意思? ① 主备模式 ② 主从模式 ③ 高可用模式 ④ 总结 (3) 分布…
-
RabbitMQ-常用命令
RabbitMQ常用命令 3.1 启动停止rabbitMQ命令 # 前台启动Erlang VM 和 RabbitMQ 当窗口关闭或者ctrl+c时,使退出了。 rabbitmq-s…
-
部署Kafka
kafka:kafka_2.13-3.5.1 NOTE: Your local environment must have Java 8+ installed. Apache Ka…
-
Spark与SparkSQL的高级功能
1.背景介绍 1. 背景介绍 Apache Spark是一个开源的大规模数据处理框架,它提供了一个易于使用的编程模型,以及一系列高级功能来处理大规模数据。SparkSQL是Spar…
-
olap/spark-tungsten:codegen
15721这一章没什么好说的,不再贴课程内容了。codegen和simd在工业界一般只会选一种实现。比如phothon之前用codegen,然后改成了向量化引擎。一般gen的都是w…
-
kafka消费报错卡死:内存溢出OutOfMemoryError: Java heap space
文章目录 现象 排查 解决 现象 我们信控平台使用Java语言开发,Spring Cloud微服务架构,采用容器化部署,所有服务都部署在docker里面,使用docker-comp…
-
RabbitMQ之Window中安装配置与使用
RabbitMQ之Window中安装配置与使用 文章目录 RabbitMQ之Window中安装配置与使用 1 安装准备 1.1 安装Erlang 1.2 ErLnag环境变量配置 …
-
RabbitMQ常见生产问题详解
目录 RabbitMQ如何保证消息不丢失? 哪些环节会有丢消息的可能? RabbitMQ消息零丢失方案 1. 生产者保证消息正确发送到RibbitMQ 2. RabbitMQ消息存…
-
RabbitMQ之死信队列、延迟队列和懒队列
目录 死信队列 何时会产生死信 死信队列的配置方式 参数x-dead-letter-routing-key 如何确定一个消息是不是死信 延迟队列 懒队列 声明懒队列的两种方式 参数…
-
Kafka怎么保证数据不丢失,不重复
Kafka是一个分布式消息队列系统,具有高可靠性、高性能和高扩展性等特点。在数据传输过程中,Kafka采用了多种措施来保证数据的可靠性,包括数据复制、数据持久化、数据备份等。本文将…
-
Kafka数据丢失原因及解决方案
Kafka包括Producer、Broker、Consumer,因此从这三个方面分析。 Producer端 丢失原因:Kafka在Producer端的消息发送采用的是异步发送的方式…
-
大数据技术(林子雨版)——期末复习知识点
==> 大数据&云计算 大数据时代的三次信息化浪潮:[时间;标志;解决的问题;代表企业] 1980年前后;个人计算机;信息处理;Intel,IBM…… 1995年前后…
-
一文快速学会Hadoop伪分布式环境搭建,很详细
文章目录 一、准备工作 二、配置ssh免密登录 三、修改hadoop的配置文件 四、格式化namenode节点,启动hdfs,启动yarn 一、准备工作 配置hadoop模板虚拟机…
