分布式
-
一文快速学会Hadoop伪分布式环境搭建,很详细
文章目录 一、准备工作 二、配置ssh免密登录 三、修改hadoop的配置文件 四、格式化namenode节点,启动hdfs,启动yarn 一、准备工作 配置hadoop模板虚拟机…
-
《Redis实战篇》五、分布式锁-redission
5.1 分布式锁-redission功能介绍 基于setnx实现的分布式锁存在下面的问题: 重入问题:重入问题是指 获得锁的线程可以再次进入到相同的锁的代码块中,可重入锁的意义在于…
-
Kafka 之生产者与消费者基础知识:基本配置、拦截器、序列化、分区器
一、生产者配置 1. 必须要配置的参数: kafaf集群地址列表:理论上写一个节点地址,就相当于绑定了整个kafka集群了,但是建议多写几个,如果只写一个,万一宕机就麻烦了 kaf…
-
Kafka为什么高吞吐量
1、顺序读写 kafka的消息是不断追加到文件中的,这个特性使kafka可以充分利用磁盘的顺序读写性能,顺序读写不需要硬盘磁头的寻道时间,只需很少的扇区旋转时间,所以速度远快于随机…
-
kafka(一:分区数据不均衡(数据倾斜),分区分配策略)
一:数据倾斜,导致各个分区数据不均匀。最终导致kafka堵塞,数据消费不动。 第一步:先停掉kafka中,上游和下游的代码,对分配数据较多的分区进行重新分配。 https://cl…
-
Ubuntu安装RabbitMq(保姆级教学,直接喂饭)
1.安装rabbitmq,由于rabbitmq需要erlang语言支持,所以需要安装erlang。 apt-get install erlang 执…
-
Elasticsearch基本操作之文档操作
本文来说下Elasticsearch基本操作之文档操作 文章目录 文档概述 创建文档示例 创建文档(生成随机id) 创建文档(自定义唯一性标识) 查看文档示例 根据主键查看文档 查…
-
如何把RabbitMQ完全卸载干净?
想必大家在安装与卸载软件的时候,都踩过不少的坑?那么如何完全卸载RabbitMQ? 1.打开控制面板,找到RabbitMQ server,右键单击RabbitMQ Server 卸…
-
Kafka 如何实现顺序消息
版本说明 本文所有的讨论均在如下版本进行,其他版本可能会有所不同。 Kafka: 3.6.0 Pulsar: 2.9.0 RabbitMQ 3.7.8 RocketMQ 5.0 G…
-
HBase与Apache Airflow Operator集成
1.背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统,基于Google的Bigtable设计。HBase提供了自动分区、自动同步和自动备份等特性,适用于大规模数据存储…
-
Kafka在linux中的安装
Kafka 集群部署 概述 环境准备 JDK安装 Docker环境安装 Kafka集群搭建(ZK模式) zookeeper集群搭建 zookeeper部署情况 准备工作 下载安装包…
-
Spark—Master启动及Submit任务提交
一、Spark Master启动 1、Spark资源任务调度对象关系图 2、集群启动过程 Spark集群启动之后,首先调用$SPARK_HOME/sbin/start-all.sh…
-
基于Hadoop平台的音乐推荐系统的设计与实现
收藏关注不迷路 文章目录 摘要 一、 相关技术和基本理论 2.1相关技术 2.1.1Hadoop集群 2.1.2Spring Boot框架 2.1.3Vue框架 2.2开发环境和技…
-
Failed to construct kafka producer
问题重述: org.apache.kafka.common.KafkaException: Failed to construct kafka producer Caused by…
-
zookeeper【封神录】下篇
目录 🥞1.客户端API 🌭2.服务器动态上下线 🧂3.分布式锁 1.客户端API 1.1导入依赖 junit junit…
