分布式
-
HBase的数据压缩与存储效率实践
1.背景介绍 1. 背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、Map…
-
Hadoop 实战 | 词频统计WordCount
词频统计 通过分析大量文本数据中的词频，可以识别常见词汇和短语，从而抽取文本的关键信息和概要，有助于识别文本中频繁出现的关键词，这对于理解文本内容和主题非常关键。同时，通过分析词在…
-
【Kafka系列 02】Kafka 线上集群部署方案
前言 Kafka线上集群部署方案怎么做？既然是集群部署，那必然就要有多个 Kafka 节点机器，且需要仔细地考量各种因素，结合自身的业务需求而制定。下面分别从操作系统、磁盘、磁盘容…
-
【Spark基础】– RDD 转 Dataframe 的三种方式
目录 一、环境说明 二、RDD 转 Dataframe 的方法 1、通过 StructType 创建 Dataframe（强烈推荐使用这种方法）
-
Kafka入门及可视化界面推荐
Kafka 官方文档： https://kafka.apache.org/documentation/ Kafka 中文文档 – ApacheCN 快速开始 vim c…
-
HBase在实时监控场景下的应用
1.背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、MapReduce、Z…
-
Hadoop的DataNode无法启动的解决方案
Hadoop重启一次，里面的数据需要重新导入，发现无法导入数据，查看jps发现是DataNode没有启动，重新启动发现也无法启动，原因是前面重新启动NameNode，里面的文件格式…
-
RabbitMQ的五种消息模型
相关RabbitMQ学习链接： 1.初学RabbitMQ-CSDN博客 2.安装RabbitMQ-CSDN博客 3.SpringBoot整合RabbitMQ-CSDN博客 Rabb…
-
吊炸天的 Kafka 图形化工具 Eagle，必须推荐给你
Kafka是当下非常流行的消息中间件，据官网透露，已有成千上万的公司在使用它。最近实践了一波Kafka，确实很好很强大。今天我们来从三个方面学习下Kafka：Kafaka在Linu…
-
kafka 如何保证消息的顺序消费
在Kafka分布式集群中，要保证消息的顺序消费，您可以采取以下措施： 分区策略：Kafka的主题可以分为多个分区，每个分区内的消息是有序的。因此，首先要确保生产者将相关的消息发送到…
-
使用Java API操作HDFS
（1）实验原理 使用Java API操作HDFS的实验原理如下： 配置Hadoop环境：首先需要配置Hadoop的环境，包括设置Hadoop的安装路径、配置core-site.xm…
-
解决RabbitMq登录时报出Not management user(Login failed)错误
Not management user 翻译成中文即为非管理用户非管理用户无法登录管理控制台因而报出这个错误。 虽然我登录的是guest用户因为账号guest具有所有的操作权限当然…
-
「Kafka」生产者篇
「Kafka」生产者篇 生产者发送消息流程 在消息发送的过程中，涉及到了 两个线程 ——main 线程和Sender 线程。 在 main 线程中创建了 一个 双端队列 Recor…
-
微服务分布式搜索引擎 ElasticSearch 查询文档
文章目录 ⛄引言 一、DSL查询文档 ⛅DSL 查询分类 二、DSL查询实例 ⛅全文检索查询 ⏰精确查询 ⚡地理坐标查询 ⌚复合查询 ⛵小结 ⛄引言 本文参考黑马 分布式Elast…
-
【shell-10】shell实现的各种kafka脚本
kafka-shell工具 背景 日志 log 一.启动kafka->(start-kafka) 二.停止kafka->(stop-kafka) 三.创建topic-&…
