分布式
-
深入Hadoop安全性：保护Hadoop集群的关键技术
1.背景介绍 Hadoop是一个分布式文件系统(HDFS)和分布式数据处理框架(MapReduce)的集合，用于处理大规模数据。随着Hadoop的普及和广泛应用，安全性变得越来越重…
-
Spark与时间序列分析
1.背景介绍 时间序列分析是一种处理和分析时间顺序数据的方法，主要用于预测、趋势分析、季节性分析和残差分析。随着数据规模的增加，传统的时间序列分析方法已经无法满足需求，因此需要采用…
-
Kafka生产者示例：发送JSON数据到Kafka Topic
Kafka生产者示例：发送JSON数据到Kafka Topic Kafka是一个高性能、分布式的流处理平台，广泛应用于大数据领域。本文将深入浅出地介绍如何使用Kafka生产者发送J…
-
rabbitmq的qos和消费者一次确认多个消息
消费者确认机制 一、一次确认一个消息 这里生产者一次性向rabbitmq发送一百条消息 @GetMapping(“/affair/affair”) public String af…
-
RocketMQ和Kafka的区别，以及如何保证消息不丢失和重复消费
消息队列RocketMQ和Kafka的区别 性能（单台） 语言 多语言支持客户端 优缺点 RocketMQ 十万级 java java 模型简单、接口易用，在阿里有大规模应用 文档…
-
Kafka 的消息格式：了解消息结构与序列化
Kafka 作为一款高性能的消息中间件系统，其消息格式对于消息的生产、传输和消费起着至关重要的作用。本篇博客将深入讨论 Kafka 的消息格式，包括消息的结构、序列化与反序列化，以…
-
系分笔记数据库技术之分布式数据库和数据仓库
文章目录 1、概要 2、分布式数据库 3、数据仓库 4、总结 1、概要 数据库设计是考试重点，常考和必考内容，本篇主要记录了知识点：分布式数据库和数据仓库。 2、分布式数据库 …
-
Spark与 Mesos集成
1.背景介绍 Spark与 Mesos 集成是一种高效的大数据处理方案，它可以充分利用 Mesos 的资源调度能力，以及 Spark 的高性能计算能力。这种集成方案可以实现大数据应…
-
【金猿案例展】智谱AI——基于全闪分布式并行文件存储打造高速大模型训练平台…
焱融科技案例 本项目案例由焱融科技投递并参与“数据猿年度金猿策划活动——2023大数据产业年度创新服务企业榜单/奖项”评选。 大数据产业创新服务媒体 ——聚焦数据 · 改变商业…
-
集成Kafka：HBase与Kafka的集成和应用
1.背景介绍 在大数据时代，数据处理和分析的需求日益增长。为了更高效地处理和分析大量数据，许多企业和组织采用了分布式系统。HBase和Kafka是两个非常重要的分布式系统，它们在数…
-
数据仓库的数据仓库灾备与恢复：保证数据仓库的可用性和稳定性
1.背景介绍 数据仓库是企业中大量的历史数据的集中存储和管理系统，它的数据量巨大，数据更新频繁，对企业业务的稳定运行具有重要的支持作用。因此，保证数据仓库的可用性和稳定性是企业业务…
-
kafka生产者发送消息报错 Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected
报这个错误是因为kafka里的配置要修改下 在config目录下 server.properties配置文件 这下发送消息就不会一直等待，就可以发送成功了
-
超详细版Hadoop的安装与使用（单机/伪分布式）
一、首先安装VMware虚拟机虚拟机安装包以及Ubuntu ISO映像下载：https://pan.baidu.com/s/19Ai5K-AA4NZHpfMcCs3D8w?pwd=…
-
图解Redis，谈谈Redis的持久化，RDB快照与AOF日志
目录 专栏导读 一、RDB持久化 1、自动触发 2、手动触发 3、设置保存条件 4、加解密 5、RDB持久化优缺点 6、哪些情况会触发RDB持久化？ 二、AOF持久化 1、AOF持…
-
Zookeeper与Hadoop的集成
1.背景介绍 1. 背景介绍 Apache Zookeeper 和 Hadoop 是分布式系统中两个非常重要的组件。Zookeeper 是一个开源的分布式应用程序，它提供了一种可靠…
