分布式
-
大数据开发之Spark（累加器、广播变量、Top10热门品类实战）
第 3 章：累加器 累加器：分布式共享只写变量。（executor和executor之间不能读数据） 累加器用来把executor端变量信息聚合到driver端。在driver中定…
-
SparkStreaming与Kafka整合
1.3 SparkStreaming与Kafka整合 1.3.1 整合简述 kafka是做消息的缓存，数据和业务隔离操作的消息队列，而sparkstreaming是一款准实时流式计…
-
【自然语言处理】【分布式训练及推理】推理工具DeepSpeed-Inference
相关博客 【深度学习】【分布式训练】Collective通信操作及Pytorch示例 【自然语言处理】【分布式训练及推理】推理工具DeepSpeed-Inference 【自然语言…
-
基于Hadoop的气象分析大屏可视化
一、项目介绍 气象分析大屏可视化系统主要功能模块包括后台首页，系统用户（管理员），模块管理（日照时数，平均相对湿度，年降水量，平均气温，贵阳气象分析，气温对比），采取面对对象的开发…
-
HBase数据模型与API
1.背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、MapReduce、Z…
-
分布式事务完美解决方案：消息中间件（kafka）+ 本地事物 + 消息校对
前言 分布式事务是要保证多个服务下的多个数据库操作的一致性。分布式事务常见解决方案有：二阶段、三阶段和TCC实现强一致性事务，其实还有一种广为人知的方案就是利用消息队列来实现分布式…
-
Kafka事务是怎么实现的？Kafka事务消息原理详解（文末送书）
目录 一、Kafka事务性消息 1.1 介绍Kafka事务性消息 1.2 事务性消息的应用场景 1.3 Kafka事务性消息的优势 二、Kafka事务性消息的使用 2.1 配置Ka…
-
Zookeeper与ApachePinot集成
1.背景介绍 1. 背景介绍 Apache Zookeeper 和 Apache Pinot 都是 Apache 基金会支持的开源项目，它们在分布式系统和大数据分析领域发挥着重要作…
-
HBase的数据库与Apache Phoenix的集成
1.背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、ZooKeeper等组…
-
HBase与ApacheHBase集成
1.背景介绍 1. 背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、Zoo…
-
RabbitMQ初级的部分面试题
1.RabbitMQ是什么？有什么作用？ RabbitMQ是一个消息代理：它接受和转发消息。能够实现异步消息处理，达到业务解耦，错峰流控的功能。它的实现是基于消息队…
-
Redis与Zookeeper集成
1.背景介绍 1. 背景介绍 Redis 和 Zookeeper 都是现代分布式系统中广泛应用的开源技术。Redis 是一个高性能的键值存储系统，主要用于缓存和实时数据处理。Zoo…
-
【Spring Cloud】集成分布式事务Seata2.0.0
Seata配置篇 下载seata-server 下载地址：Releases · seata/seata · GitHub 创建库导入SQL 在/script/ser…
-
kafka 的 ack 的三种机制
Kafka的消息确认（acknowledgment）机制用于确保生产者发送的消息已经成功被Kafka Broker接收并存储。Kafka提供了三种不同级别的消息确认机制，可以根据需…
-
RabbitMQ完整配置启动（包会）
在安装RabbitMQ之前，我们先得安装erlang语言，因为它是RabbitMQ的开发语言。 erlang的安装没什么好讲的，就普通的安装程序而已，但是要注意不能有中文安装路径。…
