分布式
-
原来kafka也有事务啊，再也不担心消息不一致了
前言 现在假定这么一个业务场景，从kafka中的topic获取消息数据，经过一定加工处理后，发送到另外一个topic中，要求整个过程消息不能丢失，也不能重复发送，即实现端到端的Ex…
-
Java大数据处理与Hadoop
1.背景介绍 大数据处理是指处理和分析大量、高速、不断增长的数据，这些数据通常来自不同的来源，如网络、传感器、数据库等。随着互联网和人工智能的发展，大数据处理已经成为现代科学和工程…
-
Flink与Kafka集成
1.背景介绍 Flink与Kafka集成是一种常见的大数据处理技术，它可以帮助我们实现实时数据处理和分析。Flink是一个流处理框架，可以处理大量数据并提供实时分析功能。Kafka…
-
HBase介绍
一、HBase简介 1.1、HBase是什么 Google在200-2006发表了GFS、MapReduce、BigTable三篇 论文 ，号称“三驾马车”，开启了大数据的时代。 …
-
【Kafka】主题Topic详解
目录 主题的管理 创建主题 查看主题 修改主题 删除主题 增加分区 分区副本的分配 必要参数配置 KafkaAdminClient应用 功能 操作示例 主题的管理 使用kafka-…
-
活动回顾 | 矩阵起源 CEO 王龙：与大数据结合，是大模型成熟的必经之路
导读 近日，由数据猿和上海大数据联盟主办，上海市经济和信息化委员会、上海市科学技术委员会指导的“第六届金猿季&魔方论坛——大数据产业发展论坛”在上海市四行仓库举行，吸引了数…
-
【Kafka】Kafka consumer lag 为负数
前言 最近对Kafka 集群部署了 Kafka_exporter 监控，并集成了 granfana 图标展示。 发现 Consumer Group Lag 有时候为负数。 于是进行…
-
Kafka发送数据的三种模式
Kafka发送数据的三种模式 摘要： 为生产者设置属性 kafka发送端3种不同的发送模式 1、Fire-and-forget 2、Synchronous send 3、Async…
-
Hadoop 请求数据长度 Requested Data length 超过配置的最大值
一、问题 现象 Spark 任务速度变慢，也不失败。 DataNode 内存足够 CPU 负载不高 GC 时间也不长。 查看 DataNode 日志，发现有些日志出现很多 Nett…
-
终于找到了最新版的Zookeeper入门级教程，建议收藏！
小熊学Java：https://javaxiaobear.cn 1、分布式一致性 1、CAP 理论 CAP 理论指出对于一个分布式计算系统来说，不可能同时满足以下三点： 一致性：在…
-
C#使用RabbitMQ-3
简介 发布订阅模式允许一个生产者向多个消费者发送消息。在RabbitMQ中实现发布订阅模式通常涉及以下几个关键组件： 生产者：负责生产并发送消息到RabbitMQ的Exchange…
-
RabbitMQ插件延迟队列大坑–x-delay时间最多只能49天
问题描述 在做业务到期时间提醒的时候，使用到了队列，但是发现有些消息会被立即消费，最后经过测试对比发现，rabbitMQ的延迟时间最大为2的32次方-1，大约49天 官方文档里面有…
-
mysql 分布式数据库 NDB集群概述
1 NDB Cluster介绍 NDB Cluster是一种能够在无共享系统中对内存数据库进行集群的技术。无共享架构使系统能够使用非常便宜的硬件，并且对硬件或软件的特定要求最低。 …
-
HBase的基本概念与数据模型
1.背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable论文。它是Hadoop生态系统的一部分，可以与HDFS、MapReduce、Z…
-
Kafka运维相关知识
目录 一、基本概念 二、技术特性 三、设计思想 四、运维建议 一、基本概念 Apache kafka 是一个分布式的基于push-subscribe的消息系统，它具备快速、可…
