分布式
-
Kafka指定分区消费及consumer-id,client-id相关概念解析
xxx系列文章 xxxx系列(1)― xxxx系列(2)― xxxxx系列(3)― 提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 xxx系列文章 前言…
-
Hadoop框架——详解
分布式和集群介绍 * 分布式: 多台机器做不同的事情, 然后组成1个整体. * 集群: 多台机器做相同的事情. > 多台机器既可以组成 中心化模式**(主从模式)**, …
-
大数据处理技术Spark
发一下我三天肝完的菜菜项目过程,林子雨老师的课大作业。介绍配环境,以及遇到的各种问题,方便自己以后万一转码回来重头学。 内容有虚拟机配置,ubuntu安装,创建项目,hadoop部…
-
kafka topic分区数设定
创建一个 1副本1分区的topic kafka-topics.sh –create –topic test –bootstrap-server localhost:9092 …
-
Canal+Kafka+springboot(成功)
版本(Canal1.1.7)Kafka(kafka_2.12-3.5.1) mysql(8.0) Mysql环境准备 使用mysql5.1.x以上,我的mysql是8.0,27目前…
-
初探分布式链路追踪
本篇文章,主要介绍应用如何正确使用日志系统,帮助用户从依赖、输出、清理、问题排查、报警等各方面全面掌握。 可观测性 可观察性不单是一套理论框架,而且并不强制具体的技术规格。其核心在…
-
HBase的数据加密和安全策略:保护数据安全
1.背景介绍 1. 背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统,基于Google的Bigtable设计。它是Hadoop生态系统的一部分,可以与HDFS、Map…
-
大数据ClickHouse(二):多种安装方式
文章目录 多种安装方式 一、rpm安装包下载 二、单节点安装 1、目录介绍
-
Kafka数据同步原理详解
Kafka数据同步原理详解 Kafka是一种分布式的消息队列系统,它具有高吞吐量、可扩展性和分布式特性等优势。在Kafka中,数据按照主题进行分区,每个主题都有一组分区。每个分区都…
-
大数据处理中的实时计算:Apache Flink与Spark Streaming对比
1.背景介绍 随着互联网和大数据时代的到来,实时数据处理已经成为企业和组织中最关键的需求之一。实时数据处理技术可以帮助企业更快地响应市场变化,提高决策效率,提高业务竞争力。在大数据…
-
分布式虚拟文件系统,如何实现多种存储系统的融合
随着大数据技术和人工智能技术的发展,各种框架应运而生,比如大数据领域中的MapReduce和Spark,人工智能领域中的TensorFlow和PyTorch等。为了给不同的计算框架…
-
DolphinDB学习(2):增删改查数据表(分布式表的基本操作)
文章目录 创建数据表 1. 创建数据表全流程 2. 核心:创建table 3. 在已有的数据表中追加新的数据 数据表自身的操作 1. 查询有哪些数据表 2. 删除某张数据表 3. …
-
查看RabbitMQ日志—trace插件的使用
我的RabbitMQ是安装在docker里面的 所以我以下的方法都是根据这个路径去操作的 如果RabbitMQ安装在其他地方 请自行百度 1. 显示正在运行的RabbitM…
-
RabbitMQ与Kafka比较与选择
1.背景介绍 1. 背景介绍 RabbitMQ 和 Kafka 都是流行的消息中间件,它们在分布式系统中扮演着重要的角色。RabbitMQ 是一个基于 AMQP(Advanced …
-
【RabbitMQ】快速入门及基本使用
一、引言 1、、消息队列 Ⅰ、什么是消息队列? 消息队列是一种进程间通信或同一进程的不同线程间的通信方式,软件的贮列用来处理一系列的输入,通常是来自用户。消息队列提…
