分布式
-
集群与分布式:区别与联系
人不走空 dz…
-
hadoop报错ERROR: Cannot set priority of namenode process
现象: 解决: 1.看Hadoop的日志: 查看namenode日志:tail -n 200 hadoop-xinjie-namenode-VM-0-9-centos.log (文…
-
Spark的大数据处理与分析案例
1.背景介绍 1.背景介绍 Apache Spark是一个开源的大数据处理框架,它可以处理批量数据和流式数据,并提供了一个易用的编程模型。Spark的核心组件是Spark Stre…
-
1.2 Hadoop概述
小肥柴的Hadoop之旅 1.2 Hadoop概述 目录 1.2 Hadoop概述 1.2.1 回归问题 1.2.2 Google的三篇论文 1.2.3 Hadoop的诞生过程 1…
-
HBase的易用性: 如何提高HBase的易用性
1.背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统,基于Google的Bigtable设计。它是Hadoop生态系统的一部分,可以与HDFS、MapReduce、Z…
-
数据架构的大数据处理:Hadoop 与 Spark 的结合
1.背景介绍 大数据处理是现代数据科学和工程的核心技术,它涉及到处理海量、高速、多源、不确定性和不可靠性的数据。随着互联网、人工智能、物联网等领域的快速发展,大数据处理的重要性日益…
-
【大数据存储与处理】实验一 HBase 的基本操作
一、实验目的: 1. 掌握 Hbase 创建数据库表及删除数据库表 2. 掌握 Hbase 对数据库表数据的增、删、改、查。 二、实验内容: 1、题目 0:进入 hbase sh…
-
Hadoop(02) Hadoop-3.3.6 集群的配置教程
当使用Hadoop的分布式模式进行部署和运行时,通常使用分布式文件系统HDFS进行存储。在这种情况下,HDFS的名称节点(NameNode)和数据节点(DataNode)位于不同的…
-
大数据开发之Spark(完整版)
第 1 章:Spark概述 1.1 什么是spark 回顾:hadoop主要解决,海量数据的存储和海量数据的分析计算。 spark是一种基于内存的快速、通用、可扩展的大数据分析计算…
-
VMware执行命令hadoop-daemon.sh start journalnode报错hadoop-daemon.sh: 未找到命令…
首先启动hadoop1节点的Zookeeper服务 然后启动hadoop1节点的Journalnode执行命令hadoop-daemon.sh start journalnode报…
-
Java分布式锁理论(redis、zookeeper) 详解
目录 一、分布式锁有哪些应用场景? 二、分布式锁的实现方案 三、zookeeper实现分布式锁 一直不释放锁怎么办? 如何避免分布式锁羊群效应问题? 四、redis实现分布式锁 一…
-
在虚拟机上从0开始安装 hadoop 3.1.3 集群记录
hadoop 3.1.3 安装记录 linux 安装 VMware 新建虚拟机向导 VMware的网络配置 centos 7.5 安装 设置服务器 使用windTerm 连接服务器…
-
【解决】Kafka Exception thrown when sending a message with key=‘null‘ 异常
问题原因: 如下图,kafka 中配置的是监听域名的方式,但程序里使用的是 ip:port 的连接方式。 解决办法: kafka 中配置的是域名的方式,程序里也相应配置成 域名…
-
Spark 大数据实战:基于 RDD 的大数据处理分析
之前笔者参加了公司内部举办的一个 Big Data Workshop,接触了一些 Spark 的皮毛,后来在工作中陆陆续续又学习了一些 Spark 的实战知识。 本文笔者从小白的视…
-
kafka查看消息两种方式(命令行和软件)+另附发送消息方式
1、命令行方式 ①找到kafka安装文件夹 ②执行命令 #指定offset为指定时间作为消息起始位置 kafka-consumer-groups.sh \ –bootstrap-…
