hadoop
-
Java技术栈 —— Hadoop入门（二）实战
Java技术栈 —— Hadoop入门（二） 一、用MapReduce对统计单词个数 1.1 项目流程 1.2 可能遇到的问题 1.3 代码勘误 1.4 总结 一、用MapRedu…
-
【hive】- 使用insert into/insert overwrite插入数据到静态分区、动态分区、动静态分区
文章目录 前言 一、hive分区 hive分区类型 hive分区参数 二、数据插入方式 静态分区插入数据 动态分区插入数据 动静混合分区插入数据 前言 Hive中支持的分区类型有两…
-
Python过气，Hadoop凉了？零基础项目实战诠释何为经典
👉导读 工欲善其事，必先利其器。Python 作为一种跨平台的编程语言，具有解释性、变异性、交互性和面向对象的特点，可应用于独立的项目开发。今天，我们特邀了公众号“…
-
一文带你快速初步了解云计算与大数据
目录 🔍一、云计算基础 1、云计算的概念、特点、关键技术 2、云计算的分类 3、云计算的部署模式 4、云计算的服务模式：IaaS、PaaS、SaaS分别是什么，具体…
-
【Hadoop】DataNode 详解
🍁 博主 “开着拖拉机回家”带您 Go to New World.✨🍁 🦄 个人主页——🎐开…
-
【Hive-Sql】Hive 处理 13 位时间戳得到年月日时分秒（北京时间）
【Hive-Sql】Hive 处理 13 位时间戳得到年月日时分秒（北京时间） 1）需求 2）实现 1）需求 使用 Hive 自带函数 将 13位 时间戳转成年月日时分秒（北京时间…
-
大数据毕业设计选题推荐-热门旅游景点数据分析-Hadoop-Spark-Hive
✨作者主页：IT研究室✨ 个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学…
-
平台治理开发在Apache Hadoop中的应用
1.背景介绍 Apache Hadoop是一个开源的分布式存储和分析平台，它可以处理大量数据并提供快速的数据查询能力。在大数据时代，平台治理是一项至关重要的技术，它可以帮助企业更好…
-
Hadoop-MapReduce-源码跟读-ReduceTask阶段篇
一、源码下载 下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧 Index of /dist/hadoop/core 二、Reducer类 …
-
大数据存储与处理技术之Spark
1、Spark简介 • Spark最初由美国加州伯克利大学（UC Berkeley）的AMP实验室于2009年开发，是基于 内存 计算的大数据并行计算框架，可用于构建大型的、低延迟…
-
MapReduce是Hadoop的一个核心组件，它是一个编程模型和计算框架
MapReduce是Hadoop的一个核心组件，它是一个编程模型和计算框架，用于处理和生成大数据集。MapReduce模型将大数据处理任务分解为两个阶段：Map阶段和Reduce阶…
-
大数据技术——Flume简介&安装配置&使用案例
文章目录 1. Flume 概述 1.1 Flume简介 1.2 Flume的特点 1.3 Flume的基础架构 2. Flume安装配置 2.1 下载地址 2.2 安装部署 3….
-
学会大数据基础，一篇就够了
第 2 章-大数据处理架构 Hadoop 1 hadoop 生态系统 1 Hadoop的三大组件 1) HDFS分布式文件管理系统 超大数据存储 流式存储 2) MapRuduce…
-
Hadoop集群！将HDFS副本数设置为3；可以正常提交MapReduce运行！
目录 一、将HDFS副本数设置为3 1、什么是HDFS副本数？ 2.将副本数设置为3 二、基于MapReduce框架开发wordcount程序 1、什么是MapReduce框架？ …
-
Hadoop之Yarn 详细教程
1、yarn 的基本介绍和产生背景 YARN 是 Hadoop2 引入的通用的资源管理和任务调度的平台，可以在 YARN 上运行 MapReduce、Tez、Spark 等多种计算…
