hadoop

1.场景分析 数据处理常用hive -e的方式，通过脚本操作数仓，过程中常常遇到特殊字符的处理，如单双引号、反斜杠、换行符等，现将特殊字符用法总结使用如下，可直接引用，避免自行测试…

HDFS有什么特点，被设计做什么               Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件…

由于https://github.com/kontext-tech/winutils还未发布3.3.6版本，因此尝试源码编译。 本文 hadoop-3.3.6 编译后 winuti…

一、项目介绍 气象分析大屏可视化系统主要功能模块包括后台首页，系统用户（管理员），模块管理（日照时数，平均相对湿度，年降水量，平均气温，贵阳气象分析，气温对比），采取面对对象的开发…

Hadoop运行模式主要包括三种：本地模式、伪分布式模式以及完全分布式模式。 1. 本地模式（Local/Standalone Mode）：在这种模式下，Hadoop作为一个独立的…

场景： hive有张表armmttxn_tmp，其中有一个字段lot_number，该字段以逗号分隔开多个值，每个值又以冒号来分割料号和数量，如：A3220089:-40,A322…

虚拟机安装Hadoop，Hbase 工作中遇到了大数据方面的一些技术栈，没有退路可言，只能去学习掌握它，就像当初做爬虫一样（虽然很简单），在数据爆发的现在，传统的数据库mysql，…

博主介绍：✌全网粉丝6W+,csdn特邀作者、博客专家、大数据领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于大数据技术领域和毕业项目实战✌ &#x…

HDFS上的数据均衡简介 文章目录 HDFS上的数据均衡简介 重新平衡多DN之间的数据 相关命令 重新平衡单DN内磁盘间的数据 相关命令 Plan Execute Query Ca…

Hive —- 文件格式和压缩 1. Hadoop压缩概述 2. Hive文件格式 1. Text File 2. ORC 3. Parquet 3. 压缩 1. Hi…

启动Hive 启动集群组件 cd /export/onekey ./start-all.sh 终端链接Hive 进入到/export/server/hive-2.1.0/bin目录…

目录 Hadoop分布式文件系统 HDFS简介 HDFS的体系结构 HDFS的使用和基本命令 学习参考 Hadoop分布式文件系统 HDFS简介   HDFS(Hadoop Dis…

文章目录 Hive 引擎简介 环境配置 （ssh已经搭好） JDK准备 Hadoop 准备 配置集群 启动集群 LZO压缩配置 Hive 准备 Hive 元数据配置到 MySQL …

hadoop高校固定资产管理系统 摘 要      在信息飞速发展的今天，网络已成为人们重要的信息交流平台。高校部门每天都有大量的信息需要通过网络发布，为此，高校固定资产管理系统开…

day04 函数和运算符 1、运算符 建表和数据 create external table ext_table( id int, name string, age int, s_…