hadoop
-
hive–给表名和字段加注释
1.建表添加注释 CREATE EXTERNAL TABLE `test`( `loc_province` string comment ‘省份’, `loc_city` stri…
-
用户行为分析遇到的问题-ubantu16,hadoop3.1.3
用户行为分析传送门 我的版本 ubantu16 hadoop 3.1.3 habse 2.2.2 hive3.1.3 zookeeper3.8.3 sqoop 1.46/1.47 …
-
HIVE 中INSERT INTO 和 INSERT OVERWRITE 的区别，以及OVERWRITE哪些隐藏的坑
HIVE 中INSERT INTO 和 INSERT OVERWRITE 的区别，以及 overwrite 在分区表和非分区表中使用时的注意事项。 概要 1.hive中insert…
-
ubuntu22.04下hadoop3.3.6+hbase2.5.6+phoenix5.1.3开发环境搭建
一、涉及软件包资源清单 1、java 这里使用的是openjdk 2、hadoop-3.3.6.tar.gz 3、hbase-2.5…
-
HDFS、YARN、MapReduce概述及三者之间的关系(图解)
一、HDFS架构概述 1、HDFS定义HDFS(Hadoop Distributed File System) 是一种分布式文件系统，用于处理在商业硬件上运行的大型数据集。 它用于…
-
Hive简述
Hive的产生背景 数据库擅长事务性的工作，但不擅长分析型的工作，所以应要求就产生了数据仓库。 数据仓库相当于集成化数据管理的平台，从多个数据源抽取有价值的数据，在仓库内转换和流动…
-
Hadoop 在企业中的应用场景与案例分析
1.背景介绍 Hadoop 是一个开源的分布式文件系统和分析框架，它可以处理大量数据并提供高性能的计算能力。在企业中，Hadoop 已经成为一个重要的技术手段，用于处理和分析大规模…
-
一句话介绍大数据各种名词及其特点
大数据：传统PC无法处理的。数据大、数据类型繁多、处理速度快、价值密度低。 Hadoop：能够对大数据进行分布式处理的软件框架、这种处理具有高效、可靠、可伸缩的特点。Hadoop的…
-
【数据开发】Hive 多表join中的条件过滤与指定分区
1、条件过滤 left join 中 on 后面加条件 where 和 and 的区别 1、 on条件是在生成临时表时使用的条件，它不管and中的条件是否为真，都会保留左边表中的全…
-
Hadoop精选18道面试题(附回答思路)
1.简述Hadoop1和Hadoop2的架构异同 HDFS HA(High Availablity) 一旦Active节点出现故障，就可以立即切换到Standby节点，避免了单点故…
-
解决问题： java.net.ConnectException: Connection refused: connect
问题描述： 使用hive连接三方工具datagrip的时候出现错误： Could not open client transport with JDBC Uri: jdbc:hiv…
-
java.net.NoRouteToHostException No route to host的排查与解决思路分享
相信很多朋友曾经都遇到过这个问题，最近也是被这个错误折磨的怀疑人生。在执行HiveSQL的时候总是时不时报错，could not find status of job 然后进入ya…
-
2024.1.11 Kafka 消息队列,shell命令,核心原理
目录 一 . 消息队列 二. Kafka 三 . 启动命令 四 . Kafka的Shell 命令 五 . Kafka的核心原理 1. Topic的分区和副本机制 2 . 消息存…
-
Hadoop从入门到宕机
Hadoop 1.介绍&概览 Hadoop是一个开源的分布式计算平台，用于存储和处理大规模数据集。它的核心组件包括HDFS（Hadoop分布式文件系统）用于存储大数据集，Y…
-
服务攻防-数据库安全-服务应用的安全问题以及测试流程-Mysql&Hadoop&未授权访问&RCE-漏洞复现
目录 一、服务应用的安全问题 1、配置不当——未授权访问 2、安全机制——特定安全漏洞 3、安全机制——弱口令爆破攻击 二、服务应用的安全测试思路 1、判断服务是否开放 2、判断服…
