大数据
-
Spark-RDD详解
SPARK–RDD 1、RDD的介绍 RDD 弹性分布式数据集合 是Spark中的一种数据类型,管理spark的内存数据 [1,2,3,4] spark中还有dataframe,d…
-
大数据平台环境搭建—- Hive&MySql数据库组件配置
前置环境 Hadoop集群必须部署完成,如果还没有搭建请先前往>>Hadoop全分布搭建笔记 程序版本 hive 1.1.0 mysql 5.7.25 mysql-co…
-
centos7安装hadoop
1.软件准备 Vmware workstation pro16 centos7镜像文件 Java8-linux 网盘地址:链接:https://pan.baidu.com/s/15…
-
启动zookeeper和kafka时 kafka无法启动或者闪退
目录 一.问题: kafka无法启动或者kafka启动以后 kafka进程自动挂掉 二.解决办法: 1.关闭kafka和zookeeper(先关kafka再关zookeeper) …
-
Flink(十三)【Flink SQL(上)SqlClient、DDL、查询】
前言 最近在假期实训,但是实在水的不行,三天要学完SSM,实在一言难尽,浪费那时间干什么呢。SSM 之前学了一半,等后面忙完了,再去好好重学一遍,毕竟这玩意真是面试…
-
直播电商数据仓库
直播电商数据仓库 一. 数仓及其维度 什么是数仓 数据仓库,简称数仓,( Data Warehouse )。 从逻辑上理解,数据库和数仓没有区别,都是通过数据库软件实现存放数据的地…
-
大数据-玩转数据-Flink 海量数据实时去重
大数据|阿里实时计算|Flink 一、海量数据实时去重说明 借助redis的Set,需要频繁连接Redis,如果数据量过大, 对redis的内存也是一种压力;使用Flink的Map…
-
Hadoop安装笔记1单机/伪分布式配置
将下发的ds_db01.sql数据库文件放置mysql中 12、编写Scala代码,使用Spark将MySQL的ds_db01库中表user_info的全量数据抽取到Hive的o…
-
超全人工智能 AI工具导航网站合集
作者:明明如月学长, CSDN 博客专家,蚂蚁集团高级 Java 工程师,《性能优化方法论》作者、《解锁大厂思维:剖析《阿里巴巴Java开发手册》》、《再学经典:《Effectiv…
-
大数据开发之电商数仓(hadoop、flume、hive、hdfs、zookeeper、kafka)
第 1 章:数据仓库 1.1 数据仓库概述 1.1.1 数据仓库概念 1、数据仓库概念: 为企业制定决策,提供数据支持的集合。通过对数据仓库中数据的分析,可以帮助企业,改进业务流程…
-
【SQL应知应会】表分区(四)• MySQL版
欢迎来到爱书不爱输的程序猿的博客, 本博客致力于知识分享,与更多的人进行学习交流 本文收录于SQL应知应会专栏,本专栏主要用于记录对于数据库的一些学习,有基础也有进阶,有MySQL…
-
Elasticsearch基础2——es配置文件、jvm配置文件、log4j2.properties配置文件详解
文章目录 一、配置文件详解 1.1 elasticsearch.yml文件 1.1. 1 基础参数 1.1.1.1 自定义数据/日志目录 1.1.1.2 锁定物理内存 1.1.1….
-
Flink应用安全与权限管理
1.背景介绍 Flink是一个流处理框架,用于处理大规模数据流。它具有高吞吐量、低延迟和强大的状态管理功能。然而,在实际应用中,Flink应用的安全性和权限管理也是非常重要的。 F…
-
《2023大数据产业年度国产化优秀代表厂商》榜重磅发布丨第六届金猿奖
第六届年度金猿榜单/奖项 “第六届年度金猿季策划活动——2023大数据产业年度国产化优秀代表厂商榜单/奖项”由金猿X数据猿X上海大数据联盟共同推出。 大数据产业创新服务媒体 —…
-
Hive case when 用法详细介绍
Hive的CASE WHEN语句是一种条件语句,用于在查询结果中根据不同的条件返回不同的结果。 语法: SELECT CASE WHEN condition1 THEN resul…
