大数据
-
【Spark面试】Spark面试题&答案
目录 1、spark的有几种部署模式，每种模式特点？（☆☆☆☆☆） 2、Spark为什么比MapReduce块？（☆☆☆☆☆） 3、简单说一下hadoop和spark的shuffl…
-
Hive-concat
concat_ws 是 Hive 中的一个函数，用于在给定分隔符的情况下连接字符串数组或字符串。它的语法如下： concat_ws(separator, const1, const…
-
Flink性能优化小结
jvm内存优化 内存优化 netty优化 akka优化 并行度优化 对象重用 checkpoint优化 网络内存调优 状态优化 flink数据倾斜优化 flink背压 jvm内存参…
-
Apache Flink 1.15正式发布
Apache Flink 核心概念之一是流 (无界数据) 批 (有界数据) 一体。 流批一体极大的降低了流批融合作业的开发复杂度。在过去的几个版本中，Flink 流批一体逐渐成熟，…
-
能源大数据：实现能源产业的竞争优势
1.背景介绍 能源大数据是一种利用大数据技术来分析、处理和优化能源产业的方法。在过去的几年里，能源产业面临着巨大的挑战，如能源供应的不稳定、能源价格的波动、环境污染等。这些问题使得…
-
大数据HCIE成神之路之特征工程——特征选择
特征选择 1.1 特征选择 – Filter方法 1.1.1 实验任务 1.1.1.1 实验背景 1.1.1.2 实验目标 1.1.1.3 实验数据解析 1.1.1.4…
-
flink中使用外部定时器实现定时刷新
背景： 我们经常会使用到比如数据库中的配置表信息，而我们不希望每次都去查询db，那么我们就想定时把db配置表的数据定时加载到flink的本地内存中，那么如何实现呢？ 外部定时器定时…
-
处理el-table大数据卡顿的问题，包含tree型数据格式
文章目录 概要 技术细节 小结 概要 如果你有更丰富的表格需求，可以查看我另一篇文章 关于vxe-table的使用心得及扩展 1、现象 有时候el-table的数据可能有成千上万条…
-
智能农业技术：农业大数据在农业生产中的应用
1.背景介绍 农业大数据是指在农业生产过程中产生的大量的数据，包括气象数据、土壤数据、种植数据、动物数据等。这些数据是农业生产过程中的关键因素，可以帮助农业生产者更好地理解农业生产…
-
大数据分析案例-基于决策树算法构建员工离职预测模型
?♂️ 个人主页：@艾派森的个人主页 ✍?作者简介：Python学习者 ? 希望大家多多支持，我们一起进步！? 如果文章对你有帮助的话， 欢迎评论 ?点赞?? 收藏 ?加关注+ …
-
元壤教育黎跃春万字长文：从AI视角解读罗振宇跨年演讲 ——提出正确的问题，往往等于解决了问题的大半
文章目录 01 怎么把课间10分钟还给学生？ 02 学校是社会生活的浓缩和预演 03 变革，不是说服的花朵，而是动作的果实 04 提出正确的问题，往往等于解决了问题的大半 05 所…
-
【Mysql】万字长文带你快速掌握数据库基础概念及SQL基本操作
文章目录 前言 发现宝藏 一、数据库相关概念 1. 什么是数据库 2. 数据库的种类 3. Mysql 简介 4. SQL简介 5. 数据库中常见的数据类型 二、SQL基础 1. …
-
Hive3.1.3基础
参考B站尚硅谷 目录 什么是Hive Hive架构原理 Hive安装 Hive安装地址 Hive安装部署 安装Hive 启动并使用Hive MySQL安装 安装MySQL 配置My…
-
[AIGC 大数据基础] 浅谈hdfs
HDFS介绍 什么是HDFS？ HDFS（Hadoop Distributed File System）是Apache Hadoop生态系统的一部分，是一个分布式文件系统。它被设计…
-
Elasticsearch 基本使用（四）聚合查询
聚合查询 概述 单字段聚合查询 统计分组后的数量 非文档字段分组 文档字段分组 其他聚合运算 统计平均值 统计总金额 统计最大值 自定义聚合结果排序 简单聚合小结 多字段聚合查询 …
![[AIGC 大数据基础] 浅谈hdfs](/img/91/19fb698dcd7bf051b8d1a057ce063c81.jpeg)
