大数据

双流连结（Join）：根据某个字段的值将数据联结起来，“配对”去做处理 窗口联结（Window Join） 可以定义时间窗口，并将两条流中共享一个公共键（key）的数据放在窗口中进…

ES下载安装 我选择的是7.13.0的版本，可以在官网下载对应的版本之后再上传到我们自己的Linux虚拟机上。 或者可以在自己本地linux虚拟机上执行如下命令下载es的压缩包。 …

目录 研究目的： 数据分析： 研究意义： 研究过程： 研究结果： 研究内容： 需求分析： 可行性分析： 功能分析：  算法： 研究目的： 本研究的目的是利用Python编程语言对电…

相信很多朋友曾经都遇到过这个问题，最近也是被这个错误折磨的怀疑人生。在执行HiveSQL的时候总是时不时报错，could not find status of job 然后进入ya…

HIVE 查询语句 1 查询语句语法： SELECT [ALL | DISTINCT] select_expr, select_expr, … FROM table_refer…

手把手+零基础带你玩转大数据流式处理引擎Flink（特点和优势分析+事件与时间维度分析） 总体介绍 状态容错 精确的一次性处理模式 简单场景的精确一次容错方法 分布式状态容错 容错…

大数据的关键技术之——大数据采集 本文目录： 一、写在前面的话 二、大数据采集概念 三、大数据采集步骤 3.1、大数据采集步骤（总体角度） 3.2、大数据采集步骤（数据集角度） 3…

一、CDC简介 cdc全称 Change Data Capture 变更数据捕获。通俗来讲只要能捕获到变更的数据的技术都可以称为cdc。常见的开源技术有以下几种： canal：ht…

集群角色分配 Hostname IP Role hadoop01 192.168.126.132 JobManager TaskManager hadoop02 192.168.1…

数据库系统原理与应用教程（014）—— 关系数据库练习题（一） 一、简答题 1、试述关系模型的三要素和关系操作语言的特点。 答案： 关系模型的三要素为数据结构、关系操作和完整性约束…

目录  一 . 消息队列 二. Kafka 三 . 启动命令  四 . Kafka的Shell 命令 五 . Kafka的核心原理 1. Topic的分区和副本机制 2 . 消息存…

Hadoop 1.介绍&概览 Hadoop是一个开源的分布式计算平台，用于存储和处理大规模数据集。它的核心组件包括HDFS（Hadoop分布式文件系统）用于存储大数据集，Y…