大数据
-
Hadoop—20.网站日志分析项目案例（详解）
目录 一、导入数据 1、启动hadoop 2、在hdfs下创建文件夹hadoop_class 3、查询文件夹是否创建成功 4、在hadoop_class下创建一个文件夹存放总数据…
-
【大数据】Flink CDC 的概览和使用
Flink CDC 的概览和使用 1.什么是 CDC 2.什么是 Flink CDC 3.Flink CDC 前生今世 3.1 Flink CDC 1.x 3.2 Flink CD…
-
Flink的流中的自定义排序操作
1.背景介绍 在大数据处理领域，流处理是一种实时的数据处理方法，用于处理大量的、高速的、实时的数据流。Apache Flink是一个流处理框架，可以用于实现流处理任务。在Flink…
-
flink作业 windowAll 转换window
一. windowAll 和window介绍 datastream 流中没有使用keyby需要使用windowAll函数，使用了keyby的需要使用window函数 Keyed W…
-
【大数据入门核心技术-Doris】（三）Doris基本Shell和数据模型
一、环境准备 参考 【大数据入门核心技术-Doris】（二）Doris安装部署_forest_long的博客-CSDN博客 二、基本增删改查语句 一、DCL 1、登录 mysql …
-
stata回归？固定效应模型（组内变换OR LSDV最小二乘法）
面板数据分析与Stata应用笔记整理自慕课上浙江大学方红生教授的面板数据分析与Stata应用课程，笔记中部分图片来自课程截图。 笔记内容还参考了陈强教授的《高级计量经济学及Stat…
-
文献回顾 | 你还在这样使用工业企业数据库吗?
你还在这样使用工业企业数据库吗？ 编者按：本文根据聂辉华、江艇、杨汝岱三位学者的《中国工业企业数据库的使用现状与潜在问题》（世界经济，2012）总结而成。 众所周知的是，中国工业企…
-
大数据StarRocks(三) StarRocks数据表设计
1. 列式存储 1.1 列式存储方式有以下几个优点： 1.快速的数据查询 由于数据是按照列进行存储的，所以查询某个列时只需要读取该列所在的块，而不是整行数据，从而大大提高了查询效率…
-
大数据篇Kafka消息队列指定Topic打印Key、Value、Offset和Partition
1、概念简介 说到Apache Kafka消息传递系统时，以下是一些关键概念的解释： Key（键）：Kafka消息由Key和Value组成。Key是一个可选的字段，它通常用于消息的…
-
大数据与人工智能：改变交通运输行业的未来
1.背景介绍 交通运输行业是现代社会的重要组成部分，它为人们提供了方便快捷的出行方式。然而，随着人口增长和城市发展，交通拥堵、交通事故、交通拥堵等问题日益严重，对于交通运输行业的发…
-
kafka启用SASL认证后使用kafka-consumer-groups.sh查看消费组报错的问题
解决SASL认证类型kafka在使用kafka-consumer-groups.sh查看消费组数据时，报以下异常的问题 Error: Executing consumer grou…
-
Hudi源码|Insert源码分析总结（一）(整体流程)
前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun 前言 Ap…
-
大数据Doris（四十八）：Doris的动态分区示例与查看动态分区表调度情况
文章目录 Doris的动态分区示例与查看动态分区表调度情况 一、示例
-
大数据采集技术与预处理学习一：大数据概念、数据预处理、网络数据采集
目录 大数据概念： 1.数据采集过程中会采集哪些类型的数据？ 2.非结构化数据采集的特点是什么？ 3.请阐述传统的数据采集与大数据采集的区别？ 4.大…
-
深入理解 Flink（三）Flink 内核基础设施源码级原理详解
深入理解 Flink 系列文章已完结，总共八篇文章，直达链接： 深入理解 Flink （一）Flink 架构设计原理 深入理解 Flink （二）Flink StateBacken…
