大数据
-
宋绪杰:我的大数据成长之旅 | 提升之路系列(三)
导读 为了发挥清华大学多学科优势,搭建跨学科交叉融合平台,创新跨学科交叉培养模式,培养具有大数据思维和应用创新的“π”型人才,由清华大学研究生院、清华大学大数据研究中心及相关院系共…
-
【选题指导】数据科学与大数据专业毕业设计(论文)选题推荐 2024
目录 前言 毕设选题 开题指导建议 更多精选选题 选题帮助 最后 前言 大家好,这里是海浪学长毕设专题! 大四是整个大学期间最忙碌的时光,一边要忙着准备考研、考公、考教资或者实习为…
-
Flink + Iceberg打造流批一体的数据湖架构
一、背景 1、数据仓库架构 从Hive表出仓到外部系统(ClickHouse、Presto、ES等)带来的复杂性和存储开发等额外代价,尽量减少这种场景出仓的必要性。…
-
Data-centric AI:解决“数据债”隐患的新范式
诚邀您莅临CES 2024 North Hall 9078号展台,星尘数据(Stardust AI)将在美国·拉斯维加斯会议中心LVCC(Tech East)与您探讨机器学习全生命…
-
基于Python机器学习算法农业数据可视化分析预测系统
文章目录 基于Python机器学习算法农业数据可视化分析预测系统 一、项目简介 二、开发环境 三、项目技术 四、功能结构 五、功能实现 模型构建 封装类用于网格调参 训练模型 系统…
-
Spark编程实验四:Spark Streaming编程
目录 一、目的与要求 二、实验内容 三、实验步骤 1、利用Spark Streaming对三种类型的基本数据源的数据进行处理 2、利用Spark Streaming对Kafka高级…
-
Spark调优解析-GC调优3(七)
1 GC调优 Spark立足内存计算,常常需要在内存中存放大量数据,因此也更依赖JVM的垃圾回收机制。与此同时,它也兼容批处理和流式处理,对于程序吞吐量和延迟都有较高要求,因此GC…
-
2024AIOTE智博会 第十五届上海国际智慧城市、物联网、大数据博览会
@TOC2024AIOTE智博会 第十五届上海国际智慧城市、物联网、大数据博览会 The 15th Shanghai International Smart City, IOT, …
-
实时Flink的基本数据结构与类型
1.背景介绍 在大数据处理领域,实时数据处理是一项至关重要的技术。Apache Flink是一个流处理框架,可以用于实时数据处理和分析。在Flink中,数据结构和类型是关键的组成部…
-
Spark与TensorFlow的比较与对比
1.背景介绍 1. 背景介绍 Apache Spark和TensorFlow是两个非常流行的开源框架,它们在大数据处理和机器学习领域都有着重要的地位。Spark是一个通用的大数据处…
-
大数据技术——Flume简介&安装配置&使用案例
文章目录 1. Flume 概述 1.1 Flume简介 1.2 Flume的特点 1.3 Flume的基础架构 2. Flume安装配置 2.1 下载地址 2.2 安装部署 3….
-
大数据在自动驾驶技术中的发展与应用
1.背景介绍 自动驾驶技术是近年来以快速发展的人工智能领域中的一个重要分支。随着计算能力的提升、传感器技术的进步以及大数据处理技术的发展,自动驾驶技术的研究和应用得到了广泛的关注。…
-
【数据分析】—— 指标与指标体系
01 指标与指标体系 指标:从社会科学角度看,指标是统计学的范畴,将说明总体数量特征的概念称为指标。传统的指标有国内生产总值(Gross Domestic Product,GDP)…
-
Flink中的流式Window和RollingWindow
1.背景介绍 在大数据处理领域,流式计算是一种实时处理数据的方法,它可以处理大量数据流,并在数据到达时进行实时分析和处理。Apache Flink是一个流式计算框架,它支持大规模数…
-
HDFS基本命令
目录 1.上传文件到HDFS文件系统 2.-appendToFile:追加一个文件到已经存在的文件末尾 3.查看HDFS文件系统中的文件 4.查看上传到HDFS文件系统中指定文件…
