大数据
-
Spark编程实验四:Spark Streaming编程
目录 一、目的与要求 二、实验内容 三、实验步骤 1、利用Spark Streaming对三种类型的基本数据源的数据进行处理 2、利用Spark Streaming对Kafka高级…
-
Spark调优解析-GC调优3(七)
1 GC调优 Spark立足内存计算,常常需要在内存中存放大量数据,因此也更依赖JVM的垃圾回收机制。与此同时,它也兼容批处理和流式处理,对于程序吞吐量和延迟都有较高要求,因此GC…
-
2024AIOTE智博会 第十五届上海国际智慧城市、物联网、大数据博览会
@TOC2024AIOTE智博会 第十五届上海国际智慧城市、物联网、大数据博览会 The 15th Shanghai International Smart City, IOT, …
-
实时Flink的基本数据结构与类型
1.背景介绍 在大数据处理领域,实时数据处理是一项至关重要的技术。Apache Flink是一个流处理框架,可以用于实时数据处理和分析。在Flink中,数据结构和类型是关键的组成部…
-
Spark与TensorFlow的比较与对比
1.背景介绍 1. 背景介绍 Apache Spark和TensorFlow是两个非常流行的开源框架,它们在大数据处理和机器学习领域都有着重要的地位。Spark是一个通用的大数据处…
-
大数据技术——Flume简介&安装配置&使用案例
文章目录 1. Flume 概述 1.1 Flume简介 1.2 Flume的特点 1.3 Flume的基础架构 2. Flume安装配置 2.1 下载地址 2.2 安装部署 3….
-
大数据在自动驾驶技术中的发展与应用
1.背景介绍 自动驾驶技术是近年来以快速发展的人工智能领域中的一个重要分支。随着计算能力的提升、传感器技术的进步以及大数据处理技术的发展,自动驾驶技术的研究和应用得到了广泛的关注。…
-
【数据分析】—— 指标与指标体系
01 指标与指标体系 指标:从社会科学角度看,指标是统计学的范畴,将说明总体数量特征的概念称为指标。传统的指标有国内生产总值(Gross Domestic Product,GDP)…
-
Flink中的流式Window和RollingWindow
1.背景介绍 在大数据处理领域,流式计算是一种实时处理数据的方法,它可以处理大量数据流,并在数据到达时进行实时分析和处理。Apache Flink是一个流式计算框架,它支持大规模数…
-
HDFS基本命令
目录 1.上传文件到HDFS文件系统 2.-appendToFile:追加一个文件到已经存在的文件末尾 3.查看HDFS文件系统中的文件 4.查看上传到HDFS文件系统中指定文件…
-
Apache NiFi and Apache Flink: A Deep Dive into RealTime Stream Processing
1.背景介绍 随着数据量的增长,实时数据处理变得越来越重要。实时流处理是一种处理大规模实时数据流的技术,它可以在数据到达时进行处理,而不是等待所有数据收集后进行批量处理。这种技术在…
-
【2023 CCF 大数据与计算智能大赛】基于TPU平台实现超分辨率重建模型部署 基于预训练ESPCN的轻量化图像超分辨率模型TPU部署方案
2023 CCF 大数据与计算智能大赛 《基于TPU平台实现超分辨率重建模型部署》 作品名:基于预训练ESPCN的轻量化图像超分辨率模型TPU部署方案 队伍名:Absofastlu…
-
【DataEase】零代码数据可视化分析工具的安装部署保姆级教程
一.安装方式介绍 二.安装部署 三.简单配置 四.重启项目 五.浏览器进入工具 近期,因为我要做大屏的数据可视化分析,所以我了解到了DataEase这一款数据可视化分析工具。这个工…
-
【大数据】Presto(Trino)配置参数以及 SQL语法
文章目录 一、概述 二、Trino coordinator 和 worker 节点作用 1)Trino coordinator 节点作用 2)Trino worker 节点作用 三…
-
vue-vben-admin 与.net core 结合实例 【自学与教学 小白教程】—第4节—部门管理
ue-vben-admin 与.net core 结合实例 这里计划使用.net core 作为后端 。目标:打造好看 易用 开箱即用 的netcore一体化框架。Vue Vbe…
