大数据

一、问题 现象 Spark 任务速度变慢，也不失败。 DataNode 内存足够 CPU 负载不高 GC 时间也不长。 查看 DataNode 日志，发现有些日志出现很多 Nett…

一、生产机器资源评估 1.梳理数据量，包括每天增量数据接入和全量数据接入 2.数据存储时间长度（1个月/3个月/半年/1年/三年等） 3.报表的SQL查询数量，SQL查询占用资源的…

关联文章: 各种时间类型和timezone关系浅析 一、测试目的和值 1. 测试一般的数据库不含time zone的类型的时区。 mysql timestamp(3) 类型 pos…

文章目录 前言 发现宝藏 一、初识Git 1.Git概述 2. Git的功能 3. Git运行图示 二、Git下载安装 三、Git 代码托管服务 1.常用的 Git 代码托管服务 …

 HDFS（Hadoop Distributed File System）是Apache Hadoop生态系统中的分布式文件系统，用于存储和处理大规模数据集。由于其具有高容错性、高…

课程资源：（林子雨）Spark编程基础(Python版)_哔哩哔哩_bilibili 第4章  RDD编程（21节）  Spark生态系统： Spark Core：底层核心（RDD…

RocksDB是Flink中用于持久化状态的默认后端，它提供了高性能和可靠的状态存储。然而，当处理大型状态并频繁读写时，可能会导致背压问题，因为RocksDB需要从磁盘读取和写入数…

《Flink 架构》系列（已完结），共包含以下 6 篇文章： Flink 架构（一）：系统架构 Flink 架构（二）：数据传输 Flink 架构（三）：事件时间处理 Flink …

大数据产业创新服务媒体 ——聚焦数据 · 改变商业 当前，大模型的发展处于一场充满无限可能的大变革前夜，而作为核心要素的大数据也被赋予了全新的意涵。大模型技术的出现对大数据而言意味…

文章目录 0 简介 1 设计概要 2 课题背景和目的 3 协同过滤算法原理 3.1 基于用户的协同过滤推荐算法实现原理 3.1.1 步骤1 3.1.2 步骤2 3.1.3 步骤3 …