大数据
-
【第一期】《互联网广告系统：架构、算法与智能化》
🌹欢迎来到爱书不爱输的程序猿的博客, 本博客致力于知识分享，与更多的人进行学习交流 爱书不爱输的程序猿：送书第一期 一、前言 二、书籍认识 2.1 内容简介 — 通…
-
HBase高级特性：HBase与ZooKeeper集成
1.背景介绍 HBase高级特性：HBase与ZooKeeper集成 1. 背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。…
-
Flink的流式数据库与数据仓库
1.背景介绍 在大数据时代，数据处理和分析的需求日益增长。流式数据处理和数据仓库是两种不同的数据处理方法，它们在处理速度、数据类型和数据源等方面有所不同。Flink是一个流式数据处…
-
【主流电商平台API接口接入】大数据的关键技术之—大数据采集
大数据采集是指通过各种技术手段和工具收集、获取和提取大规模数据的过程。在信息时代，各种互联网、物联网、移动设备等的普及和应用，产生了海量的数据，这些数据被称为大数据。电商数据采集就…
-
数据仓库与数据湖的实时处理
1.背景介绍 数据仓库和数据湖都是用于存储和管理大量数据的技术，它们在企业和组织中发挥着重要的作用。然而，随着数据的增长和复杂性，实时处理这些数据变得越来越重要。实时处理可以帮助企…
-
实战：利用Spark SQL进行数据报表和预测
1.背景介绍 Spark SQL是Apache Spark生态系统中的一个重要组件，它提供了一种类SQL的查询语言，可以方便地处理大规模的结构化数据。Spark SQL可以与Spa…
-
大数据毕设分享 基于大数据的b站数据分析
文章目录 0 数据分析目标 1 B站整体视频数据分析 1.1 数据预处理 1.2 数据可视化 1.3 分析结果 2 单一视频分析 2.1 数据预处理 2.2 数据清洗 2.3 数据…
-
实时Flink的数据库与Kafka集成优化案例
1.背景介绍 在现代数据处理系统中，实时数据处理和分析是至关重要的。Apache Flink是一个流处理框架，可以用于实时数据处理和分析。在许多场景下，Flink需要与数据库和Ka…
-
大数据Zookeeper–入门
文章目录 Zookeeper入门 概述 Zookeeper工作机制 特点 数据结构 应用场景 Zookeeper下载地址 Zookeeper本地安装 本地模式安装 安装前准备 配置…
-
Spark与Hadoop对比
目录 核心组件对比 适用场景对比 任务执行流程对比 SQL执行的流程对比 容错对比 核心组件对比 Hadoop：是一个分布式数据存储和计算框架。 HDFS（Hadoop Dist…
-
SparkStreaming—入门
文章目录 1.SparkStreaming简介 1.1 流处理和批处理 1.2 实时和离线 1.3 SparkStreaming是什么 1.4 SparkStreaming架构图 …
-
Elasticsearch与Hadoop和Spark的整合与大数据处理
1.背景介绍 1. 背景介绍 Elasticsearch是一个开源的搜索和分析引擎，基于Lucene库构建，具有实时搜索、文本分析、数据聚合等功能。Hadoop是一个开源的分布式存…
-
AI气象大模型最新总结 ! 揭秘智能天气预测的新纪元
引言： 全球目前主要使用的AI气象预测模型包括谷歌DeepMind的GraphCast、华为云的Pangu-Weather、清华大学和中国气象局的NowcastNet、阿里巴巴的S…
-
ERD助力研发资产沉淀&研发提效
一、从痛点中思考答案 痛点一：复杂系统的设计和逻辑碎片化散落，缺少沉淀导致系统后期维护、迭代以及架构升级都非常困难。 痛点二：由于新需求或新项目导致的系统的老旧逻辑梳理往往耗费大量…
-
Apache Doris 整合 FLINK CDC + Iceberg 构建实时湖仓一体的联邦查询
1概况 本文展示如何使用 Flink CDC + Iceberg + Doris 构建实时湖仓一体的联邦查询分析，Doris 1.1版本提供了Iceberg的支持，本文主要展示Do…
