大数据
-
Flink问题解决及性能调优-【Flink根据不同场景状态后端使用调优】
Flink 实时groupby聚合场景操作时,由于使用的是rocksdb状态后端,发现CPU的高负载卡在rocksdb的读写上,导致上游算子背压特别大。通过调优使用hashmap状…
-
Flink-【时间语义、窗口、水位线】
1. 时间语义 1.1 事件时间:数据产生的事件(机器时间); 1.2 处理时间:数据处理的时间(系统时间)。 🌰:可乐 可乐的生产日期 = 事件时间(可乐产生的时…
-
Kafka生产者示例:发送JSON数据到Kafka Topic
Kafka生产者示例:发送JSON数据到Kafka Topic Kafka是一个高性能、分布式的流处理平台,广泛应用于大数据领域。本文将深入浅出地介绍如何使用Kafka生产者发送J…
-
漫谈大数据 – 如何设计业务埋点方案与数据采集应用
业务埋点和数据分析是在用户行为和业务数据上进行跟踪、收集和分析的关键方法,用于了解用户行为模式、改进产品和服务,并做出数据驱动的决策。 全文1.5万…
-
利用Spark构建房价分析与推荐系统:基于58同城数据的大数据实践
利用Spark构建房价分析与推荐系统:基于58同城数据的大数据实践 基于Spark的房价数据分析预测推荐系统 引言 技术栈 功能概述 项目实现 1. 数据爬取与处理 2. 大数据分…
-
Apache Flink连载(二十):Flink On Yarn运行 – Yarn Per-Job模式(弃用)
? 个人主页:IT贫道-CSDN博客 ? 私聊博主:私聊博主加WX好友,获取更多资料哦~ ? 博主个人B栈地址:豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频…
-
大数据与深度挖掘:如何在数字营销中与研究互动
数字营销最吸引人的部分之一是对数据的内在关注。 如果一种策略往往有积极的数据,那么它就更容易采用。同样,如果一种策略尚未得到证实,则很难获得支持进行测试。 数字营销人员建立数据信心…
-
【Flink-1.17-教程】-【一】Flink概述、Flink快速入门
【Flink-1.17-教程】-【一】Flink概述、Flink快速入门 1)Flink 是什么 1.1.有界流和无界流 1.2.Flink 的发展史 2)Flink 特点 3)F…
-
搭建Flink集群、集群HA高可用以及配置历史服务器
Flink集群搭建 Flink集群搭建 集群规划 下载并解压安装包 修改集群配置 分发安装目录 启动集群 访问Web UI Flink集群HA高可用 概述 集群规划 配置flink…
-
【大数据】Hive入门➕安装(尚硅谷大数据Hive 3.1.3教程)
目录 前言 一、Hive入门 1.1. Hive本质 1.2. Hive架构原理 二、Hive3.1.3安装 1. 最小化安装部署(仅适合学习测试) 2. 安装MySQL 3. 卸…
-
金融时间序列分析:Python基于garch模型预测上证指数波动率、计算var和var穿透率、双尾检验
目录 一、收益率波动效应的分析 1.1 收益率序列平稳性检验 1.2 建立AR(p)模型 1.3 Ljung-Box混成检验残差序列的相关性,判断是否有ARCH效应 1.4 建立…
-
30个有发展前景的创业项目
30个有发展前景的创业项目 创业项目指创业者为了达到商业目的具体实施和操作的工作。以下是小编整理的30个有发展前景的创业项目,仅供参考,大家一起来看看吧。 30个有发展前景…
-
大数据存储系统HDFS和对象存储(OOS/S3)的比较
虽然Apache Hadoop以前都是使用HDFS的,但是当Hadoop的文件系统的需求产生时候也能使用S3。Netflix的 Hadoop data warehouse 利用…
-
【数据仓库与联机分析处理】多维数据模型
目录 一、数据立方体 二、数据模型 (一)星形模型 (二)雪花模式 (三)事实星座模式 三、多维数据模型中的OLAP操作 (一)下钻 (二)上卷 (三)切片 (四)切块 (五)转轴…
-
Spark与 Mesos集成
1.背景介绍 Spark与 Mesos 集成是一种高效的大数据处理方案,它可以充分利用 Mesos 的资源调度能力,以及 Spark 的高性能计算能力。这种集成方案可以实现大数据应…
