大数据
-
基于DataHub元数据血缘管理实施方案
目录 1. 元数据管理实施方案总览 2. 元数据分类 2.1 技术元数据 2.2 业务元数据 3. 元数据标签体系 基础标签 数仓标签 业务标签 潜在标签 4. 表元数据 4…
-
KAFKA监控方法以及核心指标
文章目录 1. 监控指标采集 1.1 部署kafka_exporter 1.2 prometheus采集kafka_exporter的暴露指标 1.3 promethues配置告警…
-
大数据知识图谱之深度学习——基于BERT+LSTM+CRF深度学习识别模型医疗知识图谱问答可视化系统
文章目录 大数据知识图谱之深度学习——基于BERT+LSTM+CRF深度学习识别模型医疗知识图谱问答可视化系统 一、项目概述 二、系统实现基本流程 三、项目工具所用的版本号 四、所…
-
【愚公系列】2024年02月 大数据教学课程 017-Hadoop环境配置
🏆 作者简介,愚公搬代码 🏆《头衔》:华为云特约编辑,华为云云享专家,华为开发者专家,华为产品云测专家,CSDN博客专家,CSDN商业化专家,阿里云…
-
【愚公系列】2024年02月 大数据教学课程 016-Hadoop预备知识
🏆 作者简介,愚公搬代码 🏆《头衔》:华为云特约编辑,华为云云享专家,华为开发者专家,华为产品云测专家,CSDN博客专家,CSDN商业化专家,阿里云…
-
幻兽帕鲁能在Mac上运行吗?幻兽帕鲁Palworld新手攻略
幻兽帕鲁能在Mac上运行吗? 《幻兽帕鲁》目前还未正式登陆Mac平台,不过通过一些方法是可以让游戏在该平台运行的。 虽然游戏不能在最高配置下运行,但如果你安装了CrossOver这…
-
Flink实时数仓同步:快照表实战详解
一、背景 在大数据领域,初始阶段业务数据通常被存储于关系型数据库,如MySQL。然而,为满足日常分析和报表等需求,大数据平台采用多种同步方式,以适应这些业务数据的不同存储需求。这些…
-
架构设计内容分享(六十五):30Wqps+闲鱼优惠中台,如何架构的?
目录 优惠券业务的场景分析 海量用户场景问题与挑战 闲鱼的个性化优惠中台的技术演进 阶段1:分解优惠的基本要素,实现优惠的基本表达和计算 阶段2:对优惠对象的判定过程进行抽象和加速…
-
猿创征文|Hadoop大数据技术综合实验
综合实验:网站访问日志采集、处理及分析 概述 监控日志文件 日志数据预处理 日志数据分析与统计 日志数据可视化 概述 当前互联网应用中,万维网(World Wide Web)应用占…
-
Flink学习-时间和窗口
在流数据处理应用中,一个很重要、也很常见的操作就是窗口计算。所谓的“窗口”,一 般就是划定的一段时间范围,也就是“时间窗”;对在这范围内的数据进行处理,就是所谓的 窗口计算。所以窗…
-
HiveSQL题——用户连续登陆
目录 一、连续登陆 1.1 连续登陆3天以上的用户 0 问题描述 1 数据准备 2 数据分析 3 小结 1.2 每个用户历史至今连续登录的最大天数 0 问题描述 1 数据准备 2 …
-
Flink 流处理流程 API详解
流处理API的衍变 Storm:TopologyBuilder构建图的工具,然后往图中添加节点,指定节点与节点之间的有向边是什么。构建完成后就可以将这个图提交到远程的集群或者本地的…
-
深度解析Elasticsearch索引数据量过大的优化与部署策略
目录 引言 1. 分片和副本策略 1.1分片策略 1.1.1 数据量 1.1.2 查询和写入负载 1.1.3 硬件资源 1.1.4 高可用性 1.2.副本策略 1.2…
-
大数据社交网络分析:从数据挖掘到图像识别
1.背景介绍 在当今的互联网时代,社交网络已经成为了人们交流、工作、娱乐的重要平台。随着社交网络的不断发展,大量的用户数据被产生,这些数据包括用户的个人信息、互动记录、内容分享等。…
-
HBase的数据安全性优化
1.背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统,基于Google的Bigtable设计。它是Hadoop生态系统的一部分,可以与HDFS、MapReduce、Z…
