大数据
-
hadoop集群搭建–启动hdfs时NameNode或DataNode或SecondaryNameNode启动失败解决方法
1、集群HDFS配置情况 node101:NameNode、DataNode node102:DataNode node103:SecondaryNameNode、DataNode…
-
大数据在金融行业的变革：风险管理与金融技术
1.背景介绍 大数据技术在过去的几年里已经成为金融行业中最热门的话题之一。随着数据的产生和收集量日益增加，金融机构需要更有效地利用这些数据来提高业务效率、降低风险和提高收益。在这篇…
-
《2023大数据产业年度趋势人物》榜重磅发布丨第六届金猿奖
第六届年度金猿榜单/奖项 “第六届年度金猿季策划活动——2023大数据产业年度趋势人物榜单/奖项”由金猿X数据猿X上海大数据联盟共同推出。 大数据产业创新服务媒体 ——聚焦数据…
-
浅谈Flink架构及拓扑图
文章目录 01 引言 02 Flink架构 03 Flink拓扑结构 3.1 Flink的四层执行图 3.2 执行图细节 3.3 更多 01 引言 声明：本文是博主阅读云邪（Jar…
-
大数据开发必备工具——Hadoop及整体架构介绍
Hadoop是一个由Apache软件基金会开发的开源Java软件框架，专为大数据处理设计，支持在大量计算机组成的集群上进行数据存储和分布式计算。它由几个关键的组件组成，其中最核心的…
-
使用Flink CDC从数据库采集数据，保证数据不丢失：实现断点续传机制
大数据技术在当前的数据分析和处理中扮演着重要的角色。Apache Flink作为一种快速、可靠的流处理引擎，在大规模数据处理中广受欢迎。本文将介绍如何使用Flink CDC（Cha…
-
大数据之Scala简介
大数据之Scala简介 一、Scala介绍 1、Scala语言特点 2、Scala和Java的关系 3、Scala的环境搭建 4、简单的Scala程序介绍 5、Scala的编译命令…
-
Flink CDC介绍
1.CDC概述 CDC（Change Data Capture）是一种用于捕获和处理数据源中的变化的技术。它允许实时地监视数据库或数据流中发生的数据变动，并将这些变动抽取出来，以便…
-
Hive数据仓库应用课后题及答案
《Hive数据仓库应用》课后习题 Hive简介 一、填空题 1．数据仓库的目的是构建面向分析的集成化数据环境。 2．Hive是基于Hadoop的一个数据仓库工具。 3．数据仓库分…
-
大数据Hadoop、HDFS、Hive、HBASE、Spark、Flume、Kafka、Storm、SparkStreaming这些概念你是否能理清？
1.Hadoop Hadoop是大数据开发的重要框架，是一个由Apache基金会所开发的分布式系统基础架构，其核心是HDFS和MapReduce，HDFS为海量的数据提供了存储，M…
-
计算机，软件工程，网络工程，大数据专业毕业设计选题有哪些（附源码获取途径）专注于Java技术领域和毕业项目实战
计算机，软件工程，网络工程，大数据专业毕业设计选题有哪些?（附源码获取） ✌全网粉丝20W+,csdn特邀作者、博客专家、CSDN新星计划导师、java领域优质创作者,博客之星、掘…
-
毕业设计：python租房数据分析可视化系统+爬虫+Flask框架 大数据（附源码）✅
博主介绍：✌全网粉丝10W+,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业毕业设计项目实战6年之久，选择我们就是选择放心、选择安心毕业✌感兴趣的可以先收藏起来…
-
Flink的处理函数——processFunction
目录 一、处理函数概述 二、Process函数分类——8个 （1）ProcessFunction （2）KeyedProcessFunction （3）Process…
-
Hadoop 安装教程 (Mac m1/m2版)
安装JDK1.8 这里最好是安装1.8版本的jdk 1. 进入官网Java Downloads | Oracle Hong Kong SAR, PRC,下滑到中间区域找到JDK8 …
-
Flink(Java版)学习
一、Flink流处理简介 1.Flink 是什么 2.为什么要用 Flink 3.流处理的发展和演变 4.Flink 的主要特点 5.Flink vs Spark Streamin…
