flink
-
Flink状态编程之按键分区状态
简介 在实际应用中，我们一般都需要将数据按照某个 key 进行分区，然后再进行计算处理；所 以最为常见的状态类型就是 Keyed State。之前介绍到 keyBy 之后的聚合、窗…
-
Flink window 源码分析4：WindowState
本文源码为flink 1.18.0版本。 其他相关文章： Flink window 源码分析1：窗口整体执行流程 Flink window 源码分析2：Window 的主要组件 F…
-
flink cdc数据同步，DataStream方式和SQL方式的简单使用
目录 一、flink cdc介绍 1、什么是flink cdc 2、flink cdc能用来做什么 3、flink cdc的优点 二、flink cdc基础使用 1、使用flink…
-
【flink番外篇】15、Flink维表实战之6种实现方式-维表来源于第三方数据源
Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。…
-
Flink｜《Flink 官方文档 – 部署 – 内存配置 – 网络缓冲调优》学习笔记
学习文档：《Flink 官方文档 – 部署 – 内存配置 – 网络缓冲调优》 学习笔记如下： 概述 Flink 中每条消息都会被放到网络缓冲（n…
-
Flink编程——最小程序MiniProgram
Flink最小程序MiniProgram 前面我们已经搭建起了Flink 的基础环境，这一节我们就在上一节的基础上，进行编写我们的第一个Flink 程序，开始之前我们先看一下一个完…
-
数据挖掘的开源项目与社区：从Scikitlearn到Apache Flink
1.背景介绍 数据挖掘是指通过对大量数据进行挖掘和分析，从中发现隐藏的模式、规律和知识的过程。随着数据的增长和复杂性，数据挖掘技术也不断发展和进步。开源项目和社区在这一领域发挥着重…
-
FlinkCDC数据实时同步Mysql到ES
考大家一个问题，如果想要把数据库的数据同步到别的地方,比如es,mongodb,大家会采用哪些方案呢？ ::: 定时扫描同步？ 实时日志同步? 定时同步是一个很好的方案，比较简单，…
-
【已解决】Flink连接JDBC报错 org.apache.flink.runtime.client.JobExecutionException: Job execution failed.
Caused by: org.apache.flink.runtime.JobException: Recovery is suppressed by NoRestartBacko…
-
Flink CDC-Oracle CDC配置及DataStream API实现代码…可实现监控采集一个数据库的多个表
文章目录 Oracle CDC配置（Non-CDB database） 第一步: 开启归档日志 第二步: 创建Tablespace表空间 第三步: 创建用户并授予相应权限 Orac…
-
[AIGC大数据基础] Flink: 大数据流处理的未来
Flink 是一个分布式流处理引擎，它被广泛应用于大数据领域，具有高效、可扩展和容错的特性。它是由 Apache 软件基金会开发和维护的开源项目，并且在业界中受到了广泛认可和使用。…
-
docker 搭建 flink 并上传任务
文章目录 一、docker 搭建 flink 1、选择合适的 flink 版本 2、重新创建 JobManager、TaskManager 容器并挂载配置文件 二、flink 简单…
-
CDH 6.3.2集成flink 1.18 zookeeper版本不匹配Flink-yarn启动失败
CDH 6.3.2集成flink 1.18 zookeeper版本不匹配Flink-yarn不能正常启动，而在CHD Web页面，flink日志报错提示不明确，不能定位具体错误。C…
-
Exception in thread “main“ org.apache.flink.runtime.client.JobExecutionException: Job execution fail
文章目录 问题描述： 原因分析： 解决方案： 问题描述： 在使用Flink进行流式处理时，我连接的数据流是Socket，运行一段时间出现如下问题 Exception in thre…
-
Flink 数据序列化
为 Flink 量身定制的序列化框架 大家都知道现在大数据生态非常火，大多数技术组件都是运行在JVM上的，Flink也是运行在JVM上，基于JVM的数据分析引擎都需要将大量的数据存…
