flink
-
Flink-容错机制
Flink中的容错机制 流式数据连续不断地到来，无休无止；所以流处理程序也是持续运行的，并没有一个明确的结束退出时间。机器运行程序，996 起来当然比人要容易得多，不过希望“永远运…
-
hudi介绍和使用
1.hudi的介绍 Hudi 是什么 Hudi（Hadoop Upserts Deletes and Incrementals缩写）：用于管理分布式文件系统DFS上大型分析数据集存…
-
相比于其他流处理技术，Flink的优点在哪？
Apache Flink 是一个开源的流处理框架，用于在高吞吐量和低延迟的情况下进行大规模数据流的处理。Flink 以其在流处理领域的性能而闻名，相比于其他流处理技术，Flink …
-
【flink番外篇】21、Flink 通过SQL client 和 table api注册catalog示例
Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。…
-
轻松通关Flink第34讲：Flink 和 Redis 整合以及 Redis Sink 实现
上一课时我们使用了 3 种方法进行了 PV 和 UV 的计算，分别是全窗口内存统计、使用分组和过期数据剔除、使用 BitMap / 布隆过滤器。到此为止我们已经讲了从数据清洗到水印…
-
Flink CDC数据同步
背景 随着信息化程度的不断提高，企业内部系统的数量和复杂度不断增加，因此，数据库系统的同步问题已成为越来越重要的问题。 缓存失效 在缓存中缓存的条目(entry)在源头被更改或者被…
-
流式计算框架比较：Apache Flink vs. Apache Stor
1.背景介绍 流式计算是一种处理大规模数据流的技术，它可以实时处理大量数据，并提供快速的分析和决策。在大数据时代，流式计算已经成为了一种重要的技术手段，它可以帮助企业更快地响应市场…
-
Flink 处理函数（1）—— 基本处理函数
在 Flink 的多层 API中，处理函数是最底层的API，是所有转换算子的一个概括性的表达，可以自定义处理逻辑 在处理函数中，我们直面的就是数据流中最基本的元素：数据事件（eve…
-
《十堂课学习 Flink》第三章：Flink SQL 环境搭建
本章内容包括安装和配置 Flink 环境；Flink 官方示例代码解读；使用 Flink SQL CLI 进行基本查询 以及 Flink SQL 连接外部数据源。所有内容均会以公开…
-
Flink提交jar出现错误RestHandlerException: No jobs included in application.
今天打包一个flink的maven工程为jar，通过flink webUI提交，发现居然报错。 如上图所示，提示错误为： Server Response Message: org….
-
Flink窗口API、窗口分配器和窗口函数
目录 1.Flink窗口API 1.1分为 按键分区（Keyed）和非按键分区（Non-Keyed） 1.1.1按键分区窗口（Keyed Windows） 1.1.2非按键分区（N…
-
【flink番外篇】15、Flink维表实战之6种实现方式-通过广播将维表数据传递到下游
Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。…
-
Flink的实时数据集成与ETL
1.背景介绍 1. 背景介绍 Apache Flink 是一个流处理框架，用于实时数据处理和分析。它支持大规模数据流处理，具有高吞吐量和低延迟。Flink 的 ETL(Extrac…
-
【flink番外篇】10、对有状态或及时 UDF 和自定义算子进行单元测试
Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。…
-
ElasticSearch与Apache Flink的集成
1.背景介绍 Elasticsearch和Apache Flink都是现代大数据处理技术的重要组成部分。Elasticsearch是一个分布式搜索和分析引擎，用于实时搜索、分析和可…
