flink
-
Flink 使用场景
Apache Flink 功能强大，支持开发和运行多种不同种类的应用程序。它的主要特性包括：批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。Flink 不仅…
-
CDC 数据入湖方案：Kafka Connect + Schema Registry + Avro ＞ Kafka ＞ Hudi ( Flink Connector )
本方案的技术链路为：使用 Kafka Connect 的 Debezium MySQL Source Connector 将 MySQL 的 CDC 数据 （Avro 格式）接入到…
-
Flink实时数仓同步：快照表实战详解
一、背景 在大数据领域，初始阶段业务数据通常被存储于关系型数据库，如MySQL。然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。这些…
-
Flink学习-时间和窗口
在流数据处理应用中，一个很重要、也很常见的操作就是窗口计算。所谓的“窗口”，一 般就是划定的一段时间范围，也就是“时间窗”；对在这范围内的数据进行处理，就是所谓的 窗口计算。所以窗…
-
Flink 流处理流程 API详解
流处理API的衍变 Storm：TopologyBuilder构建图的工具，然后往图中添加节点，指定节点与节点之间的有向边是什么。构建完成后就可以将这个图提交到远程的集群或者本地的…
-
Flink 1.18.1 部署与配置[CentOS7]
静态IP设置 # 修改网卡配置文件 vim /etc/sysconfig/network-scripts/ifcfg-ens33 # 修改文件内容 TYPE=Ethernet PR…
-
Flink调优与性能指标
1.背景介绍 Flink是一个流处理框架，用于处理大规模数据流。它可以处理实时数据流，并提供一系列的数据处理功能，如数据分组、窗口操作、连接操作等。Flink的性能是非常重要的，因…
-
Flink与ApacheKafka集成
1.背景介绍 在大数据领域，流处理和事件驱动架构已经成为关键技术。Apache Flink 和 Apache Kafka 是流处理和事件驱动架构的两个重要组件。Flink 是一个流…
-
Flink + Iceberg打造流批一体的数据湖架构
一、背景 1、数据仓库架构 从Hive表出仓到外部系统（ClickHouse、Presto、ES等）带来的复杂性和存储开发等额外代价，尽量减少这种场景出仓的必要性。…
-
实时Flink的基本数据结构与类型
1.背景介绍 在大数据处理领域，实时数据处理是一项至关重要的技术。Apache Flink是一个流处理框架，可以用于实时数据处理和分析。在Flink中，数据结构和类型是关键的组成部…
-
Flink CEP实现10秒内连续登录失败用户分析
1、什么是CEP？ Flink CEP即 Flink Complex Event Processing，是基于DataStream流式数据提供的一套复杂事件处理编程模型。你可以把他…
-
Flink中的流式Window和RollingWindow
1.背景介绍 在大数据处理领域，流式计算是一种实时处理数据的方法，它可以处理大量数据流，并在数据到达时进行实时分析和处理。Apache Flink是一个流式计算框架，它支持大规模数…
-
Apache NiFi and Apache Flink: A Deep Dive into RealTime Stream Processing
1.背景介绍 随着数据量的增长，实时数据处理变得越来越重要。实时流处理是一种处理大规模实时数据流的技术，它可以在数据到达时进行处理，而不是等待所有数据收集后进行批量处理。这种技术在…
-
Flink 内容分享(二十七)：Hadoop vs Spark vs Flink——大数据框架比较
大数据开发离不开各种框架，我们通过学习 Apache Hadoop、Spark 和 Flink 之间的特征比较，可以从侧面了解要学习的内容。众所周知，Hadoop vs Spark…
-
FlinkSQL对接MySQL CDC写入数据到Hive
环境搭配 想要针对公司集群环境学习一下Flink对接MySQL CDC写入Hive的方法，并对过程进行记录。公司环境为CDH 6.3.2搭建的集群，MySQL使用的是AWS RDS…
![Flink 1.18.1 部署与配置[CentOS7]](/img/b0/e06e1abfbca04bbf9c19452edeb41f08.png)
