flink
-
Flink Checkpoint 超时问题详解
第一种、计算量大，CPU密集性，导致TM内线程一直在processElement，而没有时间做CP【过滤掉部分数据；增大并行度】 代表性作业为算法指标-用户偏好的计算，需要对用户在…
-
Flink-SQL 写入PostgreSQL 问题汇总
1.主键字段为空问题 错误信息 org.apache.flink.table.api.TableException: Column ‘bus_no’ is NOT NULL, …
-
Flink的可读性与可维护性
1.背景介绍 Flink是一个流处理框架，用于实时数据处理和分析。它具有高吞吐量、低延迟和强大的状态管理功能。Flink的可读性和可维护性是其在实际应用中的关键特点。在本文中，我们…
-
Flink往Starrocks写数据报错：too many filtered rows
Bug信息 Caused by: com.starrocks.data.load.stream.exception.StreamLoadFailException: { “TxnI…
-
Flink与ApacheAirflow集成
1.背景介绍 在大数据处理领域，流处理和批处理是两个非常重要的领域。Apache Flink 是一个流处理框架，Apache Airflow 是一个工作流管理器。在实际应用中，我们…
-
【源码分析】一个flink job的sql到底是如何执行的（一）：flink sql底层是如何调用connector实现物理执行计划的
文章目录 一. 一条flink sql 二. 源码流程图示 1. flink connector的实现逻辑 2. flink sql的转换逻辑 三、flink sql 调用conn…
-
Flink应用实时数据质量检查
1.背景介绍 随着大数据时代的到来，实时数据处理和分析变得越来越重要。Apache Flink是一个流处理框架，用于处理大规模实时数据。在大数据处理中，数据质量是关键因素，影响了数…
-
Flink的高可用性与容量扩展
1.背景介绍 Flink是一个流处理框架，用于实时数据处理和分析。它具有高吞吐量、低延迟和强大的状态管理功能。Flink的高可用性和容量扩展是其在大规模生产环境中的关键特性。在本文…
-
Flink的MySQL集成与应用
1.背景介绍 在大数据时代，数据处理和分析的需求日益增长。为了更高效地处理和分析大量数据，许多大数据处理框架和工具已经诞生。Apache Flink是一种流处理框架，它可以处理实时…
-
记一次模糊查询踩坑 Flink+ES
模糊查询优化 Flink+ES 公司需要对商品名称进行模糊模糊查询，考虑到商品表存量数据千万级，直接数据库模糊查询效率肯定极其低下，所以选择使用ElasticSearch对商品信息…
-
Flink CDC报The connector is trying to read binlog starting at xxx but this is no longer available问题解决
背景 问题是笔者最近在使用FlinkCDC2.3.0捕获MySQL binlog日志时遇到的，MySQL使用的阿里云的RDS，MysqlCDC使用读账号以Initinal模式，任务…
-
【Flink】 ClassNotFoundException: com.ververica.cdc.debezium.utils.ResolvedSchemaUtils
在FlinkSQL客户端中执行FlinkCDC，使用mysql连接的时候，报如下问题（Flink版本1.13.6）： Flink SQL> CREATE TABLE demo…
-
ClickHouse 与 Flink 整合：流处理与时间序列分析
1.背景介绍 时间序列数据是指以时间为维度、数值为值的数据，是目前互联网、物联网、金融、制造业等各个领域中最为重要的数据类型之一。随着大数据技术的发展，时间序列数据的存储、查询、分…
-
基于scala使用flink将kafka数据写入mysql示例
使用Flink消费Kafka中ChangeRecord主题的数据，统计每三分钟各设备状态为“预警”且未处理的数据总数。将结果存入MySQL的shtd_industry.threem…
-
Flink 内容分享(八)：Flink CDC的概览和使用
目录 什么是CDC 什么是Flink CDC Flink CDC 前生今世 Flink CDC 1.x Flink CDC 2.x Flink CDC 3.x Flink CDC使…
