flink
-
Flink问题解决及性能调优-【Flink根据不同场景状态后端使用调优】
Flink 实时groupby聚合场景操作时，由于使用的是rocksdb状态后端，发现CPU的高负载卡在rocksdb的读写上，导致上游算子背压特别大。通过调优使用hashmap状…
-
Flink-【时间语义、窗口、水位线】
1. 时间语义 1.1 事件时间：数据产生的事件（机器时间）； 1.2 处理时间：数据处理的时间（系统时间）。 🌰：可乐 可乐的生产日期 = 事件时间（可乐产生的时…
-
Apache Flink连载（二十）：Flink On Yarn运行 – Yarn Per-Job模式（弃用）
? 个人主页：IT贫道-CSDN博客 ? 私聊博主：私聊博主加WX好友，获取更多资料哦~ ? 博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频…
-
flink k8s sink到kafka报错 Failed to get metadata for topics
可能出现的3种报错 — 报错1 Failed to get metadata for topics […]. org.apache.kafka.common.errors.T…
-
【Flink-1.17-教程】-【一】Flink概述、Flink快速入门
【Flink-1.17-教程】-【一】Flink概述、Flink快速入门 1）Flink 是什么 1.1.有界流和无界流 1.2.Flink 的发展史 2）Flink 特点 3）F…
-
搭建Flink集群、集群HA高可用以及配置历史服务器
Flink集群搭建 Flink集群搭建 集群规划 下载并解压安装包 修改集群配置 分发安装目录 启动集群 访问Web UI Flink集群HA高可用 概述 集群规划 配置flink…
-
关于Flink在一条计算管道中配置流和数据流通过广播方式合流的情形下，无保存点和检查点重跑时，让配置流先行，数据流等延迟几秒再进入合流节点的思考
1. 背景 笔者带领的团队在自研的大数据平台XSailboat 上进行专家策略规则的计算管道开发时，遇到这样一种情形： 计算管道中存在一条配置流和数据流通过广播方式合流的情形。配置…
-
【flink番外篇】14、Flink异步I/O访问外部数据示例
Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。…
-
Flink之JDBC Sink
这里介绍一下Flink Sink中jdbc sink的使用方法,以mysql为例,这里代码分为两种,事务和非事务 非事务代码 import org.apache.flink.con…
-
Flink实时物联网数据处理
1.背景介绍 物联网(Internet of Things, IoT)是一种通过互联网将物体和物体、物体和人、人与人之间进行信息交换和传输的新兴技术。物联网的发展为各行业带来了巨大…
-
【Flink】ValidationException: Could not find any factory for identifier ‘jdbc‘ that implements ‘org.ap
在我们使用FlinkSQL客户端执行sql的时候，报下图错误： Flink SQL> CREATE TABLE test_input ( > id STRIN…
-
Streamlining Your Data Pipeline with Databricks and Apache Flink
1.背景介绍 大数据技术在过去的几年里发展迅速，成为了企业和组织中不可或缺的一部分。随着数据的规模和复杂性的增加，传统的数据处理技术已经无法满足需求。为了解决这个问题，我们需要一种…
-
flink内存管理（二）：MemorySegment的设计与实现:（1）架构、（2）管理堆内/外内存、（3）写入/读取内存、（4）垃圾清理器
文章目录 一. MemorySegment架构概览 二. MemorySegment详解 1.基于MemorySegment管理堆内存 2.基于MemorySegment管理堆外内…
-
【Flink-1.17-教程】-【二】Flink 集群搭建、Flink 部署、Flink 运行模式
【Flink-1.17-教程】-【二】Flink 集群搭建、Flink 部署、Flink 运行模式 1）集群角色 2）Flink 集群搭建 2.1.集群启动 2.2.向集群提交作业…
-
Flink 任务指标监控
目录 状态监控指标 JobManager 指标 TaskManager 指标 Job 指标 资源监控指标 数据流监控指标 任务监控指标 网络监控指标 容错监控指标 数据源监控指标 …
