Flink｜《Flink 官方文档》学习笔记目录

Try Flink：本地模式安装；基于 DataStream API 实现欺诈检测；基于 Table API 实现实时报表；Flink 操作场景
实践练习：概览；DataStream API 简介；数据管道 & ETL；流式分析；事件驱动应用；容错管理
概念透析：概览；有状态流处理；及时流处理；Flink 架构；词汇表
应用开发
- 项目配置：概览；使用 Maven；使用 Gradle；连接器和格式；测试的依赖项；高级配置
- DataStream API
  - 概览
  - 执行模式（流 / 批）
  - 事件时间：生成 Watermark；内置 Watermark 生成器
  - 用户自定义 Functions
  - 状态与容错：Working with State；Broadcast State 模式；Checkpointing；[State Backends](Flink｜《Flink 官方文档 – DataStream API – 状态与容错 – State Backends》学习笔记)；数据类型以及序列化（概览，状态数据结构升级，Custom State Serialization，自定义序列化器）
  - 算子：概览；窗口；Joining；Process Function；异步 I/O
  - 数据源
  - 旁路输出
  - Handling Application Parameters
  - 测试
  - 实验功能
  - Scala API 扩展
  - Java Lambda Expressions
  - 管理执行：执行配置；程序打包；并行执行
  - How to Migrate from DataSet to DataStream
- Table API & SQL
  - 概览
  - 概念与通用 API
  - DataStream API Integration
  - 流式概念：流式概念；动态表；流上的确定性；时间属性；时态表；Temporal Table Function
  - 流式聚合
  - 数据类型
  - 时区
  - Table API
  - SQL：概览；入门；Queries 查询；CREATE 语句；DROP 语句；ALTER 语句；INSERT 语句；ANALYZE 语句；DESCRIBE 语句；TRUNCATE 语句；EXPLAIN 语句；USE 语句；SHOW 语句；LOAD 语句；UNLOAD 语句；SET 语句；RESET 语句；JAR 语句；JOB 语句；UPDATE 语句；DELETE 语句；CALL 语句
  - 函数：函数；系统（内置）函数；自定义函数
  - 存储过程
  - 模块
  - Catalogs
  - SQL JDBC Driver
  - SQL 客户端
  - SQL Gateway：概览；REST Endpoint；HiveServer2 Endpoint
  - Hive 兼容性
    - Hive 方言
      - Queries（Overview，Sort / Cluster / Distributed By，Group By，Join，Set Operations，Lateral View Clause，Window Functions，Sub-Queries，CTE，Transform Clause，Table Sample）；概览；CREATE Statements；DROP Statements；ALTER Statements；INSERT Statements；Load Data Statements；SHOW Statements；ADD Statements；SET Statements
    - HiveServer2 Endpoint
  - 配置
  - User-defined Sources & Sinks
- Python API
  - 概览 + 环境安装 + 调试 + 环境变量 + 常见问题
  - Table API 教程
  - DataStream API 教程
  - Table API：Python Table API 简介；TableEnvironment；Operators（OverView，Row-based Operations）；数据类型；系统内置函数；自定义函数（概览，普通自定义函数，向量化自定义函数）；PyFlink Table 和 Pandas DataFrame 互转；SQL；Catalogs；指标；连接器
  - DataStream API：Python DataStream API 简介；Operators（Overview，Windows，Process Function）；Data Types；State
  - 依赖管理
  - 执行模式
  - 配置
Libraries：事件处理；State Processor API
Connectors
- DataStream Connectors：概览；Formats（Overview，Avro，Azure Table Storage，CSV，Hadoop，JSON，Parquet，Text files）；容错保证；DataGen；Kafka；Cassandra；DynamoDB；Elasticsearch；Firehose；Kinesis；MongoDB；Opensearch；文件系统；RabbitMQ；Google Cloud PubSub；Hybrid Source；Pulsar；JDBC
- Table API Connectors：概览；Formats（Formats，CSV，JSON，Avro，Confluent Avro，Protobuf，Debezium，Canal，Maxwell，Ogg，Parquet，Orc，Raw）；Kafka；Upsert Kafka；DynamoDB；Firehose；Kinesis；MongoDB；JDBC；Elasticserach；Openserach；文件系统；HBase；DataGen；Print；BlackHole；Hive（Overview，Hive Catalog，Hive Read & Write，Hive Functions）；下载页面
Deployment
- 概览
- Javba Compatibility
- Resource Providers：Standalone（概览，Working Directory，Docker，Kubernetes 设置）；Native Kubernetes；YARN
- 配置参数
- 内存配置：配置 Flink 进程的内存；配置 TaskManager 内存；配置 JobManager 内存；调优指南 + 常见问题；升级指南；网络缓冲调优
- 弹性扩缩容
- 命令行界面
- 细粒度资源管理
- 预测执行
- File Systems：通用配置；文件系统；Amazon S3；Google Cloud Storage；阿里云 OSS；Azure Blob 存储；Plugins
- 高可用：概览；ZooKeeper 高可用服务；Kubernetes 高可用服务
- Metric Reporters
- Security：SSL 配置；Kerberos；Delegation tokens
- REPLs：Python REPL
- Advanced：扩展资源；History Server；日志；Failure Enrichers
Operations
- 状态与容错：Checkpoints + Checkpointing under backpressure；Savepoints + Checkpoints 与 Savepoints；State Backends；大状态与 Checkpoint 调优；Task 故障恢复
- 指标
- REST API
- Batch：Batch Shuffle
- Debugging：调试窗口与事件时间 + 调试类加载 + 火焰图 + 应用程序分析与调试
- Monitoring：监控 Checkpoint + 监控反压
- 升级应用程序和 Flink 版本
- 生产就绪情况核对清单
Flink 开发：导入 Flink 到 IDE 中；从源码构建 Flink
内幕：作业调度；Task 生命周期；文件系统