flink 读取文件数据写入ElasticSearch

• 大数据

前言

es是大数据存储的必备中间件之一，通过flink可以读取来自日志文件，kafka等外部数据源的数据，然后写入到es中，本篇将通过实例演示下完整的操作过程；

一、前置准备

1、提前搭建并开启es服务（本文使用docker搭建的es7.6的服务）；

flink 读取文件数据写入ElasticSearch

2、提前搭建并开启kibana服务（便于操作es的索引数据）；

flink 读取文件数据写入ElasticSearch

3、提前创建一个测试用的索引

PUT test_index

注意点：

使用docker搭建的es，可能会出现创建完毕索引后，插入数据报错的问题，即提示无操作权限的问题，如果出现这个问题，请执行下面的这段，否则在运行flink代码的时候也会报错；

PUT _settings
{
  "index": {
    "blocks": {
      "read_only_allow_delete": "false"
    }

本文来自网络，不代表协通编程立场，如若转载，请注明出处：https://www.net2asp.com/412b719eed.html

赞 (0)
« 上一篇 1天前
下一篇 » 1天前

相关推荐