大数据
-
The Future of Big Data Processing: Apache NiFi and Beyon
1.背景介绍 大数据处理是现代科技世界中最热门的话题之一。随着互联网的普及和数字化的推进，数据的产生和存储量不断增加，这导致了传统数据处理方法不能满足需求的问题。为了解决这个问题，…
-
如何部署WebSpoon9.0.0(Kettle的Web版本)
前言 Kettle 是小有名气的开源ETL工具，现已改名为PDI（Pentaho Data Integration），其Web版本为：WebSpoon，本文记录了从官方Git仓库中…
-
HBase的数据库容量规划与优化
1.背景介绍 HBase的数据库容量规划与优化 1. 背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系…
-
【FLink】水位线（Watermark）
目录 1、关于时间语义 1.1事件时间 1.2处理时间编辑 2、什么是水位线 2.1 顺序流和乱序流 2.2乱序数据的处理 2.3 水位线的特性 3 、水位线的生成 3.1 生成…
-
智能城市与大数据：如何提高城市的综合治理能力
1.背景介绍 随着人类社会的发展，城市化进程加速，人口密度不断增加，城市规模不断扩大。这导致了城市面临的各种挑战，如交通拥堵、环境污染、资源不足、安全隐患等。为了应对这些问题，人工…
-
Rabbit R1是一款AI驱动的小工具，可以代替你使用应用程序
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析…
-
elasticsearch无法访问9200端口
近期部署elasticsearch后，启动时发现一直报如下错误: curl: (7) Failed connect to localhost:9200； Conne…
-
【大数据】Spark及SparkSQL数据倾斜现象和解决思路
数据倾斜 分类 join 其中一个表数据量小，key比较集中 分发到某一个或几个reduce的数据远高于平均值 大表与小表，空值过多 这些空值都由一个reduce处理，处理慢 gr…
-
56、Flink 的Data Source 原理介绍
Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。…
-
大数据有哪些常见的数据类型？
大数据包含各种不同类型的数据，以下是一些常见的大数据数据类型： 1.结构化数据： 结构化数据是以表格、行和列的形式组织的数据，通常存储在关系型数据库中。这些数据具…
-
【大数据】Flink 详解（八）：SQL 篇 Ⅰ（Flink SQL）
《Flink 详解》系列（已完结），共包含以下 10 10 10 篇文章： 【大数据】Flink 详解（一）：基础篇（架构、并行度、算子） 【大数据】Flink 详解（二）：核心篇…
-
【大数据】Presto（Trino）SQL 语法进阶
文章目录 一、概述 二、环境准备 三、Trino 系统库表的讲解 1）information_schema 2）jdbc 3）metadata 4）runtime（重点） 四、Tr…
-
Hadoop 存储占用分析命令，查看 Hdfs 文件夹占用大小
兼职公司 Hadoop 运维之后，经常要解决 Hdfs 空间占用的问题，不知道哪天谁又在集群上留下一大堆缓存文件也不清掉，Hadoop 本身默认就是三副本，人一多每个人留一点结果占…
-
实时Flink的异常处理与故障恢复
1.背景介绍 在大数据处理领域，实时流处理是一项至关重要的技术，能够实时处理大量数据，提高数据处理效率。Apache Flink是一个流处理框架，具有高性能、低延迟和容错性等优点。…
-
新一代大数据管家 DataSophon 1.2 重磅发版
在大数据领域，现在普遍认为是后 Hadoop 时代，CDH 的停更和闭源导致传统的 Hadoop 体系组件栈没有一个称手好用的管理工具，越来越多新一代的大数据项目也在层出不穷, 同…
