大数据
-
Hive的几种排序方式、区别,使用场景
一、几种排序和区别 Hive 支持两种主要的排序方式:ORDER BY 和 SORT BY。除此之外,还有 DISTRIBUTE BY 和 CLUSTER BY 语句,它们也在排…
-
kafkak集群的安装部署
一、前期准备 1. 三台主机都需要安装好jdk 2. 三台主机都要配置好zookeeper 3. 准备好kafka压缩包 二、kafka集群的安装 1. 上传压缩包 2. 解压 …
-
关于Flink在一条计算管道中配置流和数据流通过广播方式合流的情形下,无保存点和检查点重跑时,让配置流先行,数据流等延迟几秒再进入合流节点的思考
1. 背景 笔者带领的团队在自研的大数据平台XSailboat 上进行专家策略规则的计算管道开发时,遇到这样一种情形: 计算管道中存在一条配置流和数据流通过广播方式合流的情形。配置…
-
数据标准化在人工智能与大数据领域的应用
1.背景介绍 数据标准化是指将数据集中的数据进行规范化处理,使其具有统一的格式和规则,从而使得数据更容易进行分析和处理。在人工智能和大数据领域,数据标准化的重要性不言而喻。随着数据…
-
【ES数据库】Elasticsearch安装使用
一、简介 Elasticsearch和MongoDB/Redis类似,是非关系型数据库,从索引文档到文档能被搜索到只有一个轻微的延迟,是采用Restful API标准的可扩展和高可…
-
mysql大数据高并发处理
一、数据库结构的设计 如果不能设计一个合理的数据库模型,不仅会增加客户端和服务器段程序的编程和维护的难度,而且将会影响系统实际运行的性能。所以,在一个系统开始实施之前,完备的数据库…
-
【大数据实训】基于Hadoop的2019年11月至2020年2月宁波天气数据分析(五)
博主介绍:✌全网粉丝6W+,csdn特邀作者、博客专家、Java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于大数据技术领域和毕业项目实战✌ &#…
-
集成Kafka:HBase与Kafka的集成和应用
1.背景介绍 在大数据时代,数据处理和分析的需求日益增长。为了更高效地处理和分析大量数据,许多企业和组织采用了分布式系统。HBase和Kafka是两个非常重要的分布式系统,它们在数…
-
【flink番外篇】14、Flink异步I/O访问外部数据示例
Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点,并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。…
-
数据仓库的数据仓库灾备与恢复:保证数据仓库的可用性和稳定性
1.背景介绍 数据仓库是企业中大量的历史数据的集中存储和管理系统,它的数据量巨大,数据更新频繁,对企业业务的稳定运行具有重要的支持作用。因此,保证数据仓库的可用性和稳定性是企业业务…
-
Flink之JDBC Sink
这里介绍一下Flink Sink中jdbc sink的使用方法,以mysql为例,这里代码分为两种,事务和非事务 非事务代码 import org.apache.flink.con…
-
躺平不可取,躺赢不可能,最好的时代躺平,是最差的生存策略
文章目录 如何进大数据梦想联盟,有啥好处? 前言 一、付费社区的好处 二、大数据梦想联盟的福利 1、学习打卡任务福利 1.1、高频面试题帖子打卡学习 1.2、学习技巧频道 1.3、…
-
【数据库】03——初级开发需要掌握哪些SQL语句
前 言 🍉 作者简介:半旧518,长跑型选手,立志坚持写10年博客,专注于java后端 ☕专栏简介:相当硬核,黑皮书《数据库系统概念》读书笔记,讲解: 1.数据库系…
-
Flink实时物联网数据处理
1.背景介绍 物联网(Internet of Things, IoT)是一种通过互联网将物体和物体、物体和人、人与人之间进行信息交换和传输的新兴技术。物联网的发展为各行业带来了巨大…
-
【Flink】ValidationException: Could not find any factory for identifier ‘jdbc‘ that implements ‘org.ap
在我们使用FlinkSQL客户端执行sql的时候,报下图错误: Flink SQL> CREATE TABLE test_input ( > id STRIN…
