大数据
-
Flink进阶篇-CDC 原理、实践和优化&采集到Doris中
简介 基于doris官方用doris构建实时仓库的思路，从flinkcdc到doris实时数仓的实践。 原文 Apache Flink X Apache Doris 构建极速易用…
-
深入解析java.lang.IllegalStateException异常
异常概述 什么是异常 异常是程序在执行过程中遇到的错误或异常情况。在Java中，异常是指在程序运行期间发生的错误，它可以打破程序的正常流程，并且可能导致程序终止。 异常的分类 异常…
-
Elasticsearch之聚合查询介绍与使用（附RestAPI代码案例）
前言：大家好，我是小威，24届毕业生，在一家满意的公司实习。本篇文章将介绍Elasticsearch搜索引擎之聚合查询的介绍与使用，这块内容不作为面试中的重点。 如果文章有什么需要…
-
Hadoop的任务调度与资源管理
1.背景介绍 Hadoop是一个分布式文件系统和分布式计算框架，由Google的MapReduce和Google File System(GFS)技术启发。Hadoop的核心组件有…
-
Flink进阶篇-CDC 原理、实践和优化&采集到Doris中
简介 基于doris官方用doris构建实时仓库的思路，从flinkcdc到doris实时数仓的实践。 原文 Apache Flink X Apache Doris 构建极速易用…
-
ES-聚合查询
1. 概念 聚合（aggs）不同于普通查询，是目前学到的第二种大的查询分类，第一种即“query”，因此在代码中的第一层嵌套由“query”变为了“aggs”。用于进行聚合的字段必…
-
Hive 的 UDF 函数（Python 版本）
Hive 的 UDF 函数（Python 版本） 一、UDF 是什么 Hive 中支持很多的函数，可以极大的方便我们的工作。但是系统内置的函数虽然很多，却不能满足我们所有的需求。在…
-
Hadoop分布式集群安装
上一篇大数据文章讲解了在单机上搭建Hadoop-Yarn 伪分布式集群的安装方法，方便大家学习，真实环境不可能只有一台机器，肯定是多节点的集群，大单位还会建设很多H…
-
Log4j2 配置日志记录发送到 kafka 中
前言 log4j2 在 2.11.0 之后的版本，已经内置了 KafkaAppender 支持可以将打印的日志直接发送到 kafka 中，在这之前如果想要集中收集应用的日志，就需要…
-
【大数据】Flink 架构（一）：系统架构
《Flink 架构》系列（已完结），共包含以下 6 篇文章： Flink 架构（一）：系统架构 Flink 架构（二）：数据传输 Flink 架构（三）：事件时间处理 Flink …
-
信息论与大数据：挖掘大数据中的价值
1.背景介绍 大数据是当今信息时代的一个重要话题，它指的是由于互联网、通信技术、计算机技术等的发展，使得数据量大、高速增长、不断变化的数据集。大数据的特点是五个V：量、速度、变化、…
-
数据资产入表，这泼天的富贵大数据团队怎样才能接住？
“ 大数据团队是成本中心还是价值中心？ 数据资产入表，国家是怎么说的？ 数据平台应具备哪些能力，才能助力企业最大化数据资产价值？” 2022年12月，国务院发文关于发挥数据要素作…
-
大数据前馈神经网络解密：深入理解人工智能的基石
文章目录 大数据前馈神经网络解密：深入理解人工智能的基石 一、前馈神经网络概述 什么是前馈神经网络 前馈神经网络的工作原理 应用场景及优缺点 二、前馈神经网络的基本结构 输入层、隐…
-
【spark】
一、Spark是什么 Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 Spark是基于Scala语言开发的。 整个Spark框架模块包含：Spark Core、…
-
Flink、Yarn架构，以Flink on Yarn部署原理详解
Flink、Yarn架构，以Flink on Yarn部署原理详解 Flink 架构概览 Apache Flink是一个开源的分布式流处理框架，它可以处理实时数据流和批处理数据。F…
