大数据
-
Hadoop学习总结（MapReduce的数据去重）
现在假设有两个数据文件 file1.txt file2.txt 2018-3-1 a 2018-3-2 b 2018-3-3 c 2018-3-4 d 2018-3-5…
-
Python语言连接访问Kerberos认证下的HA HDFS
「目的描述」 此篇文章目的是使用Python语言对启用Kerberos、High Availability的HDFS文件系统进行访问，主要介绍KerberosClient、pyar…
-
Flink 写入 Doris
环境 Doris ：doris-2.0.0-alpha1-Unknown Flink : 1.14.3 Flink-doris-connector ：org.apache.dori…
-
Hadoop系统应用之MapReduce相关操作【IDEA版】—经典案例“倒排索引、数据去重、TopN”
倒排索引 一、实验说明 倒排索引是文档检索系统中最常用的数据结构，被广泛应用于全文搜索引擎。倒排索引主要用来存储某个单词（或词组）在一组文档中的存储位置的映射，提供了可以根据内…
-
Java农业大数据养猪平台管理系统(开题+源码)
本系统（程序+源码）带文档lw万字以上 文末可获取一份本项目的java源码和数据库参考。 系统程序文件列表 开题报告内容 研究背景： 随着科技的发展，大数据技术已经逐渐渗透到各个行…
-
Flink—14、Flink SQL（SQL-Client准备、流处理中的表、时间属性、DDL）
星光下的赶路人star的个人主页 你生而真实，而非完美 文章目录 1、Flink SQL …
-
对比flink cdc和canal获取mysql binlog优缺点
Flink CDC和Canal都是用于获取MySQL binlog的工具，但是有以下几点优缺点对比： Flink CDC是一个基于Flink的库，可以直接在Flink中使用，无需额…
-
计算机毕业设计：500个开源项目推荐（源码+论文）大数据+JAVA+Python+深度学习✅
大家在毕设选题，项目以及论文编写等相关问题都可以给我留言咨询，希望帮助更多的人 ，点赞关注不迷路。 文章目录 1、Python项目选题 （1）优秀项目 （2）招聘项目 （3）电影项…
-
解决报错Parameter 0 of constructor in XXX required a bean…elasticsearch 继承ElasticsearchConfiguration方法
SpringBoot中构建带有含参构造函数的Bean，解决报错Parameter 0 of constructor in XXX required a bean ,elastics…
-
Flink项目实战篇 基于Flink的城市交通监控平台（下）
系列文章目录 Flink项目实战篇 基于Flink的城市交通监控平台（上） Flink项目实战篇 基于Flink的城市交通监控平台（下） 文章目录 系列文章目录 4. 智能实时报警…
-
Spark升级中对log4j的一些思考
背景 最近在做Spark版本的升级(由spark3.1升级到spark3.5)，其实单纯从spark升级涉及到的log4j来说，并没有什么能够记录的， 但是由于公司内部做了Spar…
-
三台CentOS7.6虚拟机搭建Hadoop完全分布式集群（一）
这个是笔者大学时期的大数据课程使用三台CentOS7.6虚拟机搭建完全分布式集群的案例，已成功搭建完全分布式集群，并测试跑实例。 1.安装CentOS 7.6虚拟机 1.1安装完虚…
-
大数据之数据治理架构 —— Atlas
文章目录 什么是数据治理？ 什么是 Atlas? Atlas 的作用 Atlas 架构 Atlas 架构解析 Atlas 大数据集群搭建 JDK 与 Hadoop 搭建 MySQL…
-
大数据人工智能在金融科技领域的应用
1.背景介绍 在当今的数字时代，人工智能(AI)和大数据技术已经成为金融科技领域的核心驱动力。随着数据的增长和处理能力的提高，金融机构可以利用大数据人工智能技术来提高业务效率、降低…
-
Python 3 使用HBase 总结
HBase 简介和安装 请参考文章：HBase 一文读懂 Python3 HBase API HBase 前期准备 1 安装happybase库操作hbase 安装该库 pip i…
