大数据
-
商务智能期末复习
讨论下面的数据分析需要使用何种数据挖掘方式,给出简单的分析思路: 给出某电商平台前几个月一些客户的浏览和交易日志数据,预测未来一个月客户可能的行为 可以使用时间序列分析方法进行数据…
-
Flink 状态管理与容错机制(CheckPoint & SavePoint)的关系
一、什么是状态 无状态计算的例子: 例如一个加法算子,第一次输入2+3=5那么以后我多次数据2+3的时候得到的结果都是5。得出的结论就是,相同的输入都会得到相同的结果,与次数无关。…
-
最详细HDFS常用命令作用及截图
Hdfs dfs -appendToFile:把本地文件中的内容追加到HDFS中指定文件的末尾 Hdfs dfs -cat :用于查看分布式文件系统中指定文件里面的内容; 两个命令…
-
Flink 状态管理与容错机制(CheckPoint & SavePoint)的关系
一、什么是状态 无状态计算的例子: 例如一个加法算子,第一次输入2+3=5那么以后我多次数据2+3的时候得到的结果都是5。得出的结论就是,相同的输入都会得到相同的结果,与次数无关。…
-
FlinkAPI开发之容错机制
概述 在Flink中,有一套完整的容错机制来保证故障后的恢复,其中最重要的就是检查点。 检查点(Checkpoint) 检查点的保存 周期性的触发保存 “随时存档”确实恢复起来方便…
-
大数据计算,如何优化SQL?
📢📢📢📣📣📣 哈喽!大家好,我是【IT邦德】,江湖人称jeames007,10年DB…
-
hiveserver负载均衡配置
一.安装nginx 参数我的另一篇文章:https://mp.csdn.net/mp_blog/creation/editor/135152478 二.配置nginx服务参数 wo…
-
基于大数据的城市交通数据可视化分析系统
大家可以帮忙点赞、收藏、关注、评论啦 👇🏻👇🏻👇🏻 精彩专栏推荐订阅:在 下方专栏 …
-
dbeaver默认驱动安装位置
dbeaver连接hive、presto等引擎,dbeaver会默认根据自身配置的maven下载相关jar,那么,如果想要分享这个下载的jar包给其他人或者自己使用,…
-
Flink+Paimon多流拼接性能优化实战
目录 (零)本文简介 意外收获: (一)背景 (二)探索梳理过程 (三)源码改造 (四)修改效果 1、JOB状态 2、Level5的dataFile总大小 3、数据延迟 4、关联率…
-
Hadoop搭建
一、伪分布式搭建 1.配置网络 vi /etc/sysconfig/network-scripts/ifcfg-ens33 更改 BOOTPROTO=static ONBOOT=…
-
CentOS7中安装ElasticSearch
文章目录 检测是否安装了Elasticsearch 安装JDK 下载java 配置 下载Elasticsearch 解压安装Elasticsearch 修改配置文件 启动Elast…
-
最新版Flink CDC MySQL同步MySQL(一)
1.概述 Flink CDC 是Apache Flink ®的一组源连接器,使用变更数据捕获 (CDC) 从不同数据库中获取变更。Apache Flink 的 CDC Connec…
-
最新版海豚调度dolphinscheduler-3.1.3安装部署详细教程
0 背景 本文基于Ambari集群搭建最新版本的海豚调度dolphinscheduler-3.1.3版本,后续会尝试整合到Ambari中。 1 安装准备 安装dolphinsche…
-
【Apache-StreamPark】Flink 开发利器 StreamPark 的介绍、安装、使用
【Apache-StreamPark】Flink 开发利器 StreamPark 的介绍、安装、使用 1)框架介绍与引入 1.1.🚀 什么是 StreamPark …
