大数据
-
【BUG】Windows配置spark运行cmd时报错：WARN ProcfsMetricsGetter: Exception when trying to compute pagesize，…
报错：WARN ProcfsMetricsGetter: Exception when trying to compute pagesize, as a result report…
-
xslx表格文件采集到hdfs流程&hdfs数据 load到hive表
xslx表格文件采集到hdfs 咱们就是说，别的话不多说，直接开始实操 xslx在win系统上，打开后另存为csv文件格式，上传到linux系统中。（注意下编码格式，不然后面就是中…
-
HBase与Kafka集成与实时处理
1.背景介绍 1. 背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、Zoo…
-
大数据AI人工智能的挑战与解决：如何应对技术限制
1.背景介绍 大数据和人工智能(AI)是当今最热门的技术趋势之一，它们在各个领域都取得了显著的成果。然而，这些技术也面临着一系列挑战，这篇文章将探讨这些挑战以及如何应对它们。 大数…
-
esProc SPL为何备受青睐，Hadoop Spark 太重？
📢📢📢📣📣📣 哈喽！大家好，我是【IT邦德】，江湖人称jeames007，10年DB…
-
Pandas数据选取中df[]、df.loc[]、df.iloc[]、df.at[]、df.iat[]的区别及用法
1、引言 Pandas是作为Python数据分析著名的工具包，提供了多种数据选取的方法，方便实用。本文主要介绍Pandas的几种数据选取的方法。 Pandas中，数据主要保…
-
大数据学习之Flink，10分钟带你初步了解Flink
目录 前摘 一、认识Flink的Logo编辑 二、了解Flink的起源 三、了解Flink的发展 四、明白Flink的定位 五、Flink主要的应用场景 六、流式数据处理的发展和…
-
【毕业设计】基于机器学习与大数据的糖尿病预测
1 前言 🚩 基于机器学习与大数据的糖尿病预测 🥇学长这里给一个题目综合评分(每项满分5分) 难度系数：3分 工作量：3分 创新点：4分 …
-
Spark在数据科学中的应用案例分析
Spark在数据科学中的应用案例分析 在数据科学领域，Apache Spark已经成为一个不可或缺的工具。其强大的分布式计算能力和丰富的数据处理功能使得数据科学家能够高效地处理大规…
-
【ClickHouse】-01.万字带你快速入门使用CK
文章目录 学习目标 1. Clickhouse简介 1.1 历史背景 1.1.1 版本号历史 1.2 特性 1.2.1 真正的列式数据库管理系统 1.2.2 数据压缩 1.2.3 …
-
hdfs常用端口号、常用配置文件，集群时间同步
目录 常用端口号 hadoop3.x HDFS NameNode 内部通常端口：8020/9000/9820 HDFS NameNode 对用户的查询端口：9870 历史服务器：1…
-
带你玩转Python爬虫（胆小者勿进）千万别做坏事·······
这节课很危险，哈哈哈哈，逗你们玩的 目录 写在前面 1 了解robots.txt 1.1 基础理解 1.2 使用robots.txt 2 Cookie 2.1 两种cookie处理…
-
项目实战：ES的增加数据和查询数据
文章目录 背景 在ES中增加数据 新建索引 删除索引 在ES中查询数据 查询数据总数量 项目具体使用（实战） 引入依赖 方式一：使用配置类连接对应的es服务器 创建配置类 编写业务…
-
Sqoop数据迁移工具
概述 Apache Sqoop（SQL-to-Hadoop）项目旨在协助RDBMS与Hadoop之间进行高效的大数据交流。用户可以在 Sqoop 的帮助下，轻松地把关系型数据库的数…
-
案例分享 | 助力数字化转型：嘉为科技项目管理平台上线
嘉为科技项目管理平台（一期）基于易趋（EasyTrack）进行实施，通过近一年的开发及试运行，现已成功交付上线、推广使用，取得了良好的应用效果。 1.关于广州嘉为科技有限公司（以下…
