大数据
-
Spark搭建
Spark搭建（三种模式） Local模式 主要用于本地开发测试 本文档主要介绍如何在IDEA中配置Spark开发环境 打开IDEA，创建Maven项目 在IDEA设置中安装Sca…
-
用AI辅助生活，解决人类难题，智能未来，未来已来
ChatGPT不仅可以用来聊天、写作、创作，还可以用来解决各种业务问题：通过把AI爆炸性提升的生产力，转化为重新定义市场、创造竞争优势的清晰思路和行动计划，真正帮助你提升业务实战能…
-
【ACM出版 |广东科技学院、大湾区产教联盟、广东博思云科教技术有限公司联合主办| EI, Scopu检索，见刊检索非常稳定】2024年粤港澳大湾区数字经济与人工智能国际学术会议(DEAI2024)
2024年粤港澳大湾区数字经济与人工智能国际学术会议(DEAI2024)将在2024年3月15-17日在广东省东莞市隆重举行。大会邀请来自国内外高等院校、科学研究所、企事业单位的专…
-
Docker desktop 安装Elasticsearch-单节点
1.安装Docker desktop 2.在desktop中搜索ES 2.1ES安装 1. 2. 3.点击小三角启动 点击run开始启动。 此时会看到控制台报错 这个…
-
速卖通半托管优缺点是什么？速卖通半托管和全托管的区别是什么？速卖通半托管怎么发货？
1月5日，阿里速卖通AliExpress正式向全体卖家推出半托管模式，并且官方连续发放多重补贴，重金加码半托管模式，推广力度非常大。 关于速卖通半托管服务春节补贴政策 图源：阿里巴…
-
ERD助力研发资产沉淀&研发提效
一、从痛点中思考答案 痛点一：复杂系统的设计和逻辑碎片化散落，缺少沉淀导致系统后期维护、迭代以及架构升级都非常困难。 痛点二：由于新需求或新项目导致的系统的老旧逻辑梳理往往耗费大量…
-
IntelliJ IDEA如何使用固定地址公网远程访问本地Mysql数据库
文章目录 1. 本地连接测试 2. Windows安装Cpolar 3. 配置Mysql公网地址 4. IDEA远程连接Mysql 小结 5. 固定连接公网地址 6. 固定地址连接…
-
HBase与Hadoop：HBase与Hadoop的集成与使用
1.背景介绍 1. 背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。HBase提供了一种自动分区、自动同步的数据存储方式，可…
-
Flink 内容分享(八)：Flink CDC的概览和使用
目录 什么是CDC 什么是Flink CDC Flink CDC 前生今世 Flink CDC 1.x Flink CDC 2.x Flink CDC 3.x Flink CDC使…
-
Spark任务信息记录器的变更
Spark任务信息记录器的变更 @DeveloperApi注解标注的类代表 1.面向开发人员的低级、不稳定的应用程序接口。 2.可能会在 Spark 的次要版本中更改或删除。 3….
-
大数据 Hive – 实现SQL执行
文章目录 MapReduce实现SQL的原理 Hive的架构 Hive如何实现join操作 小结 MapReduce的出现大大简化了大数据编程的难度，使得大数据计算不再是高不可攀的…
-
pyspark常用语法（含pandas对比）
1.排名函数 dense_rank()：相同数具有相同的排名，始终具有连续的排名值 import pyspark.sql.functions as F from pyspark.s…
-
赵鹏举：我的大数据能力提升之路 | 提升之路系列（四）
导读 为了发挥清华大学多学科优势，搭建跨学科交叉融合平台，创新跨学科交叉培养模式，培养具有大数据思维和应用创新的“π”型人才，由清华大学研究生院、清华大学大数据研究中心及相关院系共…
-
HBase的数据索引与分区策略
1.背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。HBase提供了自动分区、数据复制、数据备份等功能，适用于存储海量数据。…
-
大数据分析案例-基于随机森林算法构建返乡人群预测模型
?♂️ 个人主页：@艾派森的个人主页 ✍?作者简介：Python学习者 ? 希望大家多多支持，我们一起进步！? 如果文章对你有帮助的话， 欢迎评论 ?点赞?? 收藏 ?加关注+ …
