大数据
-
OpenAI GPT-4 Turbo发布：开创AI新时代
我的博客即将同步至腾讯云开发者社区，邀请大家一同入驻：https://cloud.tencent.com/developer/support-plan?invite_code=2e…
-
第九届云计算与大数据分析国际会议（ICCCBDA 2024）即将召开！
第九届云计算与大数据分析国际会议（ICCCBDA 2024）将于2024年4月25-27日在中国成都召开。ICCCBDA自创办以来，已经成功召开了八届。此次会议将介绍一些当前和…
-
Pandas DataFrame 转 Spark DataFrame报错：AttributeError
环境说明 pandas==2.0.3 spark==3.1.2 报错内容 在使用 spark 过程中，涉及将 pandas 的 DataFrame 转换为 spark 的 Data…
-
混合云的大数据解决方案：实现企业数据的高效分析与挖掘
1.背景介绍 大数据技术在过去的几年里发展迅速，成为企业竞争力的重要组成部分。随着数据量的增加，传统的数据处理方法已经无法满足企业的需求。因此，大数据技术在企业中的应用越来越广泛。…
-
大数据在智能能源管理中的发展趋势与机遇
1.背景介绍 智能能源管理是一种利用大数据、人工智能和互联网技术来优化能源生产、分发和消费的方法。在全球气候变化和能源短缺的背景下，智能能源管理已经成为各国政府和企业的关注焦点。智…
-
Flink的MySQL集成与应用
1.背景介绍 在大数据时代，数据处理和分析的需求日益增长。为了更高效地处理和分析大量数据，许多大数据处理框架和工具已经诞生。Apache Flink是一种流处理框架，它可以处理实时…
-
HBase的数据批量操作与事务处理
1.背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、MapReduce、Z…
-
记一次模糊查询踩坑 Flink+ES
模糊查询优化 Flink+ES 公司需要对商品名称进行模糊模糊查询，考虑到商品表存量数据千万级，直接数据库模糊查询效率肯定极其低下，所以选择使用ElasticSearch对商品信息…
-
Flink CDC报The connector is trying to read binlog starting at xxx but this is no longer available问题解决
背景 问题是笔者最近在使用FlinkCDC2.3.0捕获MySQL binlog日志时遇到的，MySQL使用的阿里云的RDS，MysqlCDC使用读账号以Initinal模式，任务…
-
spark之action算子学习笔记(scala,pyspark双语言)
目录 一、collect 二、count 三、first 四、take 五、takeOrdered 六、countByKey 七、foreach 八、简单案例 九、一个综合案例 9…
-
HBase的数据校验与数据完整性
1.背景介绍 1. 背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、Map…
-
【Spark精讲】一文讲透SparkSQL物理执行计划
SparkSQL整体计划生成流程 大体分三步： (1)由 SparkSqlParser 中的 AstBuilder执行节点访问，将语法树的各种Context节点转换成对应的 Log…
-
Spark与ApacheCassandra集成与优化
1.背景介绍 1. 背景介绍 Apache Spark 是一个快速、通用的大数据处理框架，它可以处理批量数据和流式数据，支持多种编程语言，如 Scala、Python、R 等。Ap…
-
【Flink】 ClassNotFoundException: com.ververica.cdc.debezium.utils.ResolvedSchemaUtils
在FlinkSQL客户端中执行FlinkCDC，使用mysql连接的时候，报如下问题（Flink版本1.13.6）： Flink SQL> CREATE TABLE demo…
-
ClickHouse 与 Flink 整合：流处理与时间序列分析
1.背景介绍 时间序列数据是指以时间为维度、数值为值的数据，是目前互联网、物联网、金融、制造业等各个领域中最为重要的数据类型之一。随着大数据技术的发展，时间序列数据的存储、查询、分…
