大数据
-
智慧校园大数据云存储和云灾备
云存储 基于NCS分布式海量存储系统 随着虚拟化成为基础架构主要的工作机制，数据中心的存储设计面临前所未有的挑战： 第一个挑战是管理复杂、不灵活。存储一直是虚拟化架构设计中最关键的…
-
大数据在医疗行业的转型
1.背景介绍 在过去的几十年里，医疗行业一直以传统的方式运行，医生和护士手工输入病人的信息，记录病历，进行诊断和治疗。然而，随着科技的发展和数据的崛起，医疗行业也开始受到大数据技术…
-
Flink与ApacheZooKeeper的集成
1.背景介绍 1. 背景介绍 Apache Flink 是一个流处理框架，用于实时数据处理和分析。它支持大规模数据流处理，具有高吞吐量和低延迟。Apache ZooKeeper 是…
-
HBase的数据库集成与应用
1.背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。HBase是Hadoop生态系统的一部分，可以与HDFS、MapRedu…
-
【大数据】Flink 详解（十）：SQL 篇 Ⅲ（Flink SQL CDC）
《Flink 详解》系列（已完结），共包含以下 10 10 10 篇文章： 【大数据】Flink 详解（一）：基础篇（架构、并行度、算子） 【大数据】Flink 详解（二）：核心篇…
-
Hadoop理论及实践-HDFS的Namenode及Datanode（参考Hadoop官网）
HDFS有什么特点，被设计做什么 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件…
-
Spark On Hive原理和配置
目录 一、Spark On Hive原理 （1）为什么要让Spark On Hive？ 二、MySQL安装配置（root用户） （1）安装MySQL…
-
行业分析|中国人工智能发展的优势与差距
人工智能，被誉为第四次工业革命的催化剂，吸引着发达国家和众多科技公司大举投入研发。我国积极构筑人工智能发展的先发优势，党的二十大报告提出推动战略性新兴产业集群，构建一系列新的增长…
-
【Python实战】数据预处理（数据清理、集成、变换、归约）
【Python实战】数据预处理（数据清理、集成、变换、归约） 前言 数据预处理概述 数据清理 异常数据处理 1、异常数据分析 2、异常数据处理方法 缺失值处理 噪声数据处理 数据集…
-
大数据开发之Spark（累加器、广播变量、Top10热门品类实战）
第 3 章：累加器 累加器：分布式共享只写变量。（executor和executor之间不能读数据） 累加器用来把executor端变量信息聚合到driver端。在driver中定…
-
Zookeeper 启动失败【Cannot open channel to 3 at election address…】
文章目录 完整报错信息 解决方法 1.检查文件夹权限 2.未监听所有IP 3.IP映射名称与 ID 不对应 完整报错信息 Cannot open channel to 3 at e…
-
物联网大数据：推动人工智能与深度学习的进步
1.背景介绍 物联网大数据是指物联网系统中产生的大量的、多样化的、高速增长的数据。这些数据来源于物联网设备的传感器、通信设备、存储设备等，涉及到的领域包括智能制造、智能城市、智能交…
-
大数据 – Doris系列《二》- Doris安装（亲测成功版）
目录 🐶2.1 安装前准备 🥙1.设置系统最大文件打开句柄数 ==>启动一个程序的时候，打开文件的数量就是句柄数 🥙2.设置…
-
《2023大数据产业年度优秀CIO》榜重磅发布丨第六届金猿奖
第六届年度金猿榜单/奖项 “第六届年度金猿季策划活动——2023大数据产业年度优秀CIO榜单/奖项”由金猿X数据猿X上海大数据联盟共同推出。 大数据产业创新服务媒体 ——聚焦数…
-
SparkStreaming与Kafka整合
1.3 SparkStreaming与Kafka整合 1.3.1 整合简述 kafka是做消息的缓存，数据和业务隔离操作的消息队列，而sparkstreaming是一款准实时流式计…
