大数据
-
食品安全监测的未来：大数据与人工智能的结合
1.背景介绍 食品安全监测是一项至关重要的行业，它涉及到人们的生活和健康。随着人们对食品质量和安全的需求不断提高，食品安全监测的重要性也在不断提高。然而，传统的食品安全监测方法存在…
-
华为云从入门到实战 | 云服务概述与华为云搭建Web应用
云计算在快速发展过程中逐渐形成了不同的服务模式(Service Model)。根据云计算最终服务的交付形态主要分为3种类型，软件即服务、平台即服务与基础架构即服务。从根源上来说，…
-
大数据平台/大数据技术与原理-实验报告–部署全分布模式HBase集群和实战HBase
实验名称 部署全分布模式HBase集群和实战HBase 实验性质 （必修、选修） 必修 实验类型（验证、设计、创新、综合） 综合 实验课时 2 实验日期 2023.11.07-20…
-
Spark Structured Streaming使用教程
文章目录 1、输入数据源 2、输出模式 3、sink输出结果 4、时间窗口 4.1、时间窗口 4.2、时间水印（Watermarking） 5、使用例子 Structured St…
-
Spark分布式集群搭建
Spark分布式集群搭建 这里的Spark分布式集群是以我上一篇文章发的Hadoop分布式集群为基础搭建的，都是在UbuntuKylin系统中搭建的。过几天发Centos上的分布式…
-
大数据从业者必知必会的Hive SQL调优技巧 | 京东云技术团队
摘要：在大数据领域中，Hive SQL被广泛应用于数据仓库的数据查询和分析。然而，由于数据量庞大和复杂的查询需求，Hive SQL查询的性能往往不尽人意。本文针对Hive SQL的…
-
搭建完全分布式Hadoop
文章目录 一、Hadoop集群规划 二、在主节点上配置Hadoop （一）登录虚拟机 （二）设置主机名 （三）主机名与IP地址映射 （四）关闭与禁用防火墙 （五）配置免密登录 （六…
-
Flink的安全性和权限管理
1.背景介绍 Flink是一个流处理框架，用于处理大规模数据流。它提供了一种高效、可扩展的方法来处理实时数据流。Flink的安全性和权限管理是其核心特性之一，它确保了Flink应用…
-
Flink的自动伸缩：应对业务波动
1.背景介绍 随着大数据时代的到来，数据量的增长和业务波动对于数据处理系统的挑战日益加剧。在这种情况下，流处理系统成为了企业和组织的核心基础设施之一，用于实时处理和分析数据。Apa…
-
论文已提交，如何添加或修改作者名单？（附信件模板）
问：有篇SCI论文，但是由于前期的疏忽，导致有个重要的作者未添加，可否通过跟编辑部沟通，添加上名字呢？如何沟通呢？ 答：可以改，但不同出版社要求不同。不管这篇论文是已经提交在审稿阶…
-
优雅草蜻蜓API大数据服务中心v1.0.2更新-加入演员大数据·头像框生成·去水印·文字验证识别·看图猜成语等接口
2023年12月29日优雅草蜻蜓API大数据服务中心v1.0.2更新-加入演员大数据·头像框生成·去水印·文字验证识别·看图猜成语等接口 提示：目前全球已知演员数量为5000万个，…
-
【基础知识】大数据组件HBase简述
HBase是一个开源的、面向列（Column-Oriented）、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统…
-
HDFS及各组件功能介绍
Hadoop分布式文件系统（Hadoop Distributed File System，HDFS）是Hadoop生态系统的核心组件之一，它是设计用于存储和处理大规模数据集的分布式…
-
hbase shell行键过滤正则匹配
hbase shell行键过滤正则匹配 在实际运维生产环境的过程中，经常遇到需要过滤rowkey包含部分字符的场景。以下列出可行的几种操作方式。 方法一：前缀过滤器字符匹配 # 匹…
-
数据仓库内容分享(五)：企业数据治理之主数据管理
目录 1 主数据 1.1、主数据概念 1.2、定位主数据 1.3、主数据标准 1.4、主数据与其他数据的关系 2 主数据管理 2.1、主数据概念 2.2、主数据管理原则 2.3、主…
