【湖仓一体尝试】MYSQL和HIVE数据联合查询

• 大数据

爬了两天大大小小的一堆坑，今天把一个简单的单机环境的流程走通了，记录一笔。

先来个完工环境照：

【湖仓一体尝试】MYSQL和HIVE数据联合查询

mysql+hadoop+hive+flink+iceberg+trino

得益于IBM OPENJ9的优化，完全启动后的内存占用：

1）执行联合查询后的

2）其中trino由于必须使用ORACLE或OPENJDK，只能再安装多一个JDK21的环境

【湖仓一体尝试】MYSQL和HIVE数据联合查询

HIVE里ICEBERG的表和数据：

— iceberg.test.my_tbl definition

CREATE TABLE iceberg.test.my_tbl (

user_id integer,

user_name varchar,

country varchar,

birthday date

)

WITH (

format = ‘PARQUET’,

format_version = 2,

location = ‘hdfs://localhost:9000/user/hive/warehouse/test.db/my_tbl’,

partitioning = ARRAY[‘country’]

);

【湖仓一体尝试】MYSQL和HIVE数据联合查询

MYSQL里的表和数据：

— dict.dict.country definition

CREATE TABLE dict.dict.country (

country_name varchar(2) NOT NULL,

country_cn varchar(20) NOT NULL

);

【湖仓一体尝试】MYSQL和HIVE数据联合查询

联合查询的执行结果：

【湖仓一体尝试】MYSQL和HIVE数据联合查询

本文来自网络，不代表协通编程立场，如若转载，请注明出处：https://www.net2asp.com/43db02a6b7.html

赞 (0)
« 上一篇 1天前
下一篇 » 1天前

相关推荐