【最佳实践2个步骤教你从Mysql同步到Hive

数据运维 2023-10-13 捡田螺的小男孩 手机阅读

【实现简单的逻辑】

Mysql数据同步到Hive,大致流程如下：

分为离线和实时两部分，我们先实现离线，需要以下内容：Flink，SeaTunnel，Mysql，Hive，Hadoop，Java。

离线Mysql到Hive数据同步

1）准备所需要的

2）开始

Mysql创建数据库及其内容


    -- 创建数据库
    create database seatunnel;
    <br>
    -- 进入seatunnel数据库
    use seatunnel;
    <br>
    -- 创建表
    create table day_test(
    dname varchar(64),
    dage int
    );
    <br>
    -- 插入数据
    insert into day_test values('张三',20);
    insert into day_test values('李四',18);
    insert into day_test values('王二',29);
    insert into day_test values('麻子',22);