Flink 概述 Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。 官网：https://flink.apache.org/ GitHub: https://githu
2023-09-27
Flink部署、执行模式 Flink的部署模式 本地模式、Standalone模式和FlinkonYARN模式是Flink的三种常见部署模式。 1.Local本地模式： 在本地模式下，Flink以单机模式运行，无需启动分布式资源管理器。这种模式适用于本地开发和测试，用于验证Flink代码的正确
2023-09-22
Flink集群搭建 集群规划 节点node01node02node03角色JobManager TaskManagerTaskManagerTaskManager 下载并解压安装包 wget https://repo.huaweicloud.com/apache/
2023-09-21
Maven依赖： org.apache.flink flink-java ${flink.version} org.apache.flink flink-streaming-java_
2023-09-16
本文整理自阿里云 Flink 数据通道负责人、Flink CDC 开源社区负责人， Apache Flink PMC Member & Committer 徐榜江（雪尽），在 Streaming Lakehouse Meetup 的分享。内容主要分为四个部分： Flink CDC 核心技术
2023-09-12
什么叫做Flink的有状态计算呢？说白了就是将之前的中间结果暂时存储起来，等待后续的事件数据过来后，可以使用之前的中间结果继续计算。本文主要介绍Flink状态计算和管理、代码示例。1、有状态的计算什么是Flink的有状态的计算。在流式计算过程中将算子的中间结果保存在内存或者文件系统中，等下一个事件进
2023-09-08
作者:千浪@阿里云研发工程师 MongoDB CDC 概述 MongoDB 是当下流行的一个基于文档的非关系性数据库。MongoDB CDC [1] 是 Flink CDC 社区 [2] 提供的一个用于捕获变更数据（Change Data Capturing）的 Flink 连接器，可连接到 Mo
2023-09-02
3.1、Flink的运行架构 3.1.1、Flink 基本组件栈 一个计算框架只有上层有了具体的应用，并能很好的发挥计算框架本身的优势，那么这个计算框架才能吸引更多的资源，才会更快的进步。Flink 有着自己的完整的 Stack，Flink 每一层所包含的组件都提供了特定的抽象，用来服务于上层组件，
2023-08-18
一、CDC 简介CDC 即 Change Data Capture变更数据捕获，为Flink 1.11中一个新增功能。我们可以通过 CDC 得知数据源表的更新内容（包含Insert Update 和 Delete），并将这些更新内容作为数据流发送到下游系统。捕获到的数据操作具有一个标识符，分别对应数
2023-08-18
背景 flink cdc 1.0 版本早期，还未支持sqlserver ，oracle数据源。基于业务场景需要，对flink cdc项目进行二次开发，增加 sql server 作为数据源的能力。 业务流程是基于flink cdc，开发 sqlserver ---> Iceberg 数据链路。
2023-08-18
前言 大家还记得双11得时候，会有一个大屏实时刷新显示交易金额，这究竟是怎么实时统计计算的呢？Apache Flink是一个开源、流行的大数据框架和分布式处理引擎，特别是针对流式数据的处理，那么今天通过一个简单的业务场景，实时统计用户的交易金额，感受一下flink的魅力。 Flink入门例子 业务场
2023-08-18
Flink 是一个分布式流处理引擎，可以实现数据库分库分表任务拆分。Flink的分布式处理框架可以实现实时的流处理，同时还支持批处理，可以提供一站式的解决方案，从而使得数据库分库分表任务拆分变得更加容易。Flink可以支持分布式计算，允许用户在多台服务器上运行多个任务，从而实现数据库分库分表任务拆分
2023-08-12
本文介绍Flink的安装步骤，主要是Flink的独立部署模式，它不依赖其他平台。文中内容分为4块：前置准备、Flink本地模式搭建、Flink Standalone搭建、Flink Standalong HA搭建。 演示使用的Flink版本是1.15.4，官方文档地址：nightlies.apach
2023-07-26
相信你读完上一节的《10分钟入门Flink--了解Flink》对Flink已经有初步了解了。这是继第一节之后的Flink入门系列的第二篇，本篇主要内容是是：了解Flink运行模式、Flink调度原理、Flink分区、Flink安装。 1、运行模式 Flink有多种运行模式，可以运行在一台机器上，称为
2023-07-25
摘要：本文整理自货拉拉实时研发平台负责人王世涛，在Flink Forward Asia 2022 平台建设专场的分享。本篇内容主要分为六个部分： Flink 在货拉拉的使用现状 Flink 平台化 性能优化主题 数据准确性主题 稳定性主题 未来展望 点击查看原文视频 & 演讲PPT 一
2023-07-25
Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 旨在运行在所有常见的集群环境中，以内存速度和任何规模执行计算。Apache Flink 为 Amazon Kinesis、Apache Kafka、Alluxio、HDFS、Apache Cass
2023-07-21
作者｜ 熊佳树（ 履霜） 我们非常高兴的宣布 Apache Celeborn（Inclubating）[1] 正式支持 Flink，Celeborn 于去年 12 月份正式进入 Apache 软件基金会 (ASF) 的孵化器，一直致力打造统一的中间数据服务，助力引擎全方位提升性能、稳定性和弹性，最新
2023-07-19
摘要：本文整理自 XTransfer 技术专家, Flink CDC Maintainer 孙家宝，在 Flink Forward Asia 2022 数据集成专场的分享。本篇内容主要分为四个部分： MongoDB 在实时数仓的探索 MongoDB CDC Connector 的实现原理和使
2023-07-19
项目中有一个需求，将结构化数据采集到 Elasticsearch 和 Nebula Graph 中。由于已经有其他项目完成了相关的 Flink Sink 组件，但该项目不想单独部署一个 Flink 集群来执行数据采集。因此，直接通过构建 StreamExecutionEnvironment 并调用
2023-07-19
摘要：本文整理自中南电力设计院工程师、注册测绘师姚远，在 Flink Forward Asia 2022 行业案例专场的分享。本篇内容主要分为四个部分： 建设背景 技术架构 应用落地 后续及其他 点击查看原文视频 & 演讲PPT 一、建设背景 建设背景主要分为宏观背景
2023-07-17