Flink 概述 Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。 官网：https://flink.apache.org/ GitHub: https://github.com/apache/flink 环境 Flink分别提供了基于Java语言和Scala语言的 API

Flink部署、执行模式 Flink的部署模式 本地模式、Standalone模式和FlinkonYARN模式是Flink的三种常见部署模式。 1.Local本地模式： 在本地模式下，Flink以单机模式运行，无需启动分布式资源管理器。这种模式适用于本地开发和测试，用于验证Flink代码的正确性和性能。 2.Standalone模式： 在Standalone模式下，Flink作为一个独立的集群运行

Flink集群搭建 集群规划 节点 node01 node02 node03 角色 JobManager TaskManager TaskManager TaskManager 下载并解压安装包 wget https://repo.huaweicloud.com/apache/flink/flink-1.17.0/flink-1.17.0-bin-scala_2.12.tgz 在node01节点下

​ Maven依赖： org.apache.flink flink-java ${flink.version} org.apache.flink flink-streaming-java_${scala.binary.version} ${flink.version} org.apache.flink flink-clients_${scala.binary.version} ${flink.ve

本文整理自阿里云 Flink 数据通道负责人、Flink CDC 开源社区负责人， Apache Flink PMC Member & Committer 徐榜江（雪尽），在 Streaming Lakehouse Meetup 的分享。内容主要分为四个部分： Flink CDC 核心技术解析 数据入湖入仓的挑战 基于 Flink CDC 的入湖入仓方案 Flink CDC + Paimo

什么叫做Flink的有状态计算呢？说白了就是将之前的中间结果暂时存储起来，等待后续的事件数据过来后，可以使用之前的中间结果继续计算。本文主要介绍Flink状态计算和管理、代码示例。 1、有状态的计算 什么是Flink的有状态的计算。在流式计算过程中将算子的中间结果保存在内存或者文件系统中，等下一个事件进入算子后可以从之前的状态中获取中间结果，以便计算当前的结果，从而无需每次都基于全部的原始数据来统

作者:千浪@阿里云研发工程师 MongoDB CDC 概述 MongoDB 是当下流行的一个基于文档的非关系性数据库。MongoDB CDC [1] 是 Flink CDC 社区 [2] 提供的一个用于捕获变更数据（Change Data Capturing）的 Flink 连接器，可连接到 MongoDB 数据库和集合，并捕获其中的文档增加、更新、替换、删除等变更操作，生成标准的 Flink C

3.1、Flink的运行架构 3.1.1、Flink 基本组件栈 一个计算框架只有上层有了具体的应用，并能很好的发挥计算框架本身的优势，那么这个计算框架才能吸引更多的资源，才会更快的进步。Flink 有着自己的完整的 Stack，Flink 每一层所包含的组件都提供了特定的抽象，用来服务于上层组件，分层的组件栈如下图所示： API & Libraries 层 Flink 持了 Java、S

一、CDC 简介 CDC 即 Change Data Capture变更数据捕获，为Flink 1.11中一个新增功能。我们可以通过 CDC 得知数据源表的更新内容（包含Insert Update 和 Delete），并将这些更新内容作为数据流发送到下游系统。捕获到的数据操作具有一个标识符，分别对应数据的增加，修改和删除。 +I：新增数据。 -U：一条数据的修改会产生两个U标识符数据。其中-U含义

背景 flink cdc 1.0 版本早期，还未支持sqlserver ，oracle数据源。基于业务场景需要，对flink cdc项目进行二次开发，增加 sql server 作为数据源的能力。 业务流程是基于flink cdc，开发 sqlserver ---> Iceberg 数据链路。支持先全量同步后增量cdc同步 和 指定LSN开始执行cdc同步 两种模式。 从技术层次来讲，基于

前言 大家还记得双11得时候，会有一个大屏实时刷新显示交易金额，这究竟是怎么实时统计计算的呢？Apache Flink是一个开源、流行的大数据框架和分布式处理引擎，特别是针对流式数据的处理，那么今天通过一个简单的业务场景，实时统计用户的交易金额，感受一下flink的魅力。 Flink入门例子 业务场景 监听socket请求，获取用户的流水信息，实时输出用户的交易总金额。order信息如下所示： p

Flink 是一个分布式流处理引擎，可以实现数据库分库分表任务拆分。Flink的分布式处理框架可以实现实时的流处理，同时还支持批处理，可以提供一站式的解决方案，从而使得数据库分库分表任务拆分变得更加容易。Flink可以支持分布式计算，允许用户在多台服务器上运行多个任务，从而实现数据库分库分表任务拆分。 Flink支持分布式数据集（DataSet）和分布式流（DataStream），可以在多个服务器

本文介绍Flink的安装步骤，主要是Flink的独立部署模式，它不依赖其他平台。文中内容分为4块：前置准备、Flink本地模式搭建、Flink Standalone搭建、Flink Standalong HA搭建。 演示使用的Flink版本是1.15.4，官方文档地址：nightlies.apache.org/flink/flink…。 1、前置准备 1.1、因为后面要搭建集群，所以需要准备3台l

相信你读完上一节的《10分钟入门Flink--了解Flink》对Flink已经有初步了解了。这是继第一节之后的Flink入门系列的第二篇，本篇主要内容是是：了解Flink运行模式、Flink调度原理、Flink分区、Flink安装。 1、运行模式 Flink有多种运行模式，可以运行在一台机器上，称为本地（单机）模式；也可以使用YARN作为底层资源调度系统以分布式的方式在集群中运行，称为Flink

摘要：本文整理自货拉拉实时研发平台负责人王世涛，在Flink Forward Asia 2022 平台建设专场的分享。本篇内容主要分为六个部分： Flink 在货拉拉的使用现状 Flink 平台化 性能优化主题 数据准确性主题 稳定性主题 未来展望 点击查看原文视频 & 演讲PPT 一、Flink 在货拉拉的使用现状 从部署情况、任务使用、业务使用三个层面进行介绍。 部署上，我们覆盖了 4

Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 旨在运行在所有常见的集群环境中，以内存速度和任何规模执行计算。Apache Flink 为 Amazon Kinesis、Apache Kafka、Alluxio、HDFS、Apache Cassandra 和ElasticSearch等系统提供数据源和接收器连接器，其中 Apache Flin

作者｜ 熊佳树（ 履霜） 我们非常高兴的宣布 Apache Celeborn（Inclubating）[1] 正式支持 Flink，Celeborn 于去年 12 月份正式进入 Apache 软件基金会 (ASF) 的孵化器，一直致力打造统一的中间数据服务，助力引擎全方位提升性能、稳定性和弹性，最新发布的 0.3.0 版本新增对 Flink 批作业 Shuffle 的支持，从此 Flink、Spa

摘要：本文整理自 XTransfer 技术专家, Flink CDC Maintainer 孙家宝，在 Flink Forward Asia 2022 数据集成专场的分享。本篇内容主要分为四个部分： MongoDB 在实时数仓的探索 MongoDB CDC Connector 的实现原理和使用实践 FLIP-262 MongoDB Connector 的功能预览 总结和展望 点击查看原文视频 &a

项目中有一个需求，将结构化数据采集到 Elasticsearch 和 Nebula Graph 中。由于已经有其他项目完成了相关的 Flink Sink 组件，但该项目不想单独部署一个 Flink 集群来执行数据采集。因此，直接通过构建 StreamExecutionEnvironment 并调用 executeAsync() 方法来实现。Flink 将在本地创建相应的环境并执行任务。以下是相关的

摘要：本文整理自中南电力设计院工程师、注册测绘师姚远，在 Flink Forward Asia 2022 行业案例专场的分享。本篇内容主要分为四个部分： 建设背景 技术架构 应用落地 后续及其他 点击查看原文视频 & 演讲PPT 一、建设背景 建设背景主要分为宏观背景和场站侧的需求。 上图引用的是 2022 年我国电力发展和改革形势分析报告的统计数据，展示了 2013-2021 年，九年间