最近做了几个实时数据开发需求，也不可避免地在使用Flink的过程中遇到了一些问题，比如数据倾斜导致的反压、interval join、开窗导致的水位线失效等问题，通过思考并解决这些问题，加深了我对Flink原理与机制的理解，因此将这些开发经验分享出来，希望可以帮助到有需要的同学。
2024-06-28
Flink 连接 Kafka 前的准备在使用 Apache Flink 连接 Apache Kafka 之前，需要完成以下准备工作。具体步骤如下：从 Maven 官方库获取相关的 jar选择合适的 Kafka 连接器版本根据我们使用的 Flink 版本选择合适的 Kafka 连接器版本。官方建议的版
2024-06-03
前言：一般情况下，CDC 技术主要面向数据库的变更，用于捕获数据库中数据变更的技术。而 Flink CDC+ OceanBase 全增量一体化数据集成方案是将传统的数据库 CDC 技术跟 Flink 优秀的管道能力和丰富的上下游生态结合，将 CDC 数据通过加工后同步到下游，最终生成一个 Ocean
2024-05-07
作者：伍翀，阿里云Flink SQL负责人，Apache Flink PMC Member & Committer许多数据领域的从业者对Apache Flink并不陌生，其作为流批一体的流式计算引擎，核心是分布式流数据流引擎，同时具备流计算和批计算的能力，是许多公司做流式计算业务的首选。那么
2024-05-07
测试背景应公司要求，需要将TiDB数据库替换成OceanBase数据库，替换过程需要业务影响比较小，这就要求TiDB的数据可以实时同步到OceanBase数据库。经过对各类数据同步工具的调研，目前感觉Flink CDC相对来说更容易实现我们的需求。因此，在这里先对Flink CDC做个简单测试，实现
2024-05-07
TIDB部署（阿里云ECS） 1、系统配置 TIDB官方建议使用CentOS7.3及以上版本： Linux 操作系统 版本 Red
2024-05-07
spark streaming 和 flink 都是流处理框架，具有不同的特性：编程模型：spark streaming 基于 spark rdd 模型，而 flink 拥有自己的流式处理 api。状态管理：flink 内置状态管理，而 spark streaming 需要外部解决方案。容错性：fl
2024-04-19
作者：潘伟龙（豁朗） 背景 日志服务 SLS 是云原生观测与分析平台，为 Log、Metric、Trace 等数据提供大规模、低成本、实时的平台化服务，基于日志服务的便捷的数据接入能力，可以将系统日志、业务日志等接入 SLS 进行存储、分析；阿里云 Flink 是阿里云基于 Apache Flink
2024-03-07
一、前言flink任务在执行过程中，一个流（stream）包含一个或多个分区（Stream partition）。TaskManager中的一个slot的subtask就是一个stream partition（流分区），一个Job的流（stream）分布在多个不同的Slot上执行。每一个算子可以包含
2024-02-27
记一次Flink CDC引起的MySQL元数据锁事故，总结经验教训。后续在编写Flink CDC任务时，要处理好异常，避免产生长时间的元数据锁。同时出现生产问题时要及时排查，不能抱有侥幸心理。一、事件经过某天上午，收到系统的告警信息，告警提示：同步MySQL的某张表数据到Elasticsearch异
2024-02-01
记一次Flink CDC引起的Mysql元数据锁事故，总结经验教训。后续在编写Flink CDC任务时，要处理好异常，避免产生长时间的元数据锁。同时出现生产问题时要及时排查，不能抱有侥幸心理。 1、事件经过 某天上午，收到系统的告警信息，告警提示：同步Mysql的某张表数据到Elasticsea
2024-02-01
一、运行时架构上一篇我们可以看到Flink的核心组件的Deploy层，该层主要涉及了Flink的部署模式，Flink支持多种部署模式：本地、集群（Standalone/YARN）、云（GCE/EC2）。图片Local（本地）：单机模式，一般本地开发调试使用，像我们程序写的WordCountStrea
2024-01-29
本文整理自火山引擎云原生计算研发工程师王正和闵中元在本次 CommunityOverCode Asia 2023 数据湖专场中的《基于 Flink 构建实时数据湖的实践》主题演讲。 实时数据湖是现代数据架构的核心组成部分，随着数据湖技术的发展，用户对其也有了更高的需求：需要从多种数据源中导入数据、
2023-12-14
1.前置知识ODPS（Open Data Platform and Service）是阿里云自研的一体化大数据计算平台和数据仓库产品，在集团内部离线作为离线数据处理和存储的产品。离线计算任务节点叫做Odps节点，存储的离线表叫做Odps表；Flink: 实时计算引擎，本文代码开发和测试均基于集团内部
2023-11-30
Apache Flink 是一个开源的流处理框架，它提供高效、准确、容错的数据流处理机制。在 Flink 中，可以通过将数据流写入 MySQL 数据库来进行数据存储和分析。但是，Flink 写入 MySQL 数据库时的并行度可能会受到一些限制，从而影响程序的性能。因此，本文将介绍如何提高 Flink
2023-11-13
在某客户日志数据迁移到火山引擎使用 ELK 生态的案例中，由于客户反馈之前 Logstash 经常发生数据丢失和收集性能较差的使用痛点，我们尝试使用 Flink 替代了传统的 Logstash 来作为日志数据解析、转换以及写入 ElasticSearch 的组件，得到了该客户的认可，并且已经成功协助
2023-11-09
Apache Flink PMC 已正式发布 Apache Flink 1.18.0 版本。与往常一样，这是一个充实的版本，包含了广泛的改进和新功能。总共有 174 人为此版本做出了贡献，完成了 18 个 FLIPs 和 700 多个问题。感谢各位贡献者的支持！ 迈向 Streaming La
2023-10-30
概述 Flink中的DataSource（数据源）用于定义数据输入的来源。数据源是Flink作业的起点，它可以从各种数据来源获取数据，例如文件系统、消息队列、数据库等。 将数据源添加到Flink执行环境中，从而创建一个数据流。然后可以对该数据流应用一系列转换和操作，例如过滤、转换、聚合、计算等
2023-10-15
Flink on k8s容器日志生成原理及与Yarn部署时的日志生成模式对比 最近需要将flink由原先部署到Yarn集群切换到kubernetes集群，在切换之后需要熟悉flink on k8s的运行模式。在使用过程中针对日志模块发现，在k8s的容器中，flink的系统日志只有jobmanager
2023-10-13
摘要：本文整理自阿里云计算平台事业部，实时计算&托管生态 SRE 团队的许雷力（阿里云技术专家）和张韦杰（阿里云开发工程师），在 Flink Forward Asia 2022 生产实践专场的分享。本篇内容主要分为三个部分： 业务背景与挑战 成本优化 - 热点处理 整体规划和未来方向
2023-09-29