摘要：本文整理自联通数科实时计算团队负责人、Apache StreamPark Committer 穆纯进在 Flink Forward Asia 2022 平台建设专场的分享，本篇内容主要分为四个部分： 实时计算平台背景介绍 Flink 实时作业运维挑战 基于 StreamPark 一体化管理 未来规划与演进 点击查看原文视频 & 演讲PPT 一、实时计算平台背景介绍 上图是实时计算平台

前言 Flink 提供的Metrics可以在Flink 内部收集一些指标，通过这些指标可以让开发人员更好地理解作业或集群的状态。 但Flink 内置的Metrics更多的是查看任务的实时状态，要是想持久化这些指标，就需要借助于flink-metrics-prometheus，下面将展示一下prometheus监控flink的配置。 配置pushgateway Prometheus 在正常情况下是采

1.简介 之前部署了flink operator，并将spark 作业提交到了k8s之上，但是也仅仅达到了能用的程度，距离生产落地还有一些内容需要调整。 2.Flink 作业日志持久化 当flink运行出错的时候，或者我们要分析flink运行状态的时候，运行日志是我们排查问题的重要依据。flink operator运行的flink 作业，默认情况下，日志文件只保存在pod容器中，随着容器的销毁，对

1.简介 大家都知道，Flink 是一个有状态的分布式流式计算引擎，flink 中的每个function或者是operator都可以是有状态的，为了使得状态可以容错，flink引入了checkpoint机制。checkpoint使得flink能够恢复作业的状态和位置，从而为作业提供与无故障执行相同的语义。 CheckPoint的触发和状态数据管理主要由JobManager负责，JobManager

1.简介 无论是我们自己开发的系统，还是各种中间件，高可用部署可以避免单点故障，是生产运行的必备要求。对于flink作业也一样，我们开发好的flink 作业，部署到生产环境，也需要高可用的方式来运行。 Flink的高可用，指的就是job manager的高可用，默认情况下，每个 Flink 集群只有一个 JobManager 实例。这会导致 单点故障：如果 JobManager 崩溃，则不能提交任

1.Flink HistoryServer用途 HistoryServer可以在Flink 作业终止运行（Flink集群关闭）之后，还可以查询已完成作业的统计信息。此外，它对外提供了 REST API，它接受 HTTP 请求并使用 JSON 数据进行响应。Flink 任务停止后，JobManager 会将已经完成任务的统计信息进行存档，History Server 进程则在任务停止后可以对任务统计

1.简介 我们在实际使用flink的过程中，不仅使用java开发flink作业，同时也会直接使用flink SQL，通过编写SQL的方式，来实现flink作业。本文就基于Flink 官方提供的 Kubernetes Operator，来实现flink sql在k8s上的运行。 2.程序功能示意图 开发一个通用的flink sql运行程序，通过向程序的启动类传参的方式，将sql脚本的路径传给程序，然

Table API 和 SQL 是最上层的API，在Flink中这两种API被集成在一起，SQL执行的对象也是Flink中的表（Table），所以我们一般会认为它们是一体的。Flink是批流统一的处理框架，无论是批处理（DataSet API）还是流处理（DataStream API），在上层应用中都可以直接使用Table API或者SQL来实现；这两种API对于一张表执行相同的查询操作，得到的结

摘要：本文主要介绍flink常用的输出算子，和自定义输出算子；可以输出到其他系统、DB或者文件。 简介 Flink 作为数据处理框架，最终还是要把计算处理的结果写入外部存储，为外部应用提供 支持。 连接到外部系统 主要使用flink提供的sink算子，直接输出到外部系统，官方提供的nightlies.apache.org/flink/flink… 我们最常用的就是输出到消息队列或者数据库，按照官方

摘要：本文整理自 StarRocks 社区技术布道师谢寅，在 Flink Forward Asia 2022 实时湖仓的分享。本篇内容主要分为五个部分： 极速数据分析 实时数据更新 StarRocks Connector For Apache Flink 客户实践案例 未来规划 点击查看原文视频 & 演讲PPT 一、极速数据分析 统一 OLAP 分析的趋势，以及 StarRocks 极速查

摘要：本文整理自快手数据架构工程师张芒，阿里云工程师刘大龙，在 Flink Forward Asia 2022 生产实践专场的分享。本篇内容主要分为四个部分： Flink 流批一体引擎 Flink Batch 生产实践 核心优化解读 未来规划 点击查看原文视频 & 演讲PPT 一、Flink 流批一体引擎 1.1 Lambda 架构 首先，介绍一下我们选择 Flink 作为流批一体引擎的思

Flink入门系列文章主要是为了给想学习Flink的你建立一个大体上的框架，助力快速上手Flink。学习Flink最有效的方式是先入门了解框架和概念，然后边写代码边实践，然后再把官网看一遍。 Flink入门分为四篇，第一篇是《了解Flink》，第二篇《架构和原理》，第三篇是《DataStream》，第四篇是《Table Api & SQL》。 官网地址nightlies.apache.or

下载blink源码 git clone -b blink https://github.com/apache/flink.git 找到项目flink-dist执行install命令 要安装flink-dist项目之前，你得先安装 flink-libraries flink-shaded-hadoop flink-connectors flink-yarn-shuffle flink-queryab