摘要：本文整理自联通数科实时计算团队负责人、Apache StreamPark Committer 穆纯进在 Flink Forward Asia 2022 平台建设专场的分享，本篇内容主要分为四个部分： 实时计算平台背景介绍 Flink 实时作业运维挑战 基于 StreamPark 一
2023-07-17
前言 Flink 提供的Metrics可以在Flink 内部收集一些指标，通过这些指标可以让开发人员更好地理解作业或集群的状态。 但Flink 内置的Metrics更多的是查看任务的实时状态，要是想持久化这些指标，就需要借助于flink-metrics-prometheus，下面将展示一下prome
2023-07-16
1.简介 之前部署了flink operator，并将spark 作业提交到了k8s之上，但是也仅仅达到了能用的程度，距离生产落地还有一些内容需要调整。 2.Flink 作业日志持久化 当flink运行出错的时候，或者我们要分析flink运行状态的时候，运行日志是我们排查问题的重要依据。flink
2023-07-16
1.简介 大家都知道，Flink 是一个有状态的分布式流式计算引擎，flink 中的每个function或者是operator都可以是有状态的，为了使得状态可以容错，flink引入了checkpoint机制。checkpoint使得flink能够恢复作业的状态和位置，从而为作业提供与无故障执行相同的
2023-07-16
1.简介 无论是我们自己开发的系统，还是各种中间件，高可用部署可以避免单点故障，是生产运行的必备要求。对于flink作业也一样，我们开发好的flink 作业，部署到生产环境，也需要高可用的方式来运行。 Flink的高可用，指的就是job manager的高可用，默认情况下，每个 Flink 集群只有
2023-07-16
1.Flink HistoryServer用途 HistoryServer可以在Flink 作业终止运行（Flink集群关闭）之后，还可以查询已完成作业的统计信息。此外，它对外提供了 REST API，它接受 HTTP 请求并使用 JSON 数据进行响应。Flink 任务停止后，JobManager
2023-07-16
1.简介 我们在实际使用flink的过程中，不仅使用java开发flink作业，同时也会直接使用flink SQL，通过编写SQL的方式，来实现flink作业。本文就基于Flink 官方提供的 Kubernetes Operator，来实现flink sql在k8s上的运行。 2.程序功能示意图 开
2023-07-16
Table API 和 SQL 是最上层的API，在Flink中这两种API被集成在一起，SQL执行的对象也是Flink中的表（Table），所以我们一般会认为它们是一体的。Flink是批流统一的处理框架，无论是批处理（DataSet API）还是流处理（DataStream API），在上层应用中
2023-07-14
摘要：本文主要介绍flink常用的输出算子，和自定义输出算子；可以输出到其他系统、DB或者文件。 简介 Flink 作为数据处理框架，最终还是要把计算处理的结果写入外部存储，为外部应用提供 支持。 连接到外部系统 主要使用flink提供的sink算子，直接输出到外部系统，官方提供的nightl
2023-07-14
摘要：本文整理自 StarRocks 社区技术布道师谢寅，在 Flink Forward Asia 2022 实时湖仓的分享。本篇内容主要分为五个部分： 极速数据分析 实时数据更新 StarRocks Connector For Apache Flink 客户实践案例 未来规划 点击查看原文视
2023-07-14
摘要：本文整理自快手数据架构工程师张芒，阿里云工程师刘大龙，在 Flink Forward Asia 2022 生产实践专场的分享。本篇内容主要分为四个部分： Flink 流批一体引擎 Flink Batch 生产实践 核心优化解读 未来规划 点击查看原文视频 & 演讲PPT 一、Fl
2023-07-14
Flink入门系列文章主要是为了给想学习Flink的你建立一个大体上的框架，助力快速上手Flink。学习Flink最有效的方式是先入门了解框架和概念，然后边写代码边实践，然后再把官网看一遍。 Flink入门分为四篇，第一篇是《了解Flink》，第二篇《架构和原理》，第三篇是《DataStream》，
2023-07-14
下载blink源码git clone -b blink https://github.com/apache/flink.git找到项目flink-dist执行install命令要安装flink-dist项目之前，你得先安装flink-librariesflink-shaded-hadoopflink
2023-07-11