在我们旅行于数据海洋的途中，如果把 Kafka 比作是一艘承载无数信息航行的快船，前文《Kafka实战漫谈：大数据领域的不败王者》已经讲述了如何搭建起这艘快船，让它在起风的早晨开始了第一次航行。但随着大浪的拍打，我们必须让它做好准备，以应对那些未知的暴风雨。今天，我们来谈谈如何让这艘快船变得更强壮—
2023-12-18
1 特征2 入门快速启动（演示运行）持久安装设置 git3 配置向导动态应用程序配置4 数据脱敏主题数据脱敏5 自定义可插拔 serde 注册传送门Apache Kafka UI 是一个免费的开源 Web UI，用于监控和管理 Apache Kafka 集群，可方便地查看 Kafka Brokers
2023-12-15
本期概要 在开源的第二个双周里，作为一个成长中的开源项目，AutoMQ做了很多的优化和重构，以下是相关重点动态的总结。 AutoMQ Kafka：写链路耗时优化、快慢读隔离、Spot 实例强制回收容灾。 AutoMQ RocketMQ：历史数据冷读优化、LogCache 读写耗时优化、发布 v0.
2023-12-13
作者丨Andrew Mills编译丨诺亚关于Kafka到底能否被认为是数据库的讨论由来已久。支持方认为，Kafka不应该仅仅是一个消息队列，其工作机制涉及到海量数据的存储与处理，根据需求Kafka 是可以作为数据库来使用的。而反对方则表示，Kafka 没有传统数据库的数据模型，也不能很好地支持查询优
2023-12-10
备选架构1 - 开源方案评估kafka：人力成本：测试代表倾向于引入 Kafka，因为 Kafka 比较成熟，无须太多测试投入。中间件团队部分研发人员也支持使用 Kafka，因为使用 Kafka 能节省大量的开发投入。可维护性：Kafka 是 Scala 语言编写的，运维团队没有维护 Scala 语
2023-11-30
作者 | 蔡柱梁审校 | 重楼目录前言可靠性分析副本设计leader选举机制日志同步机制1 前言本文里面涉及到较多基础概念，如果忘记了，那么可以去看下《一文带你快速入门kafka》。对于一个消息中间件而言，可靠性是是至关重要的要素之一。不管是面试或者实际工作中，我们都不得不面对几个问题：是几个九？消
2023-11-17
Kafka是一个能够支持高并发以及流式消息处理的消息中间件，并且Kafka天生就是支持集群的，今天就主要来介绍一下如何搭建Kafka集群。 Kafka目前支持使用Zookeeper模式搭建集群以及KRaft模式（即无Zookeeper）模式这两种模式搭建集群，这两种模式各有各的好处，今天就来分别介绍
2023-11-09
在众多的消息中间件中，Kafka 的性能和吞吐量绝对是顶尖级别的，那么问题来了， Kafka 是如何做到高吞吐的。在性能优化方面，它使用了哪些技巧呢？下面我们就来分析一下。以'批'为单位批量处理是一种非常有效的提升系统吞吐量的方法，操作系统提供的缓冲区也是如此。在 Kafka 内部，消息处理是以"批
2023-11-07
1.背景Kafka 是我们公司各个部门的重要数据中间件，主要用于上报、暂存和分发各种数据。我们不仅支持大数据场景，同时也保障在线场景的稳定性。我们拥有1000+台Kafka机器，组成了20多个集群，针对不同业务场景配置了不同规格的机器，磁盘类型包括HDD，SSD和NVME。每日PB级输入，输出数十P
2023-11-03
Kafka 介绍Kafka 是一个开源的分布式流式平台，它可以处理大量的实时数据，并提供高吞吐量，低延迟，高可靠性和高可扩展性。Kafka 的核心组件包括生产者（Producer），消费者（Consumer），主题（Topic），分区（Partition），副本（Replica），日志（Log），偏
2023-10-24
作者丨Andrew Mills编译丨云昭调整或扩展Kafka以获得最佳成本和性能的第一步是了解数据流平台如何使用资源。这里给一些实用的建议。实现Apache Kafka的团队，或者扩展他们对强大的开源分布式事件流平台的使用，通常需要帮助理解如何根据他们的需求正确地调整和扩展Kafka资源。这可能很棘
2023-10-23
Apache Kafka 是一个分布式流处理平台，也是一种高性能、可扩展的消息系统。它在处理海量数据时表现出色，而且易于使用和部署。Apache Kafka 是一种分布式发布-订阅消息系统，由 LinkedIn 公司开发。它具有高性能、高并发、可扩展等特点，适合用于大型实时数据处理场景。Kafka
2023-10-23
本篇论文发表于2011年，应该是 Kafka 在 Linkedin 内部应用不久便发布的（可以从论文中的描述得知，可能更接近0.7版本），所以对于 Kafka 的架构设计及部分功能的与后续被广泛使用时会有显著差距，但核心的内容并无二致。 Kafka 诞生的初衷是用于处理海量的日志数据，所以相较传统的
2023-10-16
准备Kafka 下载Kafka 💡这里以Kafka 3.5.0为例。Kafka的运行依赖Zookeeper，但由于现在的Kafka版本都内置了Zookeeper，因此无需额外配置。 前往Apache Kafka官网下载kafka_2.13-3.5.0.tgz。 解压Kafka 将下载的Kafka
2023-10-16
Apache Kafka广泛应用于处理实时数据流，其中ISR（In-Sync Replicas）机制起到关键作用，确保数据可靠性和系统高可用性。本文将深入探讨ISR机制，对其原理和源码进行剖析，并展示如何在Spring Cloud环境下实现和利用ISR。 ISR机制原理 Kafka的数据分散存储在不
2023-10-13
Spring Boot 和 Apache Kafka Streams 是两个强大的工具，它们使开发人员能够创建可靠且可扩展的实时数据处理应用程序。在这篇文章中，我们将了解 Spring Boot 和 Kafka Streams 如何协同工作，如何利用流处理来发挥应用程序的优势。还将探索交互式查询，这
2023-10-11
前言 kafka 官方文档浅读，好吃力。已经有大半个月没有更新了，记录一下kafak相关的内容。 konwlage Kafka不是一个传统的消息传递系统，而更类似于一个持久性的分布式发布订阅消息日志。 那么kafka一般将数据持久化在哪里呢？ kafka的持久化数据存储通常存储在称为"日志目录"（l
2023-10-11
这里是weihubeats,觉得文章不错可以关注公众号小奏技术，文章首发。拒绝营销号，拒绝标题党 kafka版本 kafka_2.13-3.5.0 背景 继之前Linux Kafka 3.5 KRaft模式集群部署:weihubeats.blog.csdn.net/article/det… 我
2023-10-09
安装zookeeper 下载镜像：docker pull zookeeper:3.4.14 创建容器：docker run -d --name zookeeper -p 2181:2181 zookeeper:3.4.14 安装kafka 下载容器：docker pull wurstmeiste
2023-10-05
背景 今日练习kafka相关操作，但是却爆出了Failed to create new KafkaAdminClient的错误 控制台看不出什么，于是我又看了下docker中kafka的日志 主要是这一行：org.apache.kafka.common.network.InvalidReceive
2023-10-05