Apache Kafka以其有效处理实时数据流的能力而闻名。它是日志聚合、数据管道和事件驱动应用程序等方案的完美选择。 在 Ubuntu 22.04 LTS Jammy Jellyfish 上安装 Apache Kafka 第 1 步。首先，通过在终端中运行以下命令，确保所有系统软件包都是最新的。
2023-09-27
展示Kafka工作方式的简单架构。什么是Kafka？为什么我们要使用它？它是消息队列吗？它是一个 分布式流处理平台或分布式 提交日志。Kafka通常用于实时流数据管道，即在系统之间传输数据，构建不断流动的数据转换系统和构建事件驱动的系统。它确实可以充当消息队列，但不仅限于此。它可以充当FIFO队列、
2023-09-27
日常开发中，相信大家都对 Kafka 有所耳闻，Kafka 作为一个分布式的流处理平台，一般用来存储和传输大量的消息数据。在 Kafka 中有三个重要概念，分别是 topic、partition 和 offset。 topic 是 kafka 中的消息以主题为单位进行归类的逻辑概念，生产者负责将消
2023-09-27
一、什么是Kafka MQ消息队列作为最常用的中间件之一，其主要特性有：解耦、异步、限流/削峰。 Kafka 和传统的消息系统(也称作消息中间件)都具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能。与此同时，Kafka 还提供了大多数消息系统难以实现的消息顺序性保障及回溯消费
2023-09-26
日常开发中，相信大家都对 Kafka 有所耳闻，Kafka 作为一个分布式的流处理平台，一般用来存储和传输大量的消息数据。在 Kafka 中有三个重要概念，分别是 topic、partition 和 offset。topic 是 kafka 中的消息以主题为单位进行归类的逻辑概念，生产者负责将消息发
2023-09-25
一、好久不见 现在是2019年6月12日，距离上一次更新足有一个余月。 这一个多月以来，甚是忙碌。没有时间写作，写博客，写程序。虽然有很多不确定的因素，但最能确定的是，她永远离开我了。为了停止悲痛，我忙到深夜，可每每想起她的一切，还是会想哭。 程序员不需要感性，用理性的头脑才能写好程序。 我端午请假
2023-09-25
介绍 作为一位有着丰富微服务系统处理经验的软件架构师，你可能常常纠结于一个问题：“我应该使用 RabbitMQ 还是 Kafka？”虽然许多开发人员可能认为这两种技术是可以互换的，但事实上，RabbitMQ 和 Kafka 之间存在根本性的差异，而选择错误的方案可能会严重影响系统的开发和维护。 在本
2023-09-22
Golang微服务框架Kratos应用Kafka消息队列 消息队列是一种异步的服务间通信方式，适用于无服务器和微服务架构。消息在被处理和删除之前一直存储在队列上。每条消息仅可被一位用户处理一次。消息队列可被用于分离重量级处理、缓冲或批处理工作以及缓解高峰期工作负载。 消息队列是大型分布式系统不可缺少
2023-09-21
这里是weihubeats,觉得文章不错可以关注公众号小奏技术，文章首发。拒绝营销号，拒绝标题党 Kafka version kafka_2.13-3.5.0 Kafka 监控 Kafka自带JMX监控 JMX我们不用过多介绍，如果你用过Spring Boot Actuator就算用过JMX，
2023-09-16
Kafka 上 前言： Active Mq 似乎已经被Kafak替代了？🤔，确实现在项目似乎大多数都是由了Kafka这样的消息日志存储中心。那么我们就来学习一下kafka的知识吧。长话短说，我们开始认识一下Kafka吧！ 介绍 kafka的核心： 事件流（event stream），它可用于一些
2023-09-12
前言 Kafka 是一个高性能的消息队列。在有 Netty 这么成熟的网络扩建之后，kafka 的客户端和服务端都没有使用 netty 作为网络框架，而是自己完全实现了一个网络层的通信。我能找到的的原因上面说 1 是为了更好的性能 2 是因为 kafka 本身引用了各种各样的 jar 包，而这些 j
2023-09-12
这里是weihubeats,觉得文章不错可以关注公众号小奏技术，文章首发。拒绝营销号，拒绝标题党 背景 kafka在KIP-500引入了KRaft替代Zookeeper来实现自我管理元数据 详细信息可以看原文链接 KIP-500 KRaft简介 KRaft是kafka用来取代zookeeper
2023-09-07
前言 Netty 作为 java 中最成功的网络框架，里面包含了很多的设计理念和方式。后续希望针对 Netty 学习下如何实现高性能、易扩展、使用简单的网络底层框架。我开始看 kafka 的还觉得很奇怪，为什么 kafka 不使用 netty 而是自己实现了一套底层网络。后面发现开始其实是使用了 n
2023-09-04
1：下载镜像。 // 选一个下载 docker pull wurstmeister/kafka docker pull zookeeper 2:创建通信网络。因为zookeeper和kafka之间的通信，我们可以运用docker内部容器通信机制先新建一个网络。 [root@sz-ben-dev-0
2023-09-02
KubeBlocks v0.6.0 版本正式发布了！ 此版本引入了流计算引擎 Kafka、Pulsar 和向量数据库 Qdrant、Weaviate、Milvus，支持了 MySQL 读写分离，提升了交互式的参数管理体验。 Highlights KubeBlocks 支持了 Kafka v3.3
2023-08-29
Kafka 是一个优秀的分布式消息中间件，许多系统中都会使用到 Kafka 来做消息通信。对分布式消息系统的了解和使用几乎成为一个后台开发人员必备的技能。今天码哥字节就从常见的 Kafka 面试题入手，和大家聊聊 Kafka 的那些事儿。思维导图讲一讲分布式消息中间件问题什么是分布式消息中间件？消息
2023-08-28
kafka简介 Kafka是一个分布式流处理平台，最初由LinkedIn公司开发。它允许我们将消息从一个应用程序传递到另一个应用程序，同时提供可扩展性和容错性。Kafka的设计目标是处理大量数据流，并提供快速、可靠的数据传输。 Kafka的核心概念 Kafka的消息队列由以下几个核心概念组成： Pr
2023-08-28
作者 | Andreas Evers编译 | 言征长期以来，数据库一直充当着记录系统，它们以可靠且持久的方式存储和管理关键数据，也赢得了大多数公司的信赖。但时代在变。许多新兴趋势正在影响当今数据的存储和管理方式，不得不让一些技术决策者们重新考虑数据存储究竟还有哪些创新途径。或许，关系型数据库开始变得
2023-08-27
前言 上周在进行自测的时候，kafka抛出一个RecordTooLargeException异常，从名字我们可以直接看出是消息太大了，导致发不出去而抛出异常，那么怎么应该怎么解决这个问题呢，其实很简单，要么将消息拆分得小一点，要么调节kafka层面的参数，依然它抛出这个异常，那么就证明超过了某个参数
2023-08-22
本文翻译自国外论坛 medium，原文地址：medium.com/better-prog…，原文作者：Eran Stiller 介绍 作为一名有着大量微服务系统处理经验的软件架构师，我经常遇到一个不断重复的问题：“我应该使用 RabbitMQ 还是 Kafka？”出于某种原因，许多开发人员认为这些技
2023-08-18