今天配置的是一个2.5.0的一个kafka集群，新的版本将废弃zookeeper，今天不讨论新版本有一个私有的云环境，业务需求希望通过公网向kafka发送数据，使用SCRAM-SHA-256加密，内网仍然需要能够正常访问， 而其中，需要通过DNAT的方式来映射内网端口暴漏给互联网。而在做映射的时候，
2023-07-15
我是 javapub，一名 Markdown 程序员从👨💻，八股文种子选手。 《面试1v1》 连载中... 面试官： 嗨，欢迎来到我们的面试！今天我们要聊一聊Kafka基础。你对Kafka有了解吗？ 候选人： 嗨！当然有啦，Kafka是一个分布式流处理平台，用于高吞吐量、低延迟的数据传输和处理
2023-07-14
1、引言 在大数据时代，实时数据处理和流式数据分析变得越来越重要。为了应对大规模数据的高吞吐量和低延迟处理需求，出现了各种分布式流处理平台。其中，Apache Kafka作为一种高性能、可扩展的分布式消息系统，成为了广泛应用于实时数据处理和数据管道的核心组件。 2、Kafka概念 Apache
2023-07-14
消息中间件如何选型 RabbitMQ erlang开发，对消息堆积的支持并不好，当大量消息积压的时候，会导致 RabbitMQ 的性能急剧下降。每秒钟可以处理几万到十几万条消息。 RocketMQ java开发，面向互联网集群化功能丰富，对在线业务的响应时延做了很多的优化，大多数情况下可以做到毫秒级
2023-07-14
背景 线上kafka集群，3台机器，3个broker；其中某台机器因为硬件故障，需要停机维修；停机意味这跑在机器上的服务会停止。所以本次做kafka迁移的目标 是机器可以停止但依赖kafka的上游和下游业务可不能停止，因为所属行业的特殊性，服务的停止，对业务的影响和伤害还蛮大的。 分析 我们知道ka
2023-07-14
Apache Kafka 是一款流行的分布式数据流平台，它已经广泛地被诸如 New Relic（数据智能平台）、Uber、Square（移动支付公司）等大型公司用来构建可扩展的、高吞吐量的、且高可靠的实时数据流系统。例如，在 New Relic 的生产环境中，Kafka 群集每秒能够处理超过 150
2023-07-12
现实业务中，Kafka经常会遇到的一个集成场景就是，从数据库获取数据，因为关系数据库是一个非常丰富的事件源。数据库中的现有数据以及对该数据的任何更改都可以流式传输到Kafka主题中，在这里这些事件可用于驱动应用，也可以流式传输到其它数据存储（比如搜索引擎或者缓存）用于分析等。实现这个需求有很多种做法
2023-07-12
Kafka 是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的 Kafka 集群甚至可以做到每秒几十万、上百万的超高并发写入。Kafka 的一些架构设计原理，这也是互联网公司面试时非常高频的技术考点。Kafka 到底是如何做到这么高的吞吐量和性能的呢?这篇文章我们来
2023-07-12
大数据传输都会想到 Kafka，Kafka 号称大数据的杀手锏，在业界有很多成熟的应用场景并且被主流公司认可。这款为大数据而生的消息中间件，以其百万级TPS的吞吐量名声大噪，迅速成为大数据领域的宠儿，在数据采集、传输、存储的过程中发挥着举足轻重的作用。在业界已经有很多成熟的消息中间件如：Rabbit
2023-07-10
Kafka 是消息队列中间件的代表产品，它与RocketMQ和RabbitMQ最大的区别在于：在某些场景，可以弃用Flink、Spark这样的计算引擎，借助Kafka Stream轻松实现数据处理。也即，Kafka不仅是消息引擎系统，也是分布式流处理平台。最新版本 3.0的发布，使得Kafka这一定
2023-07-10
来源丨华仔聊技术（ID：gh_97b8de4b5b34）聊聊 Kafka 是如何封装 Selector 多路复用器的，本系列总共分为3篇，今天是中篇，主要剖析4、5两个问题：针对 Java NIO 的 SocketChannel，kafka 是如何封装统一的传输层来实现最基础的网络连接以及读写操作的
2023-07-10
引言在探究 Kafka 核心知识之前，我们先思考一个问题：什么场景会促使我们使用 Kafka? 说到这里，我们头脑中或多或少会蹦出异步解耦和削峰填谷等字样，是的，这就是 Kafka 最重要的落地场景。异步解耦：同步调用转换成异步消息通知，实现生产者和消费者的解耦。想象一个场景，在商品交易时，在订单
2023-07-10
前提：搭建好了helm和tiller这两个软件，这里将使用helm来安装zookeeper和kafka(主要是kafka要依赖zookeeper)。 大纲： 一、tiller搭建的repo仓库的开启(博主暂时采用的方案) 二、搭建的大致思路(因为。。。所以。。。) 三、zookeeper的char包
2023-07-09
针对于Kafka集群监控，目前有多种监控源Kafka Exporter以及Jmx Exporter。想要完整的监控Kafka最好的情况下是把这两个metric都添加进行监控 Kafka Exporter metric数据如下 Metric 作用 kafka_topic_partitions 该top
2023-05-28
消息队列 Kafka 是一个分布式的、高吞吐量、高可扩展性消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等，是大数据生态中不可或缺的产品之一。Apache Kafka起源于LinkedIn，后来于2011年成为开源Apache项目，然后于2012年成为First-clas
2023-05-04
1. Logstash 的基本原理Logstash 是一个用于数据传输和处理的组件。通过插件的组合，Logstash 可以满足各种日志采集的场景：logstash->elasticsearchfilebeat->logstash->elasticsearchfilebeat->
2023-01-04