BifroMQv2.0.0 版本重磅发布:支持标准集群模式(StandardCluster) 2023年7月,百度天工AIoT团队正式开源高性能分布式MQTT物联网消息中间件,并将其全新命名为BifroMQ。自 BifroMQ 首个版本发布以来,获得海量社区的广泛关注,其中,BifroMQ的集群能力一直备受期待。 通过近三个月的不懈努力,如今正式推出 BifroMQ-v2.0.0版本,新版本首次支持集群模式,我们将其称为标准集群StandardCluster(以下简称StandardC 运维资讯 2023-11-17 大树
BifroMQv2.0.0 发布:支持标准集群模式(StandardCluster) 百度天工 AIoT 团队在 2023 年 7 月正式宣布开源高性能分布式MQTT物联网消息中间件,并将其全新命名为 BifroMQ。历时三个月,BifroMQ-v2.0.0 版本现已发布。 新版本首次支持集群模式,官方将其称为标准集群 StandardCluster(简称 StandardCluster)。主要有以下特性: 集群模式全面支持 MQTT 协议:在集群模式下,每个节点均具备完整的 MQ 运维资讯 2023-11-16 泡泡
Kurator v0.5.0发布,打造统一的多集群备份与存储体验 本文分享自华为云社区《Kurator v0.5.0正式发布! 打造统一的多集群备份与存储体验》,作者: 云容器大未来 。 Kurator 是由华为云推出的开源分布式云原生套件。面向分布式云原生场景,Kurator 旨在为用户提供一站式的解决方案,帮助用户快速构建自己的分布式云原生平台。 在最新发布的 v0.5.0 版本中,Kurator 强化了其在多集群环境中的应用备份与恢复,以及存储管理的功能, 云计算 2023-11-09 宇宙之一粟
Kafka两种集群详解和搭建教程 Kafka是一个能够支持高并发以及流式消息处理的消息中间件,并且Kafka天生就是支持集群的,今天就主要来介绍一下如何搭建Kafka集群。 Kafka目前支持使用Zookeeper模式搭建集群以及KRaft模式(即无Zookeeper)模式这两种模式搭建集群,这两种模式各有各的好处,今天就来分别介绍一下这两种方式。 1,Kafka集群中的节点类型 我们首先需要了解一下,一个Kafka集群是由下列几 开发运维 2023-11-09 醒在深海的猫
深入解析MongoDB的集群部署与容量规划 MongoDB是一种非关系型数据库,已经在许多大型企业中得到广泛应用。与传统的关系型数据库相比,MongoDB具有卓越的灵活性和可扩展性。本文将深入探讨MongoDB集群的部署和容量规划,帮助读者更好地理解和应用MongoDB。 一、MongoDB集群的概念 MongoDB集群是由多个MongoDB实例组成的,实例可以是运行在不同机器上的单个MongoDB进程,也可以是运行在同一机器上的多个Mon 数据运维 2023-11-04 贤蛋大眼萌
我们一起聊聊 B 站 Kafka 探索与实践 1.背景 Kafka 是我们公司各个部门的重要数据中间件,主要用于上报、暂存和分发各种数据。我们不仅支持大数据场景,同时也保障在线场景的稳定性。 我们拥有1000+台Kafka机器,组成了20多个集群,针对不同业务场景配置了不同规格的机器,磁盘类型包括HDD,SSD和NVME。每日PB级输入,输出数十PB,肩负着公司数据传输的重任。随着集群规模的扩张,我们也遇到了越来越多的挑战。 图片 2.面临的 开发运维 2023-11-03 穿过生命散发芬芳
MySQL集群部署与维护项目经验总结 MySQL集群部署与维护项目经验总结 MySQL是互联网应用开发中最常用的数据库之一,随着业务规模不断扩大,单机的MySQL已经无法满足需求,因此需要考虑采用MySQL集群方案来扩展数据库的性能和容量。本文总结了在MySQL集群部署与维护过程中的经验和教训,希望能够对大家的MySQL集群部署和维护工作有所帮助。 一、MySQL集群的部署和架构设计 MySQL集群的部署需要考虑多台服务器之间的数据同 数据运维 2023-11-02 大猫
03.你不得不知道的K8S核心概念 Cluster 在K8S中,Cluster是一个核心概念,它代表了整个K8S管理的节点、命名空间、各类对象和资源的集合,在K8S中,一个Cluster至少包含一个工作结点和一个主节点,这些结点是运行在K8S系统的服务器或者虚拟机,目标是提供一个同一的视图,使得K8S集群成为一个单一的大型计算资源。 也就是说Cluster是K8S中最大的集合,我们平常说的一个K8S集群,指的就是某个Cluster, 云计算 2023-10-27 贤蛋大眼萌
Redis哨兵集群:哨兵挂了,主从库还能切换吗? 通过部署多个哨兵实例,我们构建了一个哨兵集群,这个集群中的多个实例共同协作,以降低对主库下线的误判率。 然而,还有一个重要问题需要考虑:如果哨兵集群中的某个实例发生故障,主从库是否能够继续正常切换呢? 实际上,一旦多个实例组成了哨兵集群,即使有个别哨兵实例出现故障而无法正常运行,其他健康的哨兵实例仍然能够继续协同工作,完成主从库切换的各项任务,包括判断主库的下线状态、选择新的主库,以及通知从库和客 开发运维 2023-10-26 大白菜程序猿
资源池化支持同城dorado双集群切换 资源池化支持同城 dorado 双集群部署方式:dd 模拟(手动部署+无 cm)、cm 模拟(手动部署 dd 模拟+有 cm)、磁阵(手动部署)、集群管理工具部署 1.集群间切换 基于《资源池化+同城dorado双集群》部署方式,集群间切换设计如下: 1.1.主备集群状态 前提条件:已经部署资源池化同城双集群环境 集群中心 端 节点类型 local role run mode 生产中心 主端 数据运维 2023-10-25 竹子爱熊猫
openGauss集群管理组件(CM)浅析 penGauss 作为面向 OLTP 业务的关系型数据库,在主备集群模式下,如何实现对节点的监控,感知故障,实现自动主备切换,保证集群的高可用,是至关重要的,相信大家也非常感兴趣,下面我们就一起来揭秘 openGauss 集群管理组件 Cluster Manager。 【1. 简介】 Cluster Manager(CM)是 openGauss 集群管理组件,是 openGauss 集群高可用的保 数据运维 2023-10-25 泡泡
openGauss5.1数据库管理指南:资源池化同城双中心部署 磁阵操作步骤 登录主集群DeviceManager,选择服务->LUN组->创建 来创建主集群LUN组; 登录主集群DeviceManager,选择数据保护->LUN->远程复制Pair->创建 为xlog卷创建远程复制Pair,执行完成后DeviceManager会在对端自动创建一个与本端xlog卷有同步复制关系的卷; 点击创建好的远程复制Pair,通过操作-> 数据运维 2023-10-24 爱可生开源社区
消息队列之卡夫卡 + EFLFK集群部署 1.Zookeeper 概述 1.1 Zookeeper定义 Zookeeper是一个开源的分布式的,为分布式框架提供协调服务的Apache项目。 1.2 Zookeeper工作机制 Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zooke 系统运维 2023-10-16 剑圣无痕
Elastic Stack 和 Docker Compose 入门:第 2 部分 作者:Eddie Mitchell 欢迎阅读 Elastic® Stack 和 Docker Compose 入门的第二部分。 在第一部分博客中,我们了解了 Docker Compose 的基础知识以及如何将单节点集群建立为本地游乐场,其中包括 Elasticsearch®、Kibana®、Logstash®、Metricbeat 和 Filebeat。 如果你还没有阅读第一篇博客,你可能需要跳过 开发运维 2023-10-16 三掌柜
揭示了关于Lycantrox间谍活动的基础设施 SEKOIA.IO 正在积极监控数百个恶意基础设施集群以保护其客户。鉴于最近的 Citizenlab 博客文章并声援打击网络雇佣兵的努力,我们选择揭露Lycantrox使用的基础设施集群之一,该集群可能会损害其目标。 虽然域模式看起来像是漏洞利用工具包的入口点,但该基础设施的规模表明它的用途更广泛。然而,我们缺乏具体证据来证实这一点。 基础设施的启示 Lycantrox使用的基础设施由托管在多个自 安全运维 2023-10-16 大白菜程序猿
在不安全的集群上启用 Elasticsearch Xpack 安全性 本博文详细描述如何把一个没有启动安全的 Elasticsearch 集群升级为一个带有 HTTPS 访问的启用 Elasticsearch xpack 安全的集群。 为了增强 Elasticsearch 集群的安全性,你需要执行完全集群重启,并在客户端进行一些更改。 启用身份验证后,所有索引和搜索数据的请求都将需要用户名和密码或 token。 安装 如果你还不知道如何安装一个不含有安全的 Elas 开发运维 2023-10-15 泡泡
TiDB监控信息反向代理配置(一个域名可跳转不同集群) 作者:tplinux 原文来源: tidb.net/blog/a1489a… TiDB监控信息反向代理配置 实现目标 同一个域名不同后缀,访问不同集群 例如 tidb-monitor.xx.com/a1 访问a1集群的grafana tidb-monitor.xx.com/a2 访问a2集群的grafana 大事报(dashboard) 需求和访问 同理 不在过多赘述了 需求,生产环境和办公网络隔 系统运维 2023-10-14 大白菜程序猿
记一次 Lightning 导入失败导致的 TiDB 集群重启失败事故处理CSDN博客 作者:代晓磊 原文来源: tidb.net/blog/137913… 记一次Lightning导入失败导致的tidb集群重启失败事故处理 一、需求以及环境 需求:离线报表MySQL分库分表业务迁移TiDB,因为是离线报表,凌晨写入后数据不发生变化,先脚本select into outfile倒出成为多个csv文件,利用lightning快速导入到已有的低请求业务TiDB集群(已经提供线上服务)。 系统运维 2023-10-13 大猫
Lightning for CSV:快速指南CSDN博客 作者:张鱼小丸子-PingCAP 原文来源: tidb.net/blog/f0a95b… 注意事项 在使用 tidb-lightning 前,需注意以下事项: tidb-lightning 运行后,TiDB 集群将无法正常对外提供服务。 集群会变为“导入模式”,并产生大量未压缩的文件,继而消耗 CPU 并导致迟延 (stall)。 若 tidb-lightning 崩溃,集群仍会留在“导入模式” 系统运维 2023-10-13 共饮一杯
软件开发人员 Kubernetes 入门指南|Part 2 在第 1 部分中,我们讲解了 Kubernetes 的核心组件,Kubernetes 是一种开源容器编排器,用于在分布式环境中部署和扩展应用程序;我们还讲解了如何在集群中部署一个简单的应用程序,然后更改其副本数量以扩大或缩小其规模。 在本文中,我们将为您深入讲解 Kubernetes 提供的网络和监控功能,为您将自己的应用推广到具有公开网络服务和良好可观察性的生产环境中做准备。 Kuber 开发运维 2023-10-13 贤蛋大眼萌