Kafka 如何基于 KRaft 实现集群最终一致性协调 一、架构概览 Zookeeper 提供了配置服务、分布式同步、命名服务、Leader 选举和集群管理等功能,在大数据时代的开始很多开源产品都依赖 Zookeeper 来构建,Apache Kafka 也不例外。但是随着 Kafka 功能的演进和应用的场景越来越多: 基于 Zookeeper 的协作模式,使得 Kafka 的集群一致性维护越来越复杂; 受到 Zookeeper 性能的限制,使得 开发运维 2024-06-04 爱可生开源社区
负载均衡与容错性:集群模式在分布式系统中的应用 1.引言 大家好,我是小米,一个热爱分享技术的29岁程序员。今天我们来聊一聊分布式系统中的一个重要概念:集群(Cluster)模式。相信很多朋友在日常开发中都接触过集群,但对它的内部机制和实现细节可能了解不深。没关系,今天我们就深入探讨一下这个话题,希望能帮助大家更好地理解和应用集群模式。 图片 2.什么是集群模式? 简单来说,集群模式就是将多个服务器节点组合在一起,形成一个整体,共同提供服务。这 开发运维 2024-06-03 法医
OB 运维 | 一文讲透 OceanBase 单机版 引言 OceanBase 单机集中式集群(即单机版,后文不再称“单机集中式集群”)是OceanBase 推出的极简数据库架构,区别于分布式集群架构,单机版无多副本和扩缩容能力,适用于开发测试环境及数据安全性要求不高的业务系统。 OceanBase 社区版和企业版都支持单机版部署,相关区别如下。 图片 主备集群: OceanBase v4.1.0 之前,物理备库的产品形态为集群级主备。集群有两种角色 数据运维 2024-05-31 Escape
OB 运维 | 一文讲透 OceanBase 单机版【建议收藏】 引言 OceanBase 单机集中式集群(即单机版,后文不再称“单机集中式集群”)是OceanBase 推出的极简数据库架构,区别于分布式集群架构,单机版无多副本和扩缩容能力,适用于开发测试环境及数据安全性要求不高的业务系统。 OceanBase 社区版和企业版都支持单机版部署,相关区别如下。 主备集群: OceanBase v4.1.0 之前,物理备库的产品形态为集群级主备。 集群有两种角色:主 数据运维 2024-05-31 捡田螺的小男孩
OB 运维 | 一文讲透 OceanBase 单机版:架构介绍、部署流程、性能测试、MySQL对比、资源配置等等 引言 OceanBase 单机集中式集群(即单机版,后文不再称“单机集中式集群”)是OceanBase 推出的极简数据库架构,区别于分布式集群架构,单机版无多副本和扩缩容能力,适用于开发测试环境及数据安全性要求不高的业务系统。 OceanBase 社区版和企业版都支持单机版部署,相关区别如下。 主备集群: OceanBase v4.1.0 之前,物理备库的产品形态为集群级主备。 集群有两种角色:主 数据运维 2024-05-30 LOVEHL^ˇ^
行业内首次实现国产 GPU 从 0 到 1 的端到端 AI 大模型实训 摩尔线程、无问芯穹今天联合宣布,双方已经正式完成基于国产全功能 GPU 千卡集群的 3B 规模大模型“MT-infini-3B”实训,该模型基于摩尔线程国产全功能 GPU MTT S4000 组成的千卡集群,以及无问芯穹的 AIStudio PaaS 平台打造。 据悉,这次的 MT-infini-3B 模型训练总共用时 13.2 天,全程稳定无中断,集群训练稳定性达到 100%,千卡训练和单机相比 运维资讯 2024-05-27 贤蛋大眼萌
MySQL集群最全详解 MySQL集群 MySQL集群是为了解决单一 MySQL 服务器性能瓶颈、提高数据库的可用性、和扩展性而设计的一种解决方案。 采用MySQL集群模式,主要可以解决4大问题: 1. 性能提升:通过将负载分散到多个服务器,集群可以显著提升数据库的读、和写的性能; 2. 高可用性:集群模式提供冗余和故障转移机制,比如:当某个节点发生故障时,其他节点可以接管其工作; 3. 扩展性:集群可以通过添加更多节点 数据运维 2024-05-27 张二河
OB 4.2 集群手动部署方法 OB 集群(包括 OBProxy)的手动部署方法,是入门 OB 运维的第一道门槛,是理解 OBD、OCP 以及 OBSHELL 等工具产品自动化部署 OB 集群的原理的关键,也是解决常见 OB 部署失败问题的关键。 只有 2 台服务器,组建一个 OB 集群没有意义(缺一台)。为了容灾,架构选择 OB DataGuard 方案。在 4.2 版本里,主备的粒度是租户,所以部署 2 个独立的单副本 OB 数据运维 2024-05-22 Escape
多点 x TiDB:在出海多云多活架构中,多点运维 TiDB 的实战分享 目前,多点在国内和出海都有使用 TiDB 的业务,线上生产环境中共有 46 套 TiDB 集群,300+节点,400TB+ 数据量。这些集群支撑着包含业财融合、TMS、结算、采销、物流、库存凭证、履约、存货核算等在内丰富的业务场景。底层的云资源也根据各地业务需求,选择了腾讯云、华为云、微软云、火山云等众多公有云。 多点大概有二十多个线上生产环境,上图是其中一个环境的部分 TiDB 集群,从中能看出 数据运维 2024-05-15 竹子爱熊猫
PostgreSQL+repmgr集群部署(一主一备一仲裁) 前言: repmgr是一套开源工具,用于管理 PostgreSQL 服务器集群内的复制和故障转移。repmgr 支持并增强了 PostgreSQL 的内置流复制,它提供了一个单一的读/写主服务器和一个或多个只读备用服务器。 repmgr 流复制管理工具对 PostgreSQL 集群节点的管理是基于分布式的管理方式。集群每个节点都具备一个 repmgr.conf 配置文件,用来记录本节点的 ID、节 数据运维 2024-05-12 LOVEHL^ˇ^
什么是数据库集群?本文带您了解 数据库集群是什么?目前随着网络的逐渐发展,需要存储的数据越来越多,许多大型的企业选择用数据库集群来提高数据库的可靠性,数据库集群通过实现读写分离来提高数据库的性能。那么,什么是数据库集群呢?数据库集群又有哪些特点呢?本文将为你详细讲解。 数据库集群由两台或者多台数据库服务器组成,如果只有一台数据库服务器则不能称之为集群。另外,集群有着透明的服务模式,即集群向客户端提供的服务与单机系统向客户端提供的 数据运维 2024-05-07 剑圣无痕
OB技术直播间 | 从0到1手把手教你搭建高可用的OceanBase数据库集群 摘要 :本文整理自OceanBase技术直播间第一期,本期庆涛来带你手把手搭建一个高可用的OceanBase数据库集群。您可以关注“OceanBase”公众号回复“0423”获取直播PPT。想不错过下一场直播,欢迎加入OceanBase钉钉互动群:搜索群号21949783 前言 目前有关OceanBase功能、案例、故事的文章已经很多,对OceanBase感兴趣的朋友都想安装一个数据库试试。本文就 数据运维 2024-05-07 向阳逐梦
OceanBase 性能诊断(一) 大部分 OceanBase 的用户在碰到性能问题时容易束手无策。用户可能会熟悉自己的业务 SQL ,但不熟悉 OceanBase 。熟悉 OceanBase 的人员可能不熟悉业务 SQL。这之间有个“鸿沟”需要填补。 本文就是为此而写──分享如何快速定位业务性能问题。 排除集群环境不稳定因素 OceanBase 集群有强一致和高可用能力,其次才是高性能。用户容易理解高性能,可能不理解强一致和高可用 数据运维 2024-05-07 大树
新功能指南 | 快来看看 OCP V3.1.1 有哪些惊喜! 近期,OceanBase 云平台(OceanBase Cloud Platform,OCP)发布了 V3.1.1版本。下面,我们就为大家揭开 OCP V3.1.1 版本的神秘面纱,看一看,OCPV3.1.1 版本为我们带来了什么惊喜吧~ OCP多集群模式 OCP 多集群模式指异地多集群部署,为您提供跨城 OceanBase 主备集群的管理。可以运维跨 OCP 集群的 OceanBase 主备集群, 数据运维 2024-05-07 三掌柜
真香,使用 OBD 启动和停止 OceanBase 集群,速度快的飞起来 作者简介:海芊,一个致力于当网红的 OceanBase 文档工程师。 个人频道:Amber loves OB OBD 全称 OceanBase Deployer,从名称可以看出来是 OceanBase 的安装部署工具。OBD 同时也是包管理器,可以用来管理 OceanBase 所有的开源软件。本文将为大家介绍 OBD 的基本操作,即如何使用 OBD 启动和停止 OceanBase 集群。 P.S. 数据运维 2024-05-07 贤蛋大眼萌
如何借助OBD,用极简方式为 OceanBase 集群扩容? 作者简介:海芊,一个致力于当网红的 OceanBase 文档工程师。 个人频道:Amber loves OB 本文将介绍如何把 1-1-1 的集群扩容成 2-2-2 的集群。 手动启动 OceanBase 进程固然没错,但是有没有更简便的方式呢?答案是肯定的! 今天就来教大家借助 OBD 完成集群扩容。亲测有效,快点上车吧~~ P.S. 配合视频教程一起食用效果更佳噢~~视频教程,点击 Ocean 数据运维 2024-05-07 向阳逐梦
OceanBase 社区版OBD部署示例 作者简介:海南,致力于成为在国产数据库留下名字的知名数据库狂热爱好者。 如何把 1-1-1 的集群扩容成 2-2-2 的集群。 有同学说直接手动启动 OceanBase 进程就可以了,那还有没有别的、更简便的方式呢? 必须有! 今天就来教大家如何借助 OBD ,简单高效快速完成集群扩容!车速较快,抓紧占座! 环境信息 搭建三节点(1-1-1) 本次使用笔记本上的虚拟机方式部署,配置如下: 注:内存 数据运维 2024-05-07 大白菜程序猿
实战教程第二章:如何部署 OceanBase 社区版章节介绍 本章主要介绍如何手动或自动部署 OceanBase 社区版集群,包括单副本和三副本集群。 本章目录 2.1 部署准备 2.2 如何快速体验 OceanBase 2.3 如何规划 OceanBase 集群部署 2.4 如何初始化服务器环境 2.5 如何安装 OBD 自动化部署软件 2.6 如何使用 OBD 自动化部署单节点集群 2.7 如何使用 OBD 自动化部署多节点集群 2.8 如何查看和修改 数据运维 2024-05-07 泡泡