Docker容器化2023版本——Docker Swarm 现在我们知道如何安装Docker、拉取镜像以及使用容器,接下来我们需要一种在规模上进行所有操作的方式。这就是Docker Swarm发挥作用的地方。 和往常一样,我们将把本章分成三个部分: 概述(TLDR) 深入探讨(Deep Dive) 命令(Commands) Docker Swarm - 简要概述 Docker Swarm是两个方面的东西: 企业级安全的Docker主机集群 微服务应用的编排 系统运维 2023-10-03 大树
打造一个亿级平台的 Hbase集群 (笔记) 概念 分布式key-value数据库,面向数十亿数据的实时入库与快速的随机访问。上百万的QPS与PB级数据,需要专门学习。 Hbase与MP一起操作比较少见,与Java API操作较多。 组件构成 HMaster:集群管理 HRegion Server:具体的数据存取 Zookeeper:集群状态管理与元数据的存储 Hbase组件构成 数据存储,可存储 本地文件系统 或 HDFS分布式文件系统 或 系统运维 2023-09-30 捡田螺的小男孩
基于云原生的集群自愈系统 Flink Cluster Inspector 摘要:本文整理自阿里云计算平台事业部,实时计算&托管生态 SRE 团队的许雷力(阿里云技术专家)和张韦杰(阿里云开发工程师),在 Flink Forward Asia 2022 生产实践专场的分享。本篇内容主要分为三个部分: 业务背景与挑战 成本优化 - 热点处理 整体规划和未来方向 点击查看原文视频 & 演讲PPT 一、业务背景与挑战 1.1 实时计算集群现状 关于热点机器处理一直是阿里云 Fl 系统运维 2023-09-29 剑圣无痕
Oracle 数据库集群模式:概述与实现 引言随着互联网和大数据技术的发展,越来越多的企业开始重视数据管理和应用。在这一背景下,关系型数据库管理系统(RDBMS)如 Oracle、SQL Server、MySQL 等成为企业级数据管理的重要工具。为了满足日益增长的数据处理需求,提高系统的可用性、性能和容错能力,Oracle 数据库提供了集群模式。本文将重点介绍 Oracle 数据库的集群模式,帮助读者更好地理解和使用这一功能。Oracle 数据运维 2023-09-27 三掌柜
Redis哨兵集群原理讲解和Dockercompose安装Redis哨兵集群 今日目标 掌握Docker-compose安装Redis哨兵集群 单节点Redis的并发能力是有上限的,要进一步提高Redis的并发能力,就需要搭建主从集群,实现读写分离 主节点: 可以对Redis实现读写操作 从节点: 只可以对Redis实现读操作 但是,当master节点宕机后,我们就不能写数据到Redis,所以需要搭建一个三节点形成的Sentinel集群,来监管之前的Redis主从集群 1. 数据运维 2023-09-27 竹子爱熊猫
GreatSQL一个关于主从复制的限制描述与规避 一、背景 分享一个在项目运维中遇到的一个主从复制限制的一个坑,项目的架构为主集群+灾备集群,每个集群为一主两从模式。主集群到灾备集群的同步为主从复制的方式,根据业务需求灾备集群需要忽略系统库跟某些配置表,所以才会触发此限制,而这个限制如果我们之前没有遇到过,那么排查起来也是相对不易的。 二、限制描述 1、主从同步出现报错 greatsql> show slave status\G ***** 数据运维 2023-09-27 剑圣无痕
Redis 的高可用之Redis Cluster 集群模式 一、Redis Cluster 集群是什么 1.1 Redis Cluster 集群诞生的背景 哨兵模式基于主从模式,实现读写分离,它还可以自动切换,系统可用性更高。 但是它每个节点存储数据是一样,浪费内存,并且不好在线扩容。 因此,Reids Cluster 集群(切片集群实现方案)应运而生,它在 Redis3.0 加入,实现了 Redis 分布式存储。 比如你一个 Redis 实例保存 15G 开发运维 2023-09-27 竹子爱熊猫
Redis主从集群原理讲解和Dockercompose安装Redis主从集群 今日目标 掌握Docker-compose安装Redis主从集群 单节点Redis的并发能力是有上限的,要进一步提高Redis的并发能力,就需要搭建主从集群,实现读写分离 主节点: 可以对Redis实现读写操作 从节点: 只可以对Redis实现读操作 1.Redis主从集群安装 1.1. 集群结构 搭建的主从集群结构如图如下: 图片 共包含三个节点,一个主两个从。这里我们会在同一台虚拟机中开启3个 数据运维 2023-09-26 大白菜程序猿
Redis 集群搭建教程 一、介绍 Redis 集群有着高可用、易扩展、更好的性能等优势,本文主要是实战搭建一个三主三从的 Redis 集群。 正常来说,搭建 Redis 集群需要 6 台服务器。为了简单一点,本文通过一台服务器,6 个端口,搭建一个 Redis 的伪集群。 二、准备环境 IP 地址 端口号 10.211.55.4 8001~8006 三、安装 Redis 3.1、安装 C/C++ 环境,编译 Redis 系统运维 2023-09-26 张二河
深入理解 RocketMQ 广播消费 这篇文章我们聊聊广播消费,因为广播消费在某些场景下真的有奇效。笔者会从基础概念、实现机制、实战案例、注意事项四个方面一一展开,希望能帮助到大家。 1 基础概念 RocketMQ 支持两种消息模式:集群消费( Clustering )和广播消费( Broadcasting )。 集群消费: 同一 Topic 下的一条消息只会被同一消费组中的一个消费者消费。也就是说,消息被负载均衡到了同一个消费组的多 开发运维 2023-09-24 Escape
听GPT 讲Istio源代码pkg(4) File: istio/pkg/test/framework/components/cluster/topology.go istio/pkg/test/framework/components/cluster/topology.go文件是Istio项目中的一个测试框架组件,用于定义和管理测试环境中的集群拓扑结构。 其中,knownClusterNames是一个全局变量,用于保存已知的集群名称。它 开发运维 2023-09-22 醒在深海的猫
记一次线上HBase服务JVM metaspace内存泄漏问题 原文链接 公司的HBase集群偶尔有个很奇怪的现象:内存占用会逐渐升高,超过堆内堆外内存限制,直到把操作系统内存占满被oom-killer杀死。在内存占用逐步升高的期间,响应延迟越来越高,最终服务宕机也会造成集群抖动,影响SLA。 内存增长过程非常缓慢,大概一两个月宕机一次。之前一直苦恼于没有现场,这次终于抓到了一个稳定复现的集群。 目前还没正式修复,修复验证也要几周时间,所以等我验证后再补充效果 开发运维 2023-09-22 LOVEHL^ˇ^
搭建Flink集群、集群HA高可用以及配置历史服务器 Flink集群搭建 集群规划 节点 node01 node02 node03 角色 JobManager TaskManager TaskManager TaskManager 下载并解压安装包 wget https://repo.huaweicloud.com/apache/flink/flink-1.17.0/flink-1.17.0-bin-scala_2.12.tgz 在node01节点下 开发运维 2023-09-21 贤蛋大眼萌
Kubernetes 内部原理:架构 在本文中,我们将深入探讨 Kubernetes 架构,并探讨其关键组件。 一个 Kubernetes 集群由两个主要组件组成: 控制平面节点 工作节点 控制平面 控制平面是 Kubernetes 集群的“大脑”,它协调和编排各种组件,以确保系统的期望状态得以实现和维护。控制平面进一步包括以下组件: 1. Kube-API 服务器 API 服务器是控制平面的中央管理点,它暴露 Kubernetes 开发运维 2023-09-21 共饮一杯
怎么连接mysql数据库集群 MySQL数据库集群是一种多个MySQL控制节点和数据节点相互协同工作的架构。它提供了高可用性、高性能和可扩展性,可以确保您的数据库始终可用。 连接MySQL数据库集群需要以下步骤: 1. 安装MySQL集群 在所有节点上安装MySQL,并按照官方文档的指示配置您的控制节点和数据节点。 2. 启用CLUSTER存储引擎 要启用MySQL集群,请在my.cnf文件中将以下行添加到[mysqld]部分 数据运维 2023-09-18 共饮一杯
说透 Nacos 一致性协议 1 Nacos ⼀致性协议 1.1 为什么 Nacos 需要⼀致性协议 Nacos尽可能减少用户部署以及运维成本,做到用户只需要⼀个程序包,就快速单机模式启动 Nacos 或集群模式启动 Nacos。而 Nacos 是⼀个需要存储数据的组件,为实现目标,就要在 Nacos 内部实现数据存储。单机问题不大,内嵌关系型数据库即可;但集群模式就要考虑保障各节点间的数据⼀致性及数据同步,就得引入共识算法, 开发运维 2023-09-12 张二河
如果InnoDB集群元数据被删除,Router连接会发生什么情况 删除InnoDB集群元数据的后果,如下所示: MySQL 172.26.170.13:3306 ssl Py > dba.drop_metadata_schema() Are you sure you want to remove the Metadata? [y/N]: y Metadata Schema successfully removed. 数据运维 2023-09-12 法医
在Linux上部署多节点Docker集群 在Linux上部署多节点Docker集群是一种常见的方式,可以提供高可用性和扩展性。下面将介绍如何在Linux上部署多节点Docker集群,并涵盖以下内容: 1、选择适当的操作系统和版本 2、安装Docker引擎 3、配置主机网络 4、创建Docker Swarm集群 5、加入其他节点到集群中 6、部署容器服务 7、监控和管理集群 8、选择适当的操作系统和版本: 要部署Docker集群,首先需要选 系统运维 2023-09-11 法医
kubernetes集群环境搭建 搭建Kubernetes集群环境是一项复杂的任务,涉及到多个组件和配置。下面是一个基本的搭建Kubernetes集群环境的步骤: 准备环境: 确保您拥有多台运行Linux操作系统的服务器,它们将作为Kubernetes集群的节点。 您可以选择使用虚拟机或云主机来承载这些服务器。 安装Docker: 在每个节点上安装Docker,以便容器化应用程序的运行。您可以按照Docker官方文档提供的说明进行 系统运维 2023-09-07 Escape
Kubernetes 1.28:用于改进集群安全升级的新(Alpha)机制 作者: Richa Banker (Google) 译者: Xin Li (DaoCloud) 本博客介绍了混合版本代理(Mixed Version Proxy),这是 Kubernetes 1.28 中的一个新的 Alpha 级别特性。当集群中存在多个不同版本的 API 服务器时,混合版本代理使对资源的 HTTP 请求能够被正确的 API 服务器处理。例如,在集群升级期间或当发布集群控制平面的运 云计算 2023-09-06 法医