实战教程第二章:如何部署 OceanBase 社区版章节介绍 本章主要介绍如何手动或自动部署 OceanBase 社区版集群,包括单副本和三副本集群。 本章目录 2.1 部署准备 2.2 如何快速体验 OceanBase 2.3 如何规划 OceanBase 集群部署 2.4 如何初始化服务器环境 2.5 如何安装 OBD 自动化部署软件 2.6 如 数据运维 2024-05-07 泡泡
开源数据库OceanBase源码解读(九):tableAPI和OB多模型 本文作者:竹翁(杨志丰),毕业于北京大学, OceanBase 内核研发总监。近十年来一直在阿里巴巴/蚂蚁金服自主研发分布式系统和数据库的从事研发工作。 在刚刚发布的 OceanBase 社区版 3.1.1 中,OceanBase 开放了一组新的 API 叫做 Table API 。Table API 以 API而非 SQL 的方式提供了一种新的访问 OceanBase 数据的 数据运维 2024-05-07 醒在深海的猫
OceanBase 存储引擎详解 作者简介:沈炼,蚂蚁集团技术风险部数据库高级专家 毕业于东南大学,2014年以来从事 OceanBase 在蚂蚁的架构工作,目前职责包括蚂蚁 OceanBase 高可用体系建设 和 OceanBaseKV 在蚂蚁的架构及研发工作,对标业界的“自治数据库”和“多模型数据库”,致力于让 OceanBase 走得更稳、更远、更快。在蚂蚁 OceanBase 体系中,沈炼先后负责 蚂蚁核心链路上 Ocea 数据运维 2024-05-07 法医
数据同步:教你如何实时把数据从 MySQL 同步到 OceanBase 作者简介:海芊,一个对技术充满热情的文档工程师。 个人频道:Amber Loves OB 背景介绍 我们都知道,很多用户并不是一开始就是使用 OceanBase 的。所以在他们决定使用 OceanBase 的时候,一定要把之前的业务数据迁移到 OceanBase 上来。如果是全量数据迁移,可以借助离线数据同步工具 DataX 。但是,如果在全量迁移过程中业务产生了新数据,这些新数据又如何迁移呢?此 数据运维 2024-05-07 爱可生开源社区
OceanBase 监控工具 OBAgent 作者简介:海芊,一个对技术充满热情的文档工程师。 个人频道:Amber Loves OB 背景 运维 OceanBase 涉及到很多相关的变量和参数。实际生产中,如果只靠单一的黑屏工具查看这些参数的话,不仅会流程繁琐,而且查看结果也不够直观,这就降低了我们的工作效率。此外,如果想查询一些表达式,也不是很方便。基于这种背景,OceanBase 监控工具 OBAgent 应运而生。 OBAgent 是 数据运维 2024-05-07 大树
OceanBase 源码解读(十):分布式事务 本文作者:泽寰 ,OceanBase 分布式事务工程师 本节为源码解读的第十篇,本文书接前文——在《 OceanBase 源码解读(五)事务的一生》中对事务的外部接口进行了介绍,本节讲一些事务模块内部细节。 概述 既然是分布式数据库,分布式事务的能力是必不可少的。关于事务的特性,总结如下: 1)两阶段提交(下文简称 2PC )协议,极致优化; 2)全局快照; 3)外部一致性; 4)巧妙解决:分布式 数据运维 2024-05-07 大白菜程序猿
OceanBase 高可用技术介绍 作者简介:沈炼,蚂蚁集团技术风险部数据库高级专家 毕业于东南大学,2014年以来从事 OceanBase 在蚂蚁的架构工作,目前职责包括蚂蚁 OceanBase 高可用体系建设 和 OceanBaseKV 在蚂蚁的架构及研发工作,对标业界的“自治数据库”和“多模型数据库”,致力于让 OceanBase 走得更稳、更远、更快。在蚂蚁 OceanBase 体系中,沈炼先后负责 蚂蚁核心链路上 Ocea 数据运维 2024-05-07 大白菜程序猿
首发!OceanBase 社区版入门教程开课啦! 为了帮助大家快速入门分布式数据库的开发、运维和性能诊断技能,OceanBase 开源团队正式推出原生分布式数据库 OceanBase 社区版的第一本教程——《 OceanBase 社区版入门到实战》,深入浅出地讲解如何快速掌握 OceanBase 实践技能,提升职场核心竞争力。 本期教程全部免费! 扫码即可开启学习之旅! 为期近三个月的时间,每周教程连载+视频解析+直播互动,带领我们快速建立系统的 数据运维 2024-05-07 宇宙之一粟
实战教程第一章:OceanBase 数据库概述 OceanBase 数据库是一个原生的分布式关系数据库,它是完全由阿里巴巴和蚂蚁集团自主研发的项目。OceanBase 数据库构建在通用服务器集群上,基于 Paxos 协议和分布式架构,提供金融级高可用和线性伸缩能力,不依赖特定硬件架构,具备高可用、线性扩展、高性能、低成本等核心技术优势。 OceanBase 数据库具有如下特点: 高可用 单服务器故障能够自愈,支持跨城多机房容灾,数据零丢失,可满 数据运维 2024-05-07 爱可生开源社区
实战教程第二章2.1:部署准备 部署准备 OceanBase 是一个分布式集群产品,在生产环境至少是三台机器。学习环境可以部署单机版本。 OceanBase 的部署跟传统数据库的部署有很多共同的地方,对操作系统硬件、软件设置、文件系统等会有一些最佳实践建议。那些是 OceanBase 发挥高性能稳定运行的基础。社区版也提供了工具能实现一定程度的自动化。 软件介绍 OceanBase 本质上是一个单进程的软件,可执行文件名叫 ob 数据运维 2024-05-07 共饮一杯
实战教程第二章2.2:如何快速体验 OceanBase 在部署 OceanBase 社区版之前,建议您快速通过 Docker 环境看一下一个部署好的 OceanBase 社区版环境。我们提供了一个 OceanBase 社区版 Docker 镜像,您可以在您的笔记本或电脑上使用 Docker 技术快速部署并启动 OceanBase 社区版的 Docker 容器。 机器资源要求 OceanBase Docker 容器对资源的要求如下: 机器可用内存不少于 数据运维 2024-05-07 捡田螺的小男孩
实战教程第二章2.3:如何规划 OceanBase 集群部署 集群架构规划 OceanBase 以集群形态运行,生产环境最小规模是 3 台服务器(节点)。整个集群里,业务数据会有三份,所以也叫三副本。 学习测试的时候,可以部署单副本单节点 OceanBase 集群。 这里特别说明的是,单副本跟单节点并不完全对等。单副本单节点是最小集群规模,单副本也是可以扩容为多个节点,整个集群里数据依然是一份,所以叫单副本。 生产环境,每个机器上启动一个 observer 数据运维 2024-05-07 向阳逐梦
实战教程第二章2.4:如何初始化服务器环境 OceanBase 数据库是单进程软件,需要访问网络,需要打开多个文件以及开启很多 TCP 连接,所以需要修改内核参数和用户会话设置。 注意:OBProxy 软件如果独立服务器部署的话,也按这个要求初始化服务器环境。 内核参数修改 修改配置文件。 vim /etc/sysctl.conf net.core.somaxconn = 2048 net.core.netdev_max_backlog = 数据运维 2024-05-07 剑圣无痕
实战教程第二章2.5:如何安装 OBD 自动化部署软件 OBD 全称是 OceanBase Deployer,是 OceanBase 社区版的命令行下自动化部署软件。 根据中控机器能否连接公网,提供两个安装方法:离线和在线。二选一。 安装 OBD 软件(离线) 首先在中控机上部署 OBD 软件。如果中控机不能上网,则需要提前下载好 OBD 、 OBSERVER 和 OBPROXY 相关软件包。 下载相关软件包 软件包地址请根据 OS 版本自行选择。 w 数据运维 2024-05-07 宇宙之一粟
实战教程第二章2.6:如何使用 OBD 自动化部署单节点集群 OBD 对 OceanBase 的管理权限很高,所以 OBD 要部署在数据库服务器的中控机上,需要 DBA 有完全的控制权限。 部署规划 这里我使用一台机器。 机器信息如下: 机器和角色划分: 磁盘划分,这里就使用 LVM 技术对 /dev/vdb 进行划分。LVM 划分 LV 大小时请根据实际磁盘大小调整参数。 # lvm 分盘 pvcreate /dev/vdb vgcre 数据运维 2024-05-07 捡田螺的小男孩
实战教程第二章2.7:如何使用 OBD 自动化部署多节点集群 部署规划 这一节介绍 OceanBase 集群三节点部署方法,需要通过中控机直接远程登录到 OceanBase 节点上部署启动 observer 和 obproxy 进程。 机器信息如下: 机器划分如下: OceanBase 命令行客户端 磁盘划分 磁盘划分,这里就使用 LVM 技术对 /dev/vdb 进行划分。需要登录到每个节点上手动初始化。 # lvm 分盘 pvcreate /dev/vd 数据运维 2024-05-07 醒在深海的猫
实战教程第二章2.8:如何查看和修改 OceanBase 参数集群 OceanBase 以集群形态运行,提供多租户(也叫多实例)能力。集群初始化成功后,默认会有一个租户 sys,保存集群的所有元数据、参数等。管理 OceanBase 集群就是通过登录 sys 租户。 查看和修改 OceanBase 集群参数 查看 OceanBase 集群参数的命令是 :show parameters [ like '%参数名特征%' ] ;  数据运维 2024-05-07 泡泡
实战教程第二章2.9:如何部署 OBAgent OBAgent 简介 OBAgent 是用 GO 语言开发的监控采集框架,通常部署在 OBServer 节点上。OBAgent 支持推、拉两种数据采集模式,可以满足不同的应用场景。OBAgent 默认支持的插件包括主机数据采集、OceanBase 数据库指标的采集、监控数据标签处理和 Prometheus 协议的 HTTP 服务。要使 OBAgent 支持其他数据源的采集,或者自定义数据的处理流程 数据运维 2024-05-07 捡田螺的小男孩
实战教程第二章2.10:如何重启 OceanBase 集群 OceanBase 自身并没有提供“重启集群”的命令。OceanBase 的核心能力就是高可用,前提是三副本部署。当少数派节点故障时,OceanBase 内部可能会自动切换,依然可以为业务提供读写服务。OB 提供了停止和启动某个副本(zone 级别或者 server 级别)的功能,并且只允许停止少数派节点。 所以,OceanBase 集群的重启是靠外部操作。比如说用 kill 命令杀进程,然后再启 数据运维 2024-05-07 泡泡
实战教程第二章2.11:(高级)如何手动部署 OceanBase 集群 当您熟悉了 OBD 部署的 OceanBase 集群方法原理后,就可以尝试手动部署一套 OceanBase 集群。这样的好处就是当 OBD 的功能不满足您的需求时,您可以自己写程序脚本做 OceanBase 集群的部署,或者在集群出异常的时候,能够手动做一些应急处理。 部署规划 这一节介绍 OceanBase 集群三节点手动部署方法,需要通过中控机直接远程登录到 OceanBase 节点上部署启动 数据运维 2024-05-07 三掌柜