Oceanbase查询改写:视图合并 概述 默认情况下,当查询语句中存在视图时,需要等待视图中的查询执行完毕后再执行父查询。这种做法使得优化器无法将视图查询和父查询作为一个整体进行优化,限制了优化的空间。为此,Oceanbase中定义了相应的视图合并规则,能够将视图查询中的查询逻辑合并到父查询中,为优化器进一步优化提供了基础。 基本原理 视图合并规则主要包含对以下两种情况的处理: from视图合并:将from子句中涉及的视图与父查询合 数据运维 2024-05-07 贤蛋大眼萌
一文搞懂OceanBase分区表 1、什么是分区表? 分区表定义:OceanBase 数据库可以把普通的表的数据按照一定的规则划分到不同的区块内,同一区块的数据物理上存储在一起。这种划分区块的表叫做分区表,其中的每一个区块称作分区。 如下图所示,一张表被划分成了 5 个分区,分布在 2 台机器上: 2、分区表的优势与特点 2.1分区表的优势 - 分区表的不同分区可以分散在不同节点上,从而分散压力 - 提高数据的管理 - 增强数据的 数据运维 2024-05-07 泡泡
OCP 监控常见问题排查方法 常见现象 页面很卡: 页面卡顿,需要分辨是所有页面都卡,还是特定的监控页面很卡 监控数据看不到: 需要分辨是否是所有数据看不到,特定集群的数据看不到,还是某一两个监控数据看不到 信息收集 因为 OCP 是一个 web 应用,一般的问题都是反应在页面上的,所以一般排查过程也是从页面上来入手的, 在浏览器中右键,点击inspect element, 打开调试窗口,然后点 Network, 可以看浏览器 数据运维 2024-05-07 法医
OceanBase 4.0解读:兼顾高效与透明,我们对DDL的设计与思考 作者简介:谢振江,OceanBase 高级技术专家。2015年加入OceanBase, 从事存储引擎相关工作,目前在存储-索引与DDL组,负责索引,DDL和IO资源调度相关工作。 回顾关系型数据库大规模应用以来的发展,从单机到分布式无疑是一个关键转变,促成它的是层出不穷的新业务和爆发增长的数据量。 一方面,更大的数据量意味着社会经济发展有了更多新可能,另一方面,它也对数据库提出了更高要求,以避免存 数据运维 2024-05-07 张二河
数据库存储与索引技术(一)存储模型与索引结构演变 1. 综述 随着1970年代关系模型被提出,数据库进入了一个飞速发展的时期。整个80年代和90年代,各类关系数据库层出不穷,这些产品到现在依然占据着数据库市场的主流。然而到了2000年以后,互联网产业的崛起,使得传统的关系数据库在面对海量请求和数据的时候有些力不从心。在这一时期,解决可扩展问题的主流方案是拆分数据库(分库分表),诞生了众多的数据库中间层(中间件);同时,业界也诞生了众多的K-V数据 数据运维 2024-05-07 宇宙之一粟
OceanBase 4.0 解读:全链路追踪要解决什么问题?从一条慢SQL说起 作者简介:肖意,OceanBase高级技术专家。曾多次参加蚂蚁双十一大促支持工作,是TPC-C、TPC-H性能攻坚项目组核心成员,主要负责SQL引擎相关研发,包括链路协议、执行计划管理、执行引擎等方向的设计与开发工作。 在上一篇 4.0 解读文章中,我们回顾了单机到分布式跨越给数据库 DDL 带来的挑战,并介绍了 OceanBase 的应对策略及设计思路,以便为用户提供更高效、更透明的运维体验。本 数据运维 2024-05-07 张二河
OceanBase适配CDH的一些分享 CDH是Cloudera的早前开源平台发行版,是事实上的Apache Hadoop生态系统的安装管理平台,专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成,Cloudera创建了一个功能先进的系统,可帮助您执行端到端的大数据工作流程。免费版本停更至6.3.2版本,后续只发布了商业版本,即使如此,许多公司都使用了免费版本的CDH部署了H 数据运维 2024-05-07 泡泡
OceanBase物理备份恢复初试 OceanBase物理备份恢复-初试 本文尝试一下OceanBase中物理备份,做一次PITR恢复 环境准备 OceanBase当前物理备份恢复存储介质支持NFS和阿里云OSS,因为是分布式数据库需要将所有节点数据统一备份到一个地方,这里就使用NFS NFS服务端部署 服务器端配置 1. 安装NFS sudo yum install nfs-utils 2. 设置共享 数据运维 2024-05-07 大树
OceanBase常用命令 OceanBase常用命令 整理一些OB中常用的查询语句,解决一些OB常用的运维操作,后期不断补充吧。 租户类 OB支持多租户,默认是sys租户,通常我们都需要自己创建一个租户供业务使用,创建一个完成租户顺序是 unit->resource pool->tenant ,当然在最开始创建租户时,可能会遇到报错就是资源不足的问题,所以首先要确认下资源可用情况: SELECT a.zone, 数据运维 2024-05-07 竹子爱熊猫
数据库存储与索引技术(二) 分布式数据库基石——LSM树 上文讲到,传统单机数据库受制于底层存储技术及扩展瓶颈,无法满足互联网席卷而来的海量存储和并发读写事务需求。由此衍生出各类数据库扩展技术,其中以NewSQL为代表的分布式数据库多采用LSM树用于构建底层的存储系统,对存储和读写请求的扩展都有非常好的支持。那么,LSM树到底有何独特之处?本文从应用及操作层面进行介绍。 1. 概念介绍 LSM-Tree 全称是 Log Structured Merge 数据运维 2024-05-07 张二河
初试 DataX 迁移 MySQL 到 OceanBase DataX使用 DataX社区版目前可以做MySQL -> OceanBase数据同步,但不包含表结构,所以迁移中表结构需要单独处理,安装使用上手不难: 下载软件 wget https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202210/datax.tar.gz,下载后直接解压即可,环境需要python、java 准备配置文件,可以将 数据运维 2024-05-07 法医
OceanBase 4.0 改装:另一种全链路追踪的尝试 引子 前些天看了一篇《OceanBase 4.0 解读:全链路追踪要解决什么问题?从一条慢SQL说起》的文章,不得不说这是目前为止OceanBase 4.0 最吸引我的功能。在分布式数据库系统中,由于系统规模变大、组件数量增多、系统拓扑结构变得更加复杂,因此对系统进行监测和调试变得更加困难。可观测/追踪技术在这种情况下具有重要的作用,它可以帮助我们监测和调试系统,快速发现问题并解决它们。可以说全链 数据运维 2024-05-07 向阳逐梦
OceanBase 4.0评测解读直通车 |系列文章合集 自2022年11月OceanBase 4.0正式发布,并提出单机分布式一体化的架构后,在短短俩个月内,公有云上有30+业务试运行或上线该架构,开源社区有30+位用户试跑OceanBase 4.0(部分用户已上线),支付宝内部有10+个业务运行OceanBase 4.0。作为产品重要版本,OceanBase 4.0有哪些独特且有料之处?本合集将持续汇集相关资料,以便大家更方便地触达信息,更好地了解O 数据运维 2024-05-07 剑圣无痕
OCP平台安装部署 一、安装准备 # 1.obd安装 yum -y install sshpass yum install -y yum-utils yum-config-manager --add-repo https://mirrors.aliyun.com/oceanbase/OceanBase.repo yum install -y ob-deploy # 2. obclient 网址:https://m 数据运维 2024-05-07 宇宙之一粟
数据库存储与索引技术(三)LSM树实现案例 我们在前文介绍过,多款分布式数据库都使用了LSM树作为底层的存储引擎,其中就包括TiDB和Oceanbase。与TiDB等数据库的存储引擎将RocksDB作为一个黑盒使用不同,虽然OceanBase的存储虽然也是基于LSM树,但却是完全自己实现,并且和自己的存储引擎做了深度的定制和整合。与RocksDB中可能存在5,6层的LSM不同,OceanBase的实现中,将LSM树划分为三层,第一层MemT 数据运维 2024-05-07 LOVEHL^ˇ^
oms实战配置(小白易上手) 背景介绍: OceanBase 迁移服务(OceanBase Migration Service,OMS)是 OceanBase 数据库一站式数据传输和同步的产品。它支持多种关系型数据库、消息队列与 OceanBase 数据库之间的数据复制,是集数据迁移、实时数据同步和增量数据订阅于一体的数据传输服务,OMS 帮助您低风险、低成本、高效率的实现 OceanBase 的数据流通,助力构建安全、稳定、 数据运维 2024-05-07 法医
ODC 如何精准展现 SQL 执行的耗时 0 前言 在我们程序员或 DBA 的工作中,写 SQL 并执行就像吃一口饭一样平常。使用黑屏客户端时,往往要面对 SQL 编写困难、错误难以快速识别、查询结果不易读等问题,因此通常会选择一款图形化化工具以调试、执行 SQL 。那么你是否会好奇,当我们使用可视化的开发者工具执行一条 SQL 时,从点击执行,到展示结果、查询执行计划这个过程,这条 SQL 经历了什么呢?如果点击执行很久才能得到结果,这 数据运维 2024-05-07 共饮一杯
FactorJoin: 一种新的连接查询基数估计框架 编者按 本文系东北大学巩李成所著。 巩李成:东北大学计算机科学与工程学院在读硕士生,课题方向为数据库查询优化,致力于应用 AI 技术改进传统基数估计器,令数据库选择最优查询计划。 今天分享的文章是《FactorJoin: 一种新的连接查询基数估计框架》,主要提出了一种将传统的连接直方图估计方法与学习型方法相结合的多表连接基数估计框架。希望阅读完本文后你可以有所收获。 原文:《FactorJoin: 数据运维 2024-05-07 竹子爱熊猫
技术同学如何快速熟悉团队业务? 作者简介:李瑞岚,理财技术专家 很多技术人在换到新的工作环境、新的业务的时候,可能都会有一种迷茫。这种迷茫源于对未知领域的不了解,不知道该怎么做,怎样才能尽快上手。快速地熟悉业务项目,不但可以迅速投入工作,还可以提高自己的自信心,更好地在新团队业务中landing。下面我整理一些资料,从业务、技术、团队协作等方面,以及这么多年的工作经验,总结一些快速熟悉团队业务项目的技巧。 什么叫业务? 通俗点, 数据运维 2024-05-07 大白菜程序猿
miniob源码 架构概览 miniob源码 架构概览 整体架构 如下图,简单描述了,observer启动后,建立监听、注册libevent事件,recv后触发各stags的handle_event、处理结果回调、threadpool运行机制等等几个方面对整体线程模型、reactor模型和各组件工作流进行分析。 Reactor模型 miniob运行框架是通过libevent实现了对网络事件的监听,当链接建立后,读缓冲区事件触 数据运维 2024-05-07 穿过生命散发芬芳