obkv测试与调研,看能否替代Redis TableAPI 提供了对表模型数据的操作接口。同时,在内部,TableAPI 定义了客户端和数据库服务端之间的一组通用的交互协议。 1、前言: 随着公司业务服务器慢慢云化,redis云化也提上了日程,但云redis是很贵的,当前业务规模的云redis每月费用达几万元,是否有一种数据库能替代redis的功能?于是就有了这篇测试文章, TableAPI文档地址 2、部署正式 数据运维 2024-05-07 大猫
西北工业大学亚军战队,数据库性能优化实操分享! 上期分享👉《 2022 OceanBase数据库大赛决赛经历分享 》 本期邀请来自西北工业大学的亚军团队 426白给突击队 的队长王炳杰,为大家分享决赛性能优化实操,欢迎分享给感兴趣的朋友,共同学习成长。 本文更多是思路的分享,并不关注实现细节。初赛在满分后一周左右我写了篇总结,把大部分赛题的思路大致记录了一下;决赛在这篇博客中主要按时间顺序来梳理优化的过程,字少图多。 关于初赛 仓库:luooo 数据运维 2024-05-07 法医
电子科技大学战队决赛制胜策略分享,从多线程到存储引擎! 上期分享 👉 《西北工业大学亚军战队,数据库性能优化实操分享!》 本期邀请来自电子科技大学的亚军团队 0xc0 的队长高弘毅,为大家分享决赛多线程和 Major SSTable 生成实践,欢迎分享给感兴趣的朋友,共同学习成长。 OceanBase 决赛之多线程 01.思路 我们首先根据 Demo 实现,分析了旁路导入的实现流程,其流程如下: Demo 程序中提供的实现方式是单线程的,因此一个显而易 数据运维 2024-05-07 竹子爱熊猫
OceanBase 4.1解读:我们想给用户一个开箱即用的OceanBase部署运维工具 作者简介:肖磊,OceanBase 产品专家。负责 OceanBase 运维管控体系产品规划与设计,包括安装部署工具(OBD、OAT)、运维管控平台(OCP、OCP Express),致力于降低用户使用管理 OceanBase 的难度。 OceanBase 作为原生分布式数据库,其高性能和高可用的特性为企业核心系统提供了稳定可靠的数据底座。而在和一线技术人员的交流过程中,我们收了很多关于 Ocea 数据运维 2024-05-07 Escape
集群吞吐量以1抵5,车企MySQL八大痛点的解决方案 最近一年,我们完成了从MySQL到OceanBase的替代过程,既降低了架构复杂度和存储成本,又提高了扩展性和吞吐量,而且再也不用担心数据不一致问题了。故而将我们遇到的痛点问题、解决方案、技术选型过程总结成此文,供大家参考。 一、业务增长凸显MySQL八大支撑瓶颈 相信很多企业都会因为业务快速发展,数据成指数级增长带来一些新的需求或系统瓶颈。我所在的国内某知名智能车企也面临这样的问题,特别是我们的 数据运维 2024-05-07 Escape
OceanBase4.1 物理主备库搭建 OceanBase4.1 物理主备库搭建 物理主备库功能 OceanBase在4.1版本之前,物理备库只支持集群级别,备集群下所有租户都是备租户,所有的操作都是在主集群做操作,在实际的场景中备集群的资源会有很大的浪费,并且对于主集群的压力也是比较大,在4.1版本中物理备库支持租户级别,可以两套集群分别有主租户和备租户,增加了资源利用率,也将流量进行了分布 如下图集群 A,B中分别由主备租户做相互的 数据运维 2024-05-07 三掌柜
OceanBase 4.1解读:给用户足够灵活简单的IO隔离体验 孙坚运:OceanBase 技术专家 从事存储引擎相关工作,曾参加 TPC-C 项目攻坚和蚂蚁双 11 大促支持,目前主要负责 IO 调度、DDL 等方向的设计和研发工作。 此前,在《为什么资源隔离对 HTAP 至关重要?》一文中,我们谈了 HTAP 为何需要资源隔离及其实现方法。资源隔离作为一种能力,基于它可以生长出许多有意思的场景,不仅是 HTAP,还包括多租户、Pay as You Go 等 数据运维 2024-05-07 张二河
新型实时数仓方案探索:链路简化、数据一致、排查高效 作者:伍翀,阿里云Flink SQL负责人,Apache Flink PMC Member & Committer 许多数据领域的从业者对Apache Flink并不陌生,其作为流批一体的流式计算引擎,核心是分布式流数据流引擎,同时具备流计算和批计算的能力,是许多公司做流式计算业务的首选。 那么本文要讲的Flink CDC和Apache Flink是什么关系?又如何将Flink CDC与O 数据运维 2024-05-07 大白菜程序猿
两年两度升级数据库,我们经历了什么 作者介绍:陈雄军,上海芯昌盛供应链科技有限公司(https://www.x-chance.com)运维负责人,负责集团数据库、IT资产等运维管理工作。拥有多年数据库运维经验,负责集团MySQL、MongoDB、SQL Server、OceanBase 等数据库的运维工作。 一、企业背景 上海芯昌盛供应链科技有限公司,是一家国际供应链管理服务公司,公司业务包括仓储托管、一件代发、定制包装、质量检验、 数据运维 2024-05-07 穿过生命散发芬芳
搞了个数据库创新AI工具DBGPT ,欢迎大家来玩 这个五一劳动节,我一边带娃一边编码,基于 Fastchat 跟 vicuna 原始模型搞了个 Demo,并且外挂了OceanBase( https://github.com/oceanbase/oceanbase )的知识库,发现效果确实不错,计划持续写下去,于是有了这个与数据库相关的 GPT。 有趣的东西,值得分享给更多朋友,一起来玩~ 一、项目介绍:DB-GPT 一个数据库相关的 GPT 实验 数据运维 2024-05-07 Escape
记录一则oceanbase数据库cpu打满处理及分析过程 背景 20230511日中午12:30某OceanBase 3.2.3.3的核心业务系统主节点cpu打满 应急处理 1.CPU打满首先排查当前在执行的sql,找到怀疑sql MySQL [oceanbase]> select user,sql_id,avg(retry_cnt),avg(time),count(*),id from __all_virtual_processlist wher 数据运维 2024-05-07 宇宙之一粟
实操|手把手OceanBase4.0集群教程 基于4.0.0社区版集群安装实操总结。官方文档又多又乱?看不懂?没关系,希望这篇实操总结能指明方向。 https://www.oceanbase.com/docs/community-observer-cn-10000000000900491#48fb2482-feaf-46a1-9a02-1a5654cf6a71 https://www.oceanbase.com/docs/community- 数据运维 2024-05-07 捡田螺的小男孩
LLM大模型实战 —— DBGPT阿里云部署指南 背景 DB-GPT从5月6号正式发布第一个可运行版本,到目前刚刚经过一周的时间,引起了大家的广泛关注。 但是因为DB-GPT是用的Vicuna-13B的模型作为Base Model,所以很多同学在部署过程中遇到了较大的困难。DB-GPT在消费级GPU即可完成部署, 具体部署的硬件说明如下: GPU型号 | 显存大小 | 性能 -------|----------|--- 数据运维 2024-05-07 捡田螺的小男孩
OceanBase & CloudCanal数据迁移同步链路技术升级 由于分布式数据库的特性,OceanBase日志信息分布在集群的不同机器上,若想拿到正确、完整的日志信息,需要借助工具将日志信息进行汇总。 OceanBase社区版利用CDC 组件架构进行这项工作,并通过oblogproxy提供日志拉取的服务。同时,提供oblogclient给用户将其集成在业务应用中,以便进行 OceanBase增量数据的处理。目前,数据集成框架ChunJun、Flink CDC、 数据运维 2024-05-07 张二河
从TP到AP:OceanBase SQL引擎的探索和实践 3月25日,我们在北京举办了首届「OceanBase 开发者大会」,与开发者共同探讨单机分布式、云原生、HTAP 等数据库前沿趋势,分享全新的产品 Roadmap,交流场景探索和最佳实践。在「产品技术专场」,OceanBase 技术部高级专家朱涛,为大家带来《从 TP 到 AP : OceanBase SQL 引擎的探索和实践》分享,以下内容根据演讲实录整理而成。 首先,介绍一下 OceanBas 数据运维 2024-05-07 Escape
OceanBase 4.1 体验&单机&集群 背景 测试oceanbase对比mysql,tidb的性能表现,数据存储压缩,探索多点内部项目一个数据库场景落地oceanbase(mysql->oceanbase) 单机测试 准备 OBD方式部署单机 文件准备 wget https://obbusiness-private.oss-cn-shanghai.aliyuncs.com/download-center/opensource/oc 数据运维 2024-05-07 大白菜程序猿
实践:OBD部署源码编译OceanBase社区版本 本文主要描述了 1. 单机环境下如何用OBD 源码编译部署。 2. OBD一键压测优化。 3. 安装部署过程遇到问题。 注意:该方法不使用生产上的版本升级问题 【没有验证】 如果是作为开发变更代码,OBD 定制组件方式部署后 【验证没有问题】 然后make install /cp observer进程方式 ,然后obd直接重启集群。 obd 升级部署 obd mirror updat 数据运维 2024-05-07 大猫
OceanBase 4.1解读:我们支持MySQL 8.0哪些新增功能特性? 作者简介:刘彬,OceanBase高级技术专家。曾参与OceanBase RS、存储模块研发,目前是SQL执行组负责人。 MySQL 在业内是最受欢迎的关系数据库之一,不少用户将 MySQL 作为刚开始使用数据库的首选。OceanBase 的一大重要特性即是与 MySQL 完全兼容,用户无需修改代码即可完成数据库的升级迁移,也大幅降低了开发者的学习成本。作为完全自主研发的数据库,OceanBase 数据运维 2024-05-07 贤蛋大眼萌
OceanBase 4.1部署,OCP Express体验感受 从2022年至今,我们的生产环境大量使用了OceanBase,解决了MySQL大表等业务的痛点问题。所以说我们OB 3.x版本到4.0版本都测试和部署了,今年OceanBase 4.1版本发布以后,安装包内含了白屏化和OCP Express,我们也第一时间做了测试,今天就从一个用户的角度来讲讲OceanBase 3.x版本到4.0版本的部署感受,或许还能给想了解OB的同学一些帮助。 一、Ocean 数据运维 2024-05-07 剑圣无痕
Bytebase:更好地管理你的 OceanBase 数据库 近期,OceanBase接入了新的生态伙伴——Bytebase,目前OceanBase 用户可以使用 Bytebase 进行数据库变更管理啦! 和数据库打交道是一件繁琐但又需要格外仔细的工作,不然就容易造成删库跑路的事故。近期,OceanBase生态又迎来了一位新的合作伙伴——Bytebase,其作为一款为 DevOps 团队准备的数据库 CI/CD 工具,专为开发者和 DBA 打造,也是唯一被 数据运维 2024-05-07 Escape