30亿数据的知识图谱如何解决“超级痛点” 郑荣凯: 北京深鉴智源科技有限公司架构师 负责数据挖掘/知识图谱业务的架构与落地 微澜作为一款用于查询技术、行业、企业、科研机构、学科及其关系的知识图谱应用,具有十亿级实体以及百亿级关系。 而知识图谱作为一项系统性工程,很多场景需要向用户展示经过分页的一度关系,同时我们的数据中存在一些超级节点,但根据我们的业务场景,超级节点一定会是用户访问可能性最高的节点,所以这不能被简单归类到长尾问题上;又因为 数据运维 2024-05-07 Escape
一文读懂 | 如何快速部署 OceanBase 开源版 本文节选自《OceanBase 开源版入门实战课程》的一部分,主要分享如何快速部署 OceanBase 开源版,希望对大家有帮助。 01 部署准备 OceanBase 是一个分布式集群产品,在生产环境至少是三台机器。学习环境可以部署单机版本。 OceanBase 的部署跟传统数据库的部署有很多共同的地方,对操作系统硬件、软件设置、文件系统等会有一些最佳实践建议。那些是 OceanBase 发挥高性 数据运维 2024-05-07 宇宙之一粟
到底什么才是真正的HTAP? HTAP(Hybrid Transaction / Analytical Processing,混合事务分析处理)在2014 年被首次提出并赋予明确的定义:即同时支持 OLTP 和 OLAP 场景,需要创新的计算存储框架,在一份数据上保证事务的同时支持实时分析,省去费时的 ETL 过程。随着全球进入数字化时代,数字化技术渗透到各行各业,同时产生海量数据,数据的存储和应用成为企业决策的重要依据,业务 数据运维 2024-05-07 爱可生开源社区
新零售数智化转型,需要怎样的数据底座? 行业发生变革前,转型是通过信息化发生的,但信息化只是将业务流程从线下搬到了线上,以计算机网络为载体支撑商业活动,数据本身其实并没有被分析、被应用,发挥核心价值。随着新兴技术的高速发展,新零售转型正在逐渐演变为数智化,数据作为第五大生产要素正发挥越来越重要的作用。 韩冰:OceanBase 解决方案架构师,12 年软件行业从业经验,历任应用架构师、基础架构师,曾为多家知名大型企业提供数智化转型与咨询 数据运维 2024-05-07 三掌柜
从数据库发展史看数据库未来技术趋势 作者|杨传辉 现任 OceanBase CTO。杨传辉曾在百度从事大规模云计算系统研发工作,2010 年作为创始成员之一加入 OceanBase 团队,主导了 OceanBase 历次架构设计和技术研发,从无到有实现 OceanBase 在蚂蚁集团全面落地。同时,他也主导了两次 OceanBase TPC-C 测试并打破世界纪录,著有专著《大规模分布式存储系统:原理与实践》。 为什么关系 数据运维 2024-05-07 醒在深海的猫
【DBA100人台枫:DBA不仅要懂运维还得懂代码 “DBA100人”专访计划是 OceanBase 围绕资深DBA进行的人物专访活动,旨在通过人物故事、职业发展经历以及日常工作中遇到的技术难题和实践案例,未来对技术趋势的想法,希望他们的成长之道能够给到各行业DBA一些建议和思考。 2020年7月,当很多刚跨出校门的大学生毕业生还在为自己的工作发愁时,台枫已经顺利通过实习期,成为携程的一名数据库管理员。台枫大学毕业的2020年,大学生毕业人数突破新 数据运维 2024-05-07 宇宙之一粟
SQL改写系列十一:外连接转AntiJoin的场景与限制 在《SQL 改写系列九:外连接转内连接的常见场景与错误》中,我们知道当谓词可以过滤掉连接结果中因为连接而补null的行时,可以把外连接转换为内连接,如图1中路径(a)所示。这时聪明的你肯定会问:谓词能筛选出因为连接而补null的行时,我们又能做什么优化呢?答案是:对于左外连接(LeftJoin)或右外连接(RightJoin),OceanBase会把外连接转位AntiJoin,如图1中路径(b)所 数据运维 2024-05-07 三掌柜
从 Hive 到 OceanBase,构建高效的实时数仓系统 我们的业务场景与出行息息相关,由于业务早期采用的数仓方案存在时延高、效率低等问题,我们开始寻找新的数仓解决方案。本文介绍我们的方案选型与实践经验总结,希望能给你带来参考价值。 旧方案(Hive + Spark)的三个挑战 线上业务环境主要以数据统计与查询分析为主,数据来源主要有两部分:一部分是通过前端应用采集,采集到的实时流数据先存储在消息队列中,使用Spark Streaming任务每10分钟定 数据运维 2024-05-07 醒在深海的猫
MySQL能力全开放,OceanBase 社区版 4.0 正式上线 2022 云栖大会上,OceanBase 社区版 4.0 正式亮相发布,与企业版拥有同等性能,更兼容、更易用,2 分钟内即可完成快速部署。这意味着,业内首个兼容 MySQL 的单机分布式一体化数据库正式上线。 OceanBase 4.0 降低了数据库使用门槛,打破了分布式数据库的边界,让分布式数据库走向通用。8 月 10 日,在 2022 OceanBase 年度发布会上, OceanBase 4 数据运维 2024-05-07 泡泡
十问分布式数据库:技术趋势、选型及标准思考 随着信息技术的迅猛发展,各行各业产生的数据量呈爆炸式增长,传统集中式数据库的局限性在面对大规模数据处理中逐渐显露,从而分布式数据库应运而生。分布式数据库是在集中式数据库的基础上发展起来的,是分布式系统与传统数据库技术结合的产物,具有透明性、数据冗余性、易于扩展性等特点,还具 备高可靠、高可用、低成本 等方面的优势,能够突破传统数据库的瓶颈。 分布式数据库目前已应用到金融、电信等大数据行业,未来将走 数据运维 2024-05-07 共饮一杯
磁盘占用高问题如何排查?三步教你搞定 作者简介:杨嘉力(花名:夏进),OceanBase开源内核高级工程师。 通常情况下,数据库对磁盘的占用量会随着业务的接入时间和业务数据量大增而不断上升,导致磁盘空间不足,进而发生数据无法写入、数据库无法重启等问题。这时我们就需要排查问题根源,使磁盘得以平稳运行。本文以OceanBase 开源3.x版本为例,分享磁盘问题的排查方法,希望对你有所帮助。 排查概括 磁盘问题排查通常包括两方面,一方面,排 数据运维 2024-05-07 大树
云原生时代数据库技术趋势与场景选型 在10月26日2022全球分布式云大会上,OceanBase 架构师 郑赫扬发表了题为《小就是大,OceanBase单机到分布式一体化与最佳实践》的精彩演讲,分享了云原生时代数据库技术趋势与场景选型,单机一体化核心设计理念及实践。 以下为演讲实录。 云原生 大势所趋 云原生-技术变革,一定是思想先行 第一个话题,未来的趋势是云原生,我理解技术变革一定是思想先行,稳定的IT到现在的敏捷态IT、Dev 数据运维 2024-05-07 向阳逐梦
OceanBase携手天阳科技推出新一代信用卡核心系统联合解决方案,为信用卡业务稳健增长提供创新活力与数据动力 1985 年,中国银行发行我国第一张人民币信用卡。经过 30 余年的发展,信用卡已经从少数精英才能持有向大众普及,据央行数据显示,截至 2022 年一季度末,我国人均持有信用卡和借贷合一卡 0.57 张。 但随着我国流量红利驱动增速放缓,多项关乎信用卡行业规范发展的新规正式开始实施,原本一路高歌猛进的信用卡业务正在进入“存量时代”。从各大银行 2022 年上半年的财报数据不难发现,不论是发卡量、贷 数据运维 2024-05-07 共饮一杯
如何在高性能的前提下,降低数据库存储成本? 当数据库用户的关键业务系统具有庞大数据量时,IT 成本、数据成本等都会居高不下,此时,通过压缩来降低存储成本是再自然不过的选择。但对于很多数据库的用户而言,压缩并不能一劳永逸:选择高压缩比,压缩、解压往往需要耗费大量时间,通常也会降低内存、硬盘的读写性能,显然对延迟敏感的关键业务场景不适用;选择低压缩比,压缩文件依然会占据不少硬盘空间,这又与压缩的初衷背道而驰。 数据压缩最终目的是降本增效,降本不 数据运维 2024-05-07 共饮一杯
分享|破世界纪录的OceanBase,如今入选了国际顶会VLDB 2022 近年来中国数据库蓬勃发展,各种排行榜单不一而足,云原生、Sharding、混合负载等新名词层出不穷。 但盛景之下,各家数据库的技术实力究竟如何? 日前,OceanBase 研究成果论文《OceanBase: A 707 Million tpmC Distributed Relational Database System》,被数据库国际顶会 VLDB 2022 接收。VLDB 与 SIGMOD、I 数据运维 2024-05-07 剑圣无痕
邓荣伟:稳定支撑每秒百万笔支付请求,支付宝数据库架构的过去、现在与未来 8 月 10 日,2022 OceanBase 年度发布会在京沪深三地同时召开,支付宝资深数据库专家邓荣伟在会上分享了《从“小”到“大”,支付宝分布式升级之路》的主题演讲,为我们带来了支付宝的架构演进以及上线 OceanBase 的故事。 以下为演讲实录分享: 大家都知道支付宝是 OceanBase 的“元老级”用户,支付宝的每一次架构演进都与 OceanBase 的版本迭代息息相关。今天,我将从 数据运维 2024-05-07 泡泡
【对话ACE第六期|数据库上云的趋势和挑战 大概十年之前,AWS发布了数据库托管云服务,云数据库快速发展,本地数据库向云上迁移成为一大趋势,云数据库成为数据库市场增长最快的领域。Gatner报告称,到2022年,75%的数据库将部署或迁移到云中,以改进分析并作为数据库即服务产品,但是在上云的过程中,兼容性、易用性等上云成本,以及数据库安全方面不可忽视,如何解决这些问题也是一大挑战。 第六期《对话ACE》邀请 Oracle ACE/OCM 白 数据运维 2024-05-07 向阳逐梦
OceanBase CTO杨传辉:单机分布式一体化助力企业降本增效 11 月 3 日,2022 云栖大会在杭州开幕,在本届云栖大会上,OceanBase CTO 杨传辉发表了《单机分布式一体化助力企业降本增效》的主题演讲,正式发布了 OceanBase 社区版 4.0(代号:小鱼),并开启了 OceanBase Cloud 4.0 版本的邀测。 以下为演讲实录: 各位来宾、各位蚂蚁集团和 OceanBase 的客户,大家下午好!我是杨传辉,来自OceanBase, 数据运维 2024-05-07 宇宙之一粟
学术加油站|FLAT,一个轻量且高效的基数估计模型 本文系东北大学李俊虎所著,本篇也是「 OceanBase 学术加油站」系列稿件第七篇。 「李俊虎:东北大学计算机科学与工程学院在读硕士生,课题方向为数据库查询优化,致力于应用 AI 技术改进传统基数估计器,令数据库选择最优查询计划。」 今天分享的主题是 《FLAT,一个轻量且高效的基数估计模型》,主要介绍了 FLAT 提出的 FSPN 模型,提出了数据库查询优化的新思路。希望阅读完本文,你可以对这 数据运维 2024-05-07 三掌柜
OMS 3.4.0,打造更安全易用的数据迁移体验 OceanBase 数据迁移工具(OceanBase Migration Service,OMS)是 OceanBase 数据库一站式数据传输和同步的产品。它支持多种关系型数据库(如 Oracle、DB2 LUW、MySQL 等)、消息队列与 OceanBase 数据库之间的数据复制,是集数据迁移、实时数据同步和增量数据订阅于一体的数据传输服务,OMS 可以帮助用户低风险、低成本、高效率地实现 O 数据运维 2024-05-07 爱可生开源社区