4月20日，云粒智慧高级技术专家付大伟在2024 OceanBase开发者大会上分享了云粒智慧实时数仓的建设过程，讲述了其数据中台在传统数仓技术框架下做的一系列努力后，跨进 FlinkCDC 结合 OceanBase 的实时数仓演进过程。业务背景及挑战云粒智慧成立于2018年6月，它是中国联通和阿里
2024-05-08
当谈到数据处理和管理时，数仓（Data Warehouse）和数据库是两个常见的术语。但数仓和数据库是两个不同的概念，在数据管理领域中有着不同的应用场景和目标。本文将就这两个概念进行比较，详细介绍数仓和数据库的区别。首先，数仓与数据库在数据来源上有很大区别。数仓是针对企业内部各个系统、应用、业务等多
2024-05-07
我们的业务场景与出行息息相关，由于业务早期采用的数仓方案存在时延高、效率低等问题，我们开始寻找新的数仓解决方案。本文介绍我们的方案选型与实践经验总结，希望能给你带来参考价值。旧方案（Hive + Spark）的三个挑战线上业务环境主要以数据统计与查询分析为主，数据来源主要有两部分：一部分是通过前端应
2024-05-07
导读：复杂架构的危害是隐性且持续增长的，尤其在海量数据处理的业务场景下，导致系统吞吐量增长、各功能模块相互影响，且数据重复、维护困难。某游戏公司就面临这样的困境，在寻求解决方案的过程中，携手OceanBase搭建了存储与实时分析的一体化数仓架构。该公司大数据平台负责人从实时数仓面临的问题与挑战谈起，
2024-05-07
作者：coolmoon1202，大数据高级工程师，专注于高性能软件架构设计前段时间我们使用OceanBase和FlinkCDC构建了一套高效的实时数仓读写分析系统，过程中经历了数据库选型、数据库产品测试对比、产品部署及使用踩坑。我们将这次系统升级的经验总结成文并分享出来，希望能给同样处在系统升级阶段
2024-05-07
DolphinDB 高性能分布式时序数据库，具有分布式计算、事务支持、多模存储、及流批一体等能力，非常适合作为一款理想的轻量级大数据平台，轻松搭建一站式的高性能实时数据仓库。 本教程将以案例与脚本的方式，介绍如何通过 DolphinDB 快速搭建实时数仓，助力各个行业（如能源电力、航空航天、车联网
2024-04-25