猜一数据库名字:"我居昆仑山,所谓者真人"
看到标题不知道你猜到了没?
今天介绍一款国产分布式数据库。
泽拓科技
先来了解一下研发这款产品的厂商: 泽拓科技
2020.12,泽拓科技(深圳)有限公司成立。
2021年中,完成天使轮融资,由蓝驰和常春藤投资。
2021.11,泽拓科技正式发布了其核心产品 KunlunBase 的完整商业版本。
2022.08,泽拓科技发布了 KunlunBase 1.0 商用版本。
2022.09,入驻阿里云计算巢。
2023年初,完成pre-A轮融资,由复星创富投资,常春藤追加投资。
2023.03,KunlunBase 产品的名称改为 Klustron,取自cluster strong,意为分布式数据库集群能力强大。
2023.03,泽拓科技成为大数据技术标准推进委员会成员单位并加入数据库与存储工作组、金融大数据工作组。
2023.07,泽拓科技数据库产品 Klustron v1.2 成功通过中国信通院“可信数据库”评测。
同时,泽拓科技 Klustron 作为成员之一参与《数据库发展研究报告(2023年)》编制工作并正式入选《中国数据库产业图谱(2023年)》。
2023.07,KunlunBase Serverless数据库云服务(DBaaS) 正式上线亚马逊云科技Marketplace(中国区)
2023.10,泽拓科技签署 CLA 协议,正式加入 OpenCloudOS 操作系统开源社区。
2023.12,泽拓科技荣获“2023数字经济隐形独角兽企业”。
2023.12,泽拓科技 Klustron V1.3 荣获“2023年度信创卓越贡献奖”。
2024.01,泽拓科技入选“2023粤港澳大湾区科创榜—深港澳科创新锐企业TOP100”。
2024.05,Klustron 1.3 正式发布。
国家专利
泽拓科技目前拥有 10 项国家专利。
- 分布式任务协调方法、装置、设备和介质
- 元数据同步方法、装置、电子设备及存储介质
- 元数据备份恢复方法、装置、电子设备及存储介质
- 分布式事务处理方法、系统及装置
- 线程复用的任务分段处理方法、装置、设备和介质
- 分布式数据集群的数据恢复方法、装置和电子设备
- 合并网络连接的通信方法、系统、存储介质及设备
- 分布式数据库并发控制方法、系统、计算机设备
- 多存储引擎数据复制方法、系统、计算机设备
- 分布式事务处理方法方法、系统、计算机设备及存储介质
Klustron
Klustron 是由泽拓科技研发的一款国产的分布式 HTAP 关系型数据库,作为 NewSQL 的一个代表,可处理 TB 和 PB 级别海量数据,并且具有金融级高可靠性,高性能,高可扩展性,高可用性和具有完备容灾能力。Klustron 具备完整的 OLAP 功能,扩展了传统数据分析领域,适合分析最新的和不断更新的业务数据,并且支持大数据分析。适合金融、电信、能源、互联网等各领域的数据管理、事务处理和数据分析场景。
KunlunBase 基于 MySQL 打造存储节点,而基于 PostgreSQL 打造的计算节点是行业首发。整体来看,KunlunBase 扩展了这两个全球使用最广泛(基于 DB-Engines 排名)的开源单机数据库产品的能力,让它们的用户可以管理PB级别的数据量并具备弹性伸缩和金融级高可用能力。
Klustron 整个系统主要由5个组件组成,分别是计算节点、存储节点,元数据集群,管理集群和辅助工具集。
(Klustron 架构图)
下面这段文字节选自韩峰老师的文章:《分布式数据库KlustronBase–初探》
昆仑数据库架构上是属于 share nothing 架构,覆盖场景包括 OLTP、HTAP。其可在满足承载大规模数据容量的前提下,提供有时延保证的数据访问能力。支持多种数据分片的同时,也支持一定复杂度的在线数据分析。
可以说国内分布式数据库非常繁多,如何在众多产品中定位、选择一款产品非常关键。这里通过一张简图进行说明,并尝试将主要技术架构路线覆盖范围及昆仑数据库所在定位进行描述。下图将用户的数据库使用场景,简单从数据容量、响应时长角度进行归类。横轴表示数据容量,越靠右规模越大;纵轴表示响应时延,越靠上时延越高。根据常规的的划分,我们可以将数据使用场景,简单分为 OLTP-联机交易、HTAP-混合负载和 OLAP-联机分析,其对应的数据规模和时延要求各有不同。从主要技术实现路线来看,可大致按照擅长的领域做下划分,如下图。其中会有部分场景上有所交叉。
快速体验
使用 Docker 启动集群
通过 Klustron 多合一 Docker 镜像来快速体验 Klustron 的集群结构和基本功能
- 集群节点说明:
- 三个 Klustron-storage 节点,构成一个3副本的 Meta Shard;
- 还有六个 Klustron-storage 节点,构成两个 Data Shard, 每个 Shard 的副本数为 3;
- 三个 Klustron-server 节点,构成三个各自独立的计算节点,用于处理客户端的数据请求。该集群的各个 Klustron-storage 节点的 buffer pool size 仅为 64MB, 所以该集群仅可用于功能体验,不能用于性能和压力测试。
- 拉取容器镜像,并拉起集群:
[root@rocky9 ~]# podman pull registry.cn-hangzhou.aliyuncs.com/kunlundb/kunlun:latest
Trying to pull registry.cn-hangzhou.aliyuncs.com/kunlundb/kunlun:latest...
Getting image source signatures
Copying blob 39d718b5788a done
...
Writing manifest to image destination
b86d8a15e5c93df58b3df62ad1c71d126dbc6888d0bfdc69d46ae75ecbc329e5
[root@rocky9 ~]# podman run --name kunlun1 -itd \
-p 5401:5401 -p 5402:5402 -p 5403:5403 -p 5404:5404 -p 5405:5405 \
registry.cn-hangzhou.aliyuncs.com/kunlundb/kunlun:latest \
bash -c 'bash /kunlun/start_kunlun.sh'
abb0619063b01fbbebee18a5f55fd266a2a7a3e22999b7fd9775ff91d075b5af