Corsearch 用 ClickHouse 替换 MySQL 进行内容和品牌保护
本文字数：3357；估计阅读时间：9 分钟
Meetup活动
ClickHouse 广州首届 Meetup 讲师招募中，欢迎讲师在文末扫码报名！
Chase Richards 自 2011 年在初创公司 Marketly 担任工程负责人，直到 2020 年公司被收购。他现在是品牌保护公司 Corsearch 的工程副总裁。他在最近的一次聚会上与我们分享了他使用 ClickHouse 的经验。
Corsearch 于 2018 年从 Wolters Kluwer 分离出来，成为一家专业公司。新公司通过多次收购迅速扩展，整合专业知识，成为品牌保护解决方案的领导者。Chase Richards 作为工程副总裁，在提升 Corsearch 的品牌保护解决方案方面发挥了关键作用，服务于全球的组织。专注于跟踪国际商标、检测冲突和侵权、打击假冒伪劣、保护内容免受盗版和网络侵权，这意味着需要从大量无害或授权数据中筛选出侵权行为和恶意行为者。早在 2017 年（仍在 Marketly 时），Chase 就面临一些挑战：
事务性数据库的限制——行数据库（如 MySQL）在应用于分析时限制了构建面向外部客户的交互式数据驱动用户界面的可扩展性和灵活性。
操作复杂性——使用多个数据库后端，包括 MySQL、BigQuery 和 MongoDB，以支持关键的面向客户的应用程序，这意味着花费更多时间进行维护而不是构建新功能。
然而，报告界面需要对数百个指标进行实时分析，并且这种体验必须是互动的，否则营销团队会感到沮丧。这意味着所有活跃用户在最近和历史数据上的几十个并发查询必须在毫秒内完成。MySQL 数据库不适合处理有 10 多个可筛选维度的工作负载，并且基于时间序列数据进行日、周和月的分组。“我们开发了出色的指标并构建了前端。但我们运行在一组预聚合的 MySQL 表上，进行了大量表分区。操作复杂，但仍然无法扩展。”随着应用使用量增加，这个问题变得更加明显——查询变得越来越慢，用户开始离开应用。Chase 在聚会上说：“起初效果很好，但随着客户系统的不断增长——这对我们的初创企业来说是好消息——数据量也不断增加，而 MySQL 的索引限制和行技术让我们难以应对。”
“我们得到了一些令人瞠目的数据。仅压缩比就使得服务器管理和部署变得更加容易。”
这不仅仅是让应用程序运行起来。ClickHouse 对时间序列数据的压缩率远超 MySQL（见下图），这减少了运行应用程序所需的服务器数量，简化了服务器管理。“我们得到了一些令人瞠目的数据。压缩比本身就使服务器管理和部署变得更加容易。”当然，ClickHouse 并没有停滞不前，每次发布都在改进数据压缩和性能。“ClickHouse 变得更好了。例如，低基数在性能和压缩比方面是一个巨大的飞跃，”Chase 解释道。
Chase 和他的团队对 ClickHouse 与专用向量数据库进行了比较分析，发现尽管专用向量数据库在近似索引方面可能表现更好，但它们仍然是特殊用途的系统，需要特定的技能来采用和维护。相比之下，Corsearch 能够在 ClickHouse 中直接执行多维度限定的向量距离计算，并结合其他检测盗版的方法，借助 SQL 语法实现。因此，无需维护额外的基础设施或学习新的语言。
从架构上看，这个设计很简单，仅包含两个表。一个表用于通用指标系统，跟踪各种指标如队列深度。另一个表记录“工作原子单元”，用于跟踪抓取网页的尝试。这个基础设施能够轻松创建图表和时间序列指标。每列都可以成为独立的时间序列，确保数据可以随时恢复到原始形式。
“对于我的小团队来说，这非常有效，”Chase 在聚会上说道。虽然埋点是自定义的，但 Chase 承认，如果今天开始，他会优先考虑使用 OpenTelemetry，因为它正在成为标准。ClickHouse 在这个用例中也展示了其性能和资源效率优势：“该系统在磁盘上以不到 325 GB 的空间存储了四年内的 100 亿行数据，”Chase 分享道。
展望未来，Chase 计划进一步简化操作：“我很期待在我们的生产工作负载上尝试 ClickHouse Cloud。看到 ClickHouse 的云原生架构在那里的发展真的很酷，这提供了额外的差异化。”在聚会演讲之后，Corsearch 已经开始使用 ClickHouse Cloud 存储每天从数百万抓取图像中生成的嵌入，用于相似性搜索——这使团队能够利用该服务提供的低操作开销和无限存储，以及在相同数据集上实现更快的线性距离扫描。
最近 ClickHouse 官方首次推出了 ClickHouse 认证开发人员（点击查看详情）的考试。提升您的职业生涯至行业顶尖水平！报名参加我们的官方 ClickHouse 认证考试，证明您的 ClickHouse 专业技能。
提示：我们正在开通国内购买渠道，请大家积极填写认证考试意愿到场问卷，敬请期待
征稿启示
面向社区长期正文，文章内容包括但不限于关于 ClickHouse 的技术研究、项目实践和创新做法等。建议行文风格干货输出&图文并茂。质量合格的文章将会发布在本公众号，优秀者也有机会推荐到 ClickHouse 官网。请将文章稿件的 WORD 版本发邮件至：Tracy.Wang@clickhouse.com
