Flink 替换 Logstash 解决日志收集丢失问题
在某客户日志数据迁移到火山引擎使用 ELK 生态的案例中,由于客户反馈之前 Logstash 经常发生数据丢失和收集性能较差的使用痛点,我们尝试使用 Flink 替代了传统的 Logstash 来作为日志数据解析、转换以及写入 ElasticSearch 的组件,得到了该客户的认可,并且已经成功协助用户迁移到火山。目前,Flink 已经支持该业务高峰期 1000+k/s 的数据写入。 本文主要介绍
火山引擎 ByteHouse:如何提升 18000 节点的 ClickHouse 可用性?
更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群 ClickHouse 是业内被广泛使用的 OLAP 引擎。当集群规模过大时,ClickHouse 则面临使用局限性的问题。如何提升 ClickHouse 的可用性,成为困扰广大开发者的难题之一。 目前,字节跳动内部的 ClickHouse 节点总数超过 18000 个,管理总数据量超过 700PB,最大的集群规模
Zabbix字符集乱码及Centos7补全设置 [转]
Zabbix默认不支持中文的字符集,因为在查看图片的时候如果图形定义的是中文。显示的时候会出现乱码 Zabbix字符集乱码及Centos7补全设置 zabbix 2016年10月5日 Centos补全安装软件包 [root@linux-node1 ~]# yum install -y bash-completion 从新打开窗口即可 操作: 1. 找到本地C:WindowsFontssimkai.
从零开始使用 Docker 打包 Django 开发环境 (1) 环境搭建
Vagrant 适合用来管理虚拟机,而 Docker 适合用来管理应用环境。为了更好地模拟真实运行环境,本系列文章借助 Docker 和 Docker Compose 搭建 Nginx + uWSGI+ Django + MySQL + Redis + Rabbit 的开发环境。1. 基本概念Docker 是一个开源的应用容器引擎,基于 Go 语言 并遵从 Apache2.0 协议开源。Docke
云原生生态周报(Cloud Native Weekly)第3期
摘要: Docker Hub遭入侵,19万账号被泄露;Java 8 终于开始提供良好的容器支持;Snyk 年度安全报告出炉,容器安全问题形势空前严峻。 业界要闻 Docker Hub遭入侵,19万账号被泄露 : 4月25日Docker官方邮件曝露,因为Hub的一个数据库收到非授权访问,影响了约19万用户的用户名和哈希后的密码,以及用户自动构建的Github和Bitbucket Token。Dock