Elasticsearch 考虑要提取字段的大量日志数据。 为数据建立索引非常耗时，并且会占用大量磁盘空间，而你只想探索数据结构而无需预先提交 schema。 你知道你的日志数据包含你要提取的特定字段。 在这种情况下，我们要关注 @timestamp 和消息字段。 通过使用运行时字段（runtime
2023-07-15
作者：Valerio Arvizzigno, Dimitri Marx, Francesco Di Stefano 这是一篇通过生成式 AI/LLM、自定义模型和 Elasticsearch 相关性引擎 (ESRE) 支持制药行业更快的药物创新和发现的综合指南。更快的药物发现带来有前途的候选药
2023-07-14
作者：Adrien Grand 你是否有兴趣了解 Elasticsearch 用于矢量搜索（vector search）的特性以及设计是什么样子？ 一如既往，设计决策有利有弊。 本博客旨在详细介绍我们如何选择在 Elasticsearch 中构建矢量搜索。 矢量搜索通过 Apache Lucene
2023-07-14
Elasticsearch提供了REST API，这些API可供UI组件使用，并可以直接调用这些API来配置和访问Elasticsearch的功能。通过这些API，可以以编程方式与Elasticsearch进行交互，执行索引、搜索、聚合等操作。REST API提供了一种灵活和通用的方式来与Elast
2023-07-14
通常，很多关系数据项目都使用 MySQL。 它对于标准的 CRUD 操作是有益的，但有时我们需要做额外的过程。 当我们搜索某些内容时，我们会消耗资源或合并多个表。 有时，即使不是，可能仍然需要复杂的 SQL 查询。 也许这不是正确的方法，但这是我们改变技术堆栈的不同方法。 对于这个堆栈，我们首先描述
2023-07-12
@TOC[1]Here's the table of contents:• 一、简介• 二、实验前准备• 2.1 创建索引设置向量字段• 2.2 写入数据• 三、向量计算函数• 3.1 余弦相似度：cosineSimilarity• 3.2 计算点积：dotProduct• 3.3 曼哈顿距离：l1
2023-07-10
elk是由Elasticsearch、Logstash、Kibana三个开源组件组合形成的框架。 Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。L
2023-07-10
首先展示一下效果图 组件介绍 我们监控用了以下监控组件 Telegraf (StatsD) 是一个使用 Node.js 开发的简单的网络守护进程，通过 UDP 或者 TCP 方式侦听各种统计信息，包括计数器和定时器，并发送聚合信息到后端服务，例如 Graphite 、 ElasticSearch
2023-05-04
![ELKStack 实战之 Elasticsearch集群 [二]](https://img.mryunwei.com/uploads/2023/05/20230504031443156.jpg)
在一个集群中2个节点需要选举，有一个节点会被选为主节点（master节点）主节点负责管理集群中的状态。对于用户来说这个ES主节点是谁都是无所谓的，我们只要连接到其中一台就可以的（我们所有操作都可以连接到任意一个节点上） ELKStack
2023-05-04
![ELKStack 基础介绍之 Kibana [四]](https://img.mryunwei.com/uploads/2023/05/20230504031043995.jpg)
Kibana 是为 Elasticsearch 设计的开源分析和可视化平台。你可以使用 Kibana 来搜索，查看存储在 Elasticsearch 索引中的数据并与之交互。你可以很容易实现高级的数据分析和可视化，以图表的形式展现出来。
2023-05-04
对于日志来说，最常见的需求就是收集、存储、查询、展示，开源社区正好有相对应的开源项目：logstash（收集）、elasticsearch（存储+搜索）、kibana（展示），我们将这三个组合起来的技术称之为ELKStack，所以说ELKStack指的是Elasticsearch(java)、Log
2023-05-04
MySQL 与 Elasticsearch 数据不对称问题解决办法 jdbc-input-plugin 只能实现数据库的追加，对于 elasticsearch 增量写入，但经常jdbc源一端的数据库可能会做数据库删除或者更新操作。这样一来数
2023-04-28
今天MySQL数据库栏目介绍MySQL索引与ElasticSearch索引的对比。 前言 这段时间在维护产品的搜索功能，每次在管理台看到 elasticsearch 这么高效的查询效率我都很好奇他是如何做到的。 这甚
2023-04-17
本文主要简单介绍了 ELK 的技术栈，并给出了 Docker compose 的编排配置。阅读本文，可在本地通过 Docker 将 ELK 跑起来。后续会将 ELK 在服务器上进行部署，相关的配置再补充。1. ELK 技术栈介绍ELK 其实并不是一款软件，而是一整套解决方案，是三个软件产品的首字母缩
2023-01-04
如果采用 Logstash 集中接收 Filebeat 的日志输入，容易造成单点瓶颈；如果采用 Kafka 接收 Filebeat 的日志输入，日志的时效性又得不到保障。这里直接将 Filebeat 采集的日志直接输出到 Elasticsearch。1. 准备工作节点规划这里没有区分 master、
2023-01-04
部署示意图 k8s搭建es服务集群示意图 service1、service2、service3用于集群内服务互通，service用于集群服务对外提供访问。 使用自定义存储卷 创建三个nfs pvc 通过管理界面创建3个PVC（es-nfs-pvc-1,es-nfs-
2022-12-06