面对不断公司不断膨胀日志数据如何破局?看看让存储效率提高50%方案

时序数据随处可见。数据可以是日志、指标、跟踪、安全事件。数据是安全性和可观测性用例等的基础。发布以来,官方为此做出了大量的优化和提升,以保证能够更快速及高效地管理和扩展此类数据,因为时序数据增长性非常快,比如,如果您每天收集 1 TB 的数据,则每周需要收集 7 TB。数年之后,数据量便会轻松达至 PB 级。用户需要一种方法,该方法既能管理这种指数级的存储增长,又能够对数据进行搜索。

ES中索引别名(alias)的到底有什么用

官方给的解释一般来说都很难让人理解,尤其是没接触或使用过的人尤其如此。网上很多解释说索引别名是为了保护索引,可以让索引相对于调用者隐藏起来。其实这样的解释只有懂别名是什么的人才能看懂,而懂的人又不屑于看了 其实索引别名是对索引绑定的另一个名字,一个别名可以绑定多个索引,一个索引也可以绑定多个别名。至于索引的作用和意义,我将用下面例子来解释。先记结论:**索引别名非常常用、非常非常重要**。

不必Reindex,利用runtime_fields优雅地解决字段类型错误问题

其在`runtime_mappings` 中定义了两个“新字段”,即`day_of_week`和`time`,其中`day_of_week`利用运行时字段中执行脚本进行动态计算,从而得出每天分别是一周内的星期几。这种用法可用于各种其他复杂的运算。 而`time`字段则是对原有字段进行重新映射,改变其原有字段的类型和其他属性,如`format`,使其原本不支持的时间类型变为支持。

ES 中时间日期类型 “yyyy-MM-dd HH:mm:ss” 的完全避坑指南

时间和日期类型是我们作为开发每天都会遇到的一种常见数据类型。和`Java`中有所不同,`Elasticsearch` 在索引创建之前并不是必须要创建索引的mapping。关系型数据库的思维就是在中写入数据之前,并不强制创建表结构。我们不用事先声明字段名称,字段类型以及长度等属性就可以直接像一个不存在的表中直接写入数据。

基于Canal的MySQL=>ES数据同步方案

基于Canal的MySQL=>ES数据同步方案

ES 深度分页问题及针对不同需求下的解决方案(Deep paging)

1、什么是深度分页(Deep paging)?1.1 ES中from+size分页1.2 案例解释什么是深分页2、深度分页会带来什么问题?3、max_result_window参数4、深度分页问题的常见解决方案?4.1 尝试避免深度分页4.2 滚动查询:Scroll Search4.2.1 适合场景

ELK搭建(二):利用kibana创建数据看板

0. 引言上一节我们讲了如何利用ELK搭建分布式微服务日志监控平台,在简单的日志应用场景中,普通的日志查询已经能够满足我们的使用,但是有些场景下,需要我们搭建更加直观的数据展示来显示我们的索引数据。比如说统计出现次数前十的报错内容,或者更具备销售属性的近一年的销售数据趋势图这些需求,都要求我们要搭建

ES中的Multi_match深入解读:best_fields、most_fields、cross_fields用法一览

多字段检索,是组合查询的另一种形态,考试的时候如果考察多字段检索,并不一定必须使用multi_match,使用bool query,只要结果正确亦可,除非题目中明确要求(目前没有强制要求过)

ES架构设计:从单节点服务到百万节点 Elasticsearch 高可用集群系统架构设计

使用小、中、大型公司的架构设计方案。 从性能、成本等多方面权衡考虑

ELK搭建(一):实现分布式微服务日志监控

1、目标本次我们搭建的目标是通过ELK来收集微服务中的日志。本期主要以实操、快速搭建为主进行讲解,部分基础概念不做过多描述,后续会再单独出几期博客说明。更多ELK搭建可以关注本专栏,后续会持续输出。2、思路首先我们要部署的架构如下图所示,需要收集两个微服务的日志,并且最终在kibana中可视化呈现出

官方公众号 Elastic开源社区


官方微信群 Elastic开源社区

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×

欢迎登陆Elastic开源社区

个人信息