简单的来说，over sharding 是分片过度的意思。理解这个问题，需要从elasticsearch的分片机制说起。一个索引可以存储超出单个结点硬件限制的大量数据。比如，一个具有10亿文档的索引占据1TB的磁盘空间，而任一节点都没有这样大的磁盘空间，或者单个节点处理搜索请求，响应太慢。为了解决这个问题，Elasticsearch提供了将索引划分成多...

日前Elastic发布了Elasticsearch 7.10.0。该版本基于Apache Lucene 8.7.0开发，支持在Elasticsearch 在线弹性云和自建实例使用。新版本的主要特征有：1、搜索快照可存储更多内容。由于企业数据每天都以指数级的速率增长，尤其是日志和监控数据。很多企业都在用Elasticsearch收集和存储数据，用来做实时...

1、封面介绍2、出版时间2020年3月3、推荐理由本书基于Elasticsearch 7.X版本编写，内容由浅入深，先教会初学者使用，再介绍背后的原理。本书共分为三大部分，分别是Elasticsearch前传、Elasticsearch实战、Elasticsearch生态。Elasticsearch前传部分主要介绍搜索技术发展史和基本知识，并介绍搜索引...

Elasticsearch的核心数据结构是倒排索引，其分为三个部分，如下所示：更多介绍，请移步：《Elasticsearch入门教程13：倒排索引原理介绍》为了查询的高效，Elasticsearch对于Term Index和Posting List两部分，分别采用了不同的压缩技巧。1、Term Index的压缩Elasticsearch用FST（Fin...

1、文本分析与分词文本分析（Analysis）是把全文本转换一系列单词(term/token)的过程，也称为分词。当一个文档被索引时，每个Term都可能会创建一个倒排索引。倒排索引的过程就是将文档通过分词器（Analyzer）分成一个一个的Term，每一个Term都指向包含这个Term的文档集合。2、分析器组成分析器（Analyzer）都由三部分组成的...

分布式系统中各个节点的地位是均等的，是不过角色不同而已，有的是 leader ，而有的是 flower。这种区分 leader 和 flower 的集群更好管理些，因为执行写操作的时候都交给 leader 去处理，然后由 leader 再将数据同步给各个 flower 上的副本。读的时候可以从 flower 上读取，也可以从 leader 上读取，分散...

1、什么是倒排索引？倒排索引（Inverted Index）也叫反向索引，有反向索引必有正向索引。通俗地来讲，正向索引是通过key找value，反向索引则是通过value找key。先来回忆一下我们是怎么插入一条索引记录的：curl -X PUT "localhost:9200/user/_doc/1" -H 'Content-Typ...

1、Logstash是什么？Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。如下图所示：2、Logstash的数据输入数据往往以各种各样的形式，或分散或集中地存在于很多系统中。Logstash 支持各种输入选择 ，可以在同一时间从众多常用来源捕捉事件。...

1、封面介绍2、出版时间2019年11月3、推荐理由《Elastic Stack应用宝典》系统地介绍了Elastic Stack应用与开发。Elastic Stack由一组处理和分析全文数据的组件构成，在日志、监控等领域中都有着广泛应用。《Elastic Stack应用宝典》在分析了Elastic Stack体系结构的基础之上，对Elastic Sta...

1、封面介绍2、出版时间2020年8月3、推荐理由Elasticsearch是基于Lucene的分布式搜索服务器，它允许用户使用PB级的数据对非结构化内容进行索引和搜索。在本书中，读者将学习到有关Elasticsearch 7.0的全面操作秘笈，并了解如何创建和运行复杂的查询和分析。本书详细阐述了与Elasticsearch 7.0相关的基本解决方案，...

1、封面介绍2、出版时间2019年12月3、推荐理由Elasticsearch是一个开源的搜索和分析引擎，具有现代、快速、分布式、可扩展、容错等优点。Elasticsearch借助了Apache Lucene的能力，让你拥有更强的把控力，可以索引海量数据，并进行搜索。本书先简单回顾基本知识，然后详细讲述Elasticsearch的中级和高级功能，比如查...

1、Filebeat是什么？Filebeat是用于转发和集中日志数据的轻量级传送工具。Filebeat监视用户指定的日志文件或位置，收集日志事件，并将日志数据转发到Elasticsearch或Logstash进行索引。2、Filebeat和Logstash的关系Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不...

备注：此内容为《Elasticsearch黑鸟教程（入门系列）》之十二，修订于2020年12月13日。1、Kibana简单介绍Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana，可以通过各种图表进行高级数据分析及展示。Kibana让海量数据更容易理解。...

备注：此内容为《Elasticsearch黑鸟教程（入门系列）》之十一，修订于2020年12月13日。1、索引一个索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引，另一个产品详情的索引，还有一个订单数据的索引。一个索引由一个名字来标识（必须全部是小写字母的），并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时...

备注：此内容为《Elasticsearch黑鸟教程（入门系列）》之十，修订于2020年12月13日。1、分片是什么？一个索引可以存储超出单个节点硬件限制的大量数据。比如，一个具有10亿文档的索引占据1TB的磁盘空间，而任一节点都没有这样大的磁盘空间；或者单个节点处理搜索请求，响应太慢。为了解决这个问题，Elasticsearch提供了将索引划分成多份的...

备注：此内容为《Elasticsearch黑鸟教程（入门系列）》之九，修订于2020年12月13日。1、设置监听IP默认情况下，Elasticsearch是不支持外网访问，如果你的Elasticsearch安装在其他机器上，你从外网去访问的时候，访问不通。那么需要修改Elasticsearch的配置文件。进入文件夹 /usr/localelastics...

备注：此内容为《Elasticsearch黑鸟教程（入门系列）》之八，修订于2020年12月13日。1、yellow状态介绍在Elasticsearch集群中，索引的yellow状态表示所有主分片可用，但不是所有副本分片都可用，最常见的情景是单节点时，由于Elasticsearch默认有1个副本，但主分片和副本不能在同一个节点上，所以副本就是未分配un...

备注：此内容为《Elasticsearch黑鸟教程（入门系列）》之七，修订于2020年12月13日。1、Elasticsearch内存查看自从服务器上安装了Elasticsearch之后，内存吃紧，经常受到报警。如何查看Elasticsearch的内存情况呢？在Linux系统下，输入top命令，然后按进程的内存使用率排序键入大写M，即可看到内存的使用率...

备注：此内容为《Elasticsearch黑鸟教程（入门系列）》之六，修订于2020年12月13日。1、elasticsearch索引丢失的问题描述手动创建索引之后，过1-2天就莫名其妙的丢失了， 而且并没有去设置自动删除，或者手动删除的操作。这个问题十分常见，通常是elasticsearch新手遇到的比较多。例如这个问题贴：https://elast...

备注：此内容为《Elasticsearch黑鸟教程（入门系列）》之五，修订于2020年12月13日。备注：此文内容参考自网络（部分地方进行了修订），与我之前的想法不谋而合，我之前就觉得type的出现是由于Elasticsearch被误导了，被数据库理论误导了。Elasticsearch是一个基于Apache Lucene™的开源搜索引擎。无论在开源还是...