ElasticSearch(一)分布式搜索引擎概念

分布式搜索引擎概念

1.搜索引擎是什么?

搜索引擎是一个检索服务,主要分全文检索和垂直检索,比如 solr/elasticsearch

2.elasticsearch

elasticsearch是一个分布式的索引库,我这里简单理解成一个nosql的数据库,它对外提供检索服务,使用的是http协议(之前也用transport协议,6.x开始已被废弃,现在用于集群内部通信),对内就是个nosql数据库。
在ElasticSearch中我们会经常听到以下名词,现在我来将它和关系型数据库做一个对比:
image.png

3.分词

分词可以说是搜索引起的基石,如果一个搜索引擎没有好的分词器那么这个搜索引擎必然是失败的。
搜索是以词作为最小单元,依靠分词器进行构建,最后会生成一个倒排索引。

  • 倒排索引:
    倒排的意思就是我们把value对应成key,因为一个value是没有有办法得出确定的一篇文档的,可以得出很多。这就是倒排索引跟正向索引最大的不同点。
  • 正向索引:
    类似我们的HashMap。

4.TF-IDF

  • TF:词频 一篇doc中包含了多少这个词,包含越多表明越相关。
  • DF:文档频率 包含这个词的文档总数,比如 搜奶粉,你就去找奶粉在多少篇文档中出现了。
  • IDF = 1/DF:逆文档,DF取反 也就是 1/DF;如果包含该词的文档越少,也就是DF越小,IDF越大,则说明词对这篇文档重要性就越大。
  • TFIDF: TF*IDF 的主要思想是:如果某个词或短语在一篇文章中出现的频率TF高,并且在其他文章中很少出现,则认为此词或者短语具有很好的类别区分能力。

评论

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×