<small id='zKZw1QV'></small> <noframes id='nThGaV'>

  • <tfoot id='0O2C5GpdAr'></tfoot>

      <legend id='XveiOyJ'><style id='61cJNefqV'><dir id='wupzdX'><q id='18jolh0E'></q></dir></style></legend>
      <i id='ISap6WLY0'><tr id='i7jwRrkh'><dt id='wpD4H9vx'><q id='M2GzEHB8'><span id='N0S27r4'><b id='1xnQkYV'><form id='mnxBtNXHZR'><ins id='y6ve5'></ins><ul id='cUGWps'></ul><sub id='8m7U'></sub></form><legend id='j9h8aDOm'></legend><bdo id='1aTwhklv'><pre id='bS2ORYhdA9'><center id='zXYmRtKv'></center></pre></bdo></b><th id='xszP2G6'></th></span></q></dt></tr></i><div id='Yam3rf'><tfoot id='B3U2WuD'></tfoot><dl id='LWM4qCGVn'><fieldset id='1TZx'></fieldset></dl></div>

          <bdo id='rhAmCq'></bdo><ul id='SQLe'></ul>

          1. <li id='63PVZH'></li>
            登陆

            章鱼彩票下载安装-Elasticsearch原理:实时架构

            admin 2019-09-06 193人围观 ,发现0个评论

            ElasticSearch 是一个分布式、高扩展、高实时的查找与数据剖析引擎。它能很便利的使很多数据具有查找、剖析和探究的才能。充分利用ElasticSearch的水平伸缩性,能使数据在出产环境变得更有价值。Elasti凹cSearch 的完成原理首要分为以下几个进程,首要用户将数据提交到Elastic Search 数据库中,再经过分词控制器去将对应的句子分词,将其权重和分词章鱼彩票下载安装-Elasticsearch原理:实时架构成果一起存入数据,当用户查找数据时分,再依据权重将成果排名,打分,再将回来成果出现给用户。

            Elasticsearch的中心优势便是近乎实时,为什么说是近乎实时而非实在意义上的实时呢,由于Elasticsearch能够做到准实时,而并不是彻底的实时。下面介绍Elasticsearch是章鱼彩票下载安装-Elasticsearch原理:实时架构怎么索引数据的整个流程。

            首要,当咱们对记载进行修正时,es会把数据一起写到内存缓存区和translog中。而这个时分数据是不能被查找到的,只要数据形成了segmentFile,才会被查找到。默许状况下,es每隔一秒钟履行一次refresh,能够经过参数index.refresh_interval来修正这个改写距离,履行refresh首要做三件事:

            1、一切在内存缓冲区中的文档被写入到一个新的segment中,可是没有调用fsync,因而内存中的数据或许丢掉

            2、segment被翻开使得里边的文档能够被查找到

            3、清空内存缓冲区

            从上面能够看出,内存缓存中的数据,每一秒会生成一个新的segment,一分钟就会生成60哥segments。只要在生成segment之后,才会被索引到,所以这儿说并非realtime,而是near-realtime。

            translog的相当于事务日志,记载着一切对Elasticsearch的操作记载,也是对Elasticsearch的一种备份。由于并不是写到segment就表明数据落到磁盘了,实际上segment是存储在体系缓存(page cache)中的,只要到达一个周期或许数据量到达必定值,才会flush到磁盘上。这个时分假如体系内存中的segment丢掉,是能够经过translog来康复的。这个flush进程首要做了三件事:

            1、往磁盘里写入commit poi章鱼彩票下载安装-Elasticsearch原理:实时架构nt信息。

            2、文件体系中的segment,fsync到磁盘。

            3、清空translog文件。

            translog能够确保缓存中的segment的康复,但translog也不是实时也磁盘的,也便是章鱼彩票下载安装-Elasticsearch原理:实时架构说,内存中的translog丢了的话,也会有丢掉数据的或许。所以translog也要进行flush。translog的flush首要有三个条件:

            1、能够设置是否在某些操作之后进行强制flush,比方索引的删去或批量恳求之后。

            2、translog巨细超越512mb或许超越三十分钟会强制对segment进行flush,随后会强制对translog进行flush,这种状况缓存中的translog在flush之后会被清空。

            3、默许5s,会强制对translog进行flush。最小值可装备100ms。

            6.3版别显现保存translog文件的最长持续时刻。默许为12h。

            参考官网:https://www.elastic.co/guide/en/elasticsearch/reference/6.3/index-modules-translog.html#_translog_settings

            总结

            translog是确保es数据安全的关键所在,添加flush的频率能够削减数据丢掉的危险,可是所带来的是非常大的功能开支,所以出产上要依据详细的事务需求来进行装备的优化。对实时要求不高的持久,能够考虑添加refresh的时刻距离,这会很有用的提高功能。

            后续文档将发布怎么布置单实例和分布式ES集群,请重视,谢谢。

            请关注微信公众号
            微信二维码
            不容错过
            Powered By Z-BlogPHP