ElasticSearch之文档的存储

news/2024/7/23 20:30:13 标签: elasticsearch, 分片路由

写在前面

本文看下文档的存储相关内容。

1:如何确定文档存储在哪个分片?

我们需要确保文档均匀分布在所有的分片中,避免某些部分机器空闲,部分机器繁忙的情况出现,想要实现均匀分布我们可以考虑如下的几种分片路由算法:

1:round robin 轮询
    优点:简单
    缺点:数据更新、查询,删除的效率低,因为无法直接确定数据存储的分片,需要轮询,时间复杂度为O(n) 。
2:维护一个文档和分片的对应关系
    优点:简单
    缺点:需要额外维护对应关系,增加存储的成本
3:动态哈希,实时计算
    优点:简单,快速
    缺点:需要依赖于分片来计算,所以,分片数不能动态变更,除非reindex

以上三种方案,es采用的第三种,动态哈希,因为缺点相对来说,影响不是特别大,因为分片数我们完全可以事先确定好一个值,就算是确实需要修改分片数,也只需要在某次升级期间来完成即可,而前两种方案都会降低每次查询的速度,所以不可取。

动态哈希算法公式为hash(_routing)%number_of_primary_shards,这里的_routing默认是文档id,也可以通过如下方式来指定:
在这里插入图片描述

1:通过指定的方式,我们可以实现某些场景下某些数据放在同一个分片的需求。

2:es中修改分片数需要reindex的根本原因就在于,计算哈希依赖于分片数,如果分片数改变,路由分片的结果将会改变,如果不reindex将会导致大量文档无法查询。

具体如下:
在这里插入图片描述

2:更新和删除文档的流程

  • 更新文档的流程
    在这里插入图片描述
  • 删除文档的流程
    在这里插入图片描述

写在后面

参考文章列表


http://www.niftyadmin.cn/n/5405684.html

相关文章

C++ //练习 10.31 修改前一题的程序,使其只打印不重复的元素。你的程序应使用unique_copy(参见10.4.1节,第359页)。

C Primer(第5版) 练习 10.31 练习 10.31 修改前一题的程序,使其只打印不重复的元素。你的程序应使用unique_copy(参见10.4.1节,第359页)。 环境:Linux Ubuntu(云服务器&#xff09…

gpt生成器,批量gpt文章生成器

GPT(生成式预训练模型)生成器软件在当今的数字化时代扮演着越来越重要的角色,它们通过人工智能技术,可以自动生成各种类型的文章内容,为用户提供了无限的创作可能性。本文将介绍6款不同的GPT生成器软件,并介…

数据结构知识点总结12-(第六章.图)-图的存储结构及图的遍历

专栏主页:计算机专业基础知识总结(适用于期末复习考研刷题求职面试)系列文章https://blog.csdn.net/seeker1994/category_12585732.html ...... 数据结构知识点总结11-(第六章.图)-图的基本概念 数据结构知识点总结13-(第六章.图)-图的应用…

全员996!OpenAI匿名员工自曝3年工作感受

在OpenAI工作,是怎样的体验? 前段时间,华人员工Jason Wei自曝996作息表,走红全网,让网友纷纷看到了现实中的自己。 OpenAI视频生成的研究员Will Depue称,「这简直就是我的一天」。 近来,一位Op…

mysql之union和 union all

1. uion 和 union all区别 union 会对结果进行去重 union all 将子查询的结果全部合并 # union 测试 select name,age from student where namehenry union select name,age from student where age20 # 结果 : # henry,20# union all 测试 select name,age from student whe…

多个地区地图可视化

1. 配置Json文件 1.1 获得每个省份的json数据 打开 阿里云数据可视化平台 主页。 在搜索框中输入所需省份。 将json文件下载到本地。 1.2 将各省份的json数据进行融合 打开 geojson.io 主页 点击 open,上传刚刚下载的 json 文件,对多个省份不断…

达梦数据库把日志数据按天统计不同状态的数据,实现字段行转列与根据id分组

1、这是日志表记录的数据,现在需要统计出每个app_id各个警告类型alarm_type的总数 2、先实现行转列,把三个alarm_type值转成列字段 SQL select app_id,count(CASE WHEN alarm_typeconcurrency THEN 1 ELSE null END) AS currentCount,count(CASE WHEN …

PostgreSQL教程(十七):SQL语言(十)之性能提示

一、使用EXPLAIN PostgreSQL为每个收到查询产生一个查询计划。 选择正确的计划来匹配查询结构和数据的属性对于好的性能来说绝对是最关键的,因此系统包含了一个复杂的规划器来尝试选择好的计划。 你可以使用EXPLAIN命令察看规划器为任何查询生成的查询计划。 阅读查…