您当前的位置: 首页 > 

Dongguo丶

暂无认证

  • 2浏览

    0关注

    472博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

59最后优化写入流程实现海量磁盘文件合并(segment merge,optimize)

Dongguo丶 发布时间:2021-11-15 21:03:34 ,浏览量:2

每秒一个segment file,文件过多,而且每次search都要搜索所有的segment,很耗时

默认会在后台执行segment merge操作,在merge的时候,被标记为deleted的document也会被彻底物理删除

每次merge操作的执行流程

(1)选择一些有相似大小的segment,merge成一个大的segment

image-20211115205214244

(2)将新的segment flush到磁盘上去

image-20211115205242249

(3)写一个新的commit point,包括了新的segment,并且排除旧的那些segment

image-20211115205433269

(4)将新的segment打开供搜索

image-20211115205517743

(5)将旧的segment删除

image-20211115205539287

这样就可以避免segment过多。

也可以手动执行merge操作

POST /my_index/_optimize?max_num_segments=1,但是尽量不要手动执行,让它自动默认执行就可以了

关注
打赏
1638062488
查看更多评论
立即登录/注册

微信扫码登录

0.0373s