您当前的位置: 首页 >  ar

wu@55555

暂无认证

  • 2浏览

    0关注

    201博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

【Elastic知识简报】standard analyzer和standard tokenizer有什么区别?

wu@55555 发布时间:2021-12-15 10:21:01 ,浏览量:2

什么是analyzer,什么是tokenizer?

analyzer是分析器,由三部分组成:字符过滤器 character filter、令牌过滤器 token filter、分词器tokenizer,所以tokenizer是analyzer的一部分 字符过滤器:用于过滤HTML标签、自定义映射、正则替换 令牌过滤器:用于过滤停用词、时态转换、大小写转换、同义词转换、语气词处理等 分词器:按照一定的规则来对字符串分词

standard analyzer和standard tokenizer有什么区别?

standard tokenizer是以空格为分隔符的分词器,而standard analyzer包含了standard tokenizer,并且额外包含了一个大写转小写的字符过滤器

关注
打赏
1664985904
查看更多评论
立即登录/注册

微信扫码登录

0.0404s