您当前的位置: 首页 >  ar

Elasticsearch实战(六)-mapping映射

发布时间:2020-11-30 21:48:27 ,浏览量:0

1 mapping 作用

类似数据库中的表结构定义,主要作用如下:

  • 定义Index下的字段名( Field Name )
  • 定义字段的类型,比如数值型、字符串型、布尔型等
  • 定义倒排索弓|相关的配置,比如是否索引、记录position等
2 查看 mapping
{ "index" : { "mappings" : { "properties" : { "JSON 数据" : { "type" : "text", "fields" : { "keyword" : { "type" : "keyword", "ignore_above" : 256 } } }, "公众号" : { "type" : "text", "fields" : { "keyword" : { "type" : "keyword", "ignore_above" : 256 } } } } } } } 

3 自定义 mapping

类似 MySQL,Mapping中的字段类型一旦设定后,禁止直接修改,原因如下:

  • Lucene实现的倒排索引生成后不允许修改
  • 重新建立新的索引,然后做reindex操作

允许新增字段 通过dynamic参数来控制字段的新增

  • true (默认)允许自动新增字段
  • false不允许自动新增字段,但是文档可以正常写入,但无法对字段进行查询等操作
  • strict文档不能写入,报错
copy_to

将该字段的值复制到目标字段,实现类似_all的作用,不会出现在_source中,只用来搜索

index

控制当前字段是否索引,默认为true,即记录索引, false 不记录, 即不可搜索

index_options

控制倒排索弓引|记录的内容,有如下4种配置

  • docs只记录doc id
  • freqs记录doc id和term frequencies
  • positions 记录doc id、term frequencies和term position
  • offsets记录doc id、 term frequencies、 term position和character offsets

text 类型默认配置为positions,其他默认为docs。记录内容越多,占用空间越大。

null_value

当字段遇到null值时的处理策略,默认为null,即空值,此时es会忽略该值。可以通过设定该值设定字段的默认值。

4 数据类型
  • 字符串 text、keyword
  • 数值型 long、integer、short, byte, double, float half_float, scaled_float
  • 布尔 boolean
  • 日期 date
  • 二进制 binary
  • 范围 integer_range, float_range, long_range, double_range, date_ range
  • 复杂数据类型 数组类型array、对象类型object、嵌套类型nested object
  • 地理位置 geo_point、geo_shape
  • 专用类型 记录ip地址 ip 实现自动补全 completion 记录分词数 token_count 记录字符串hash值 murmur3 percolator join
  • 多字段特性multi-fields 允许对同一个字段采用不同的配置,比如分词,常见例子如对人名实现拼音搜索, 只需要在人名中新增一个子字段为pinyin即可

ES可以自动识别文档字段类型,从而降低用户使用成本,如下所示

PUT /test_index/doc/1 { "username": "java", "age": "18" } GET /test_index/_mapping
{ "test_index" : { "mappings" : { "properties" : { "age" : { "type" : "text", "fields" : { "keyword" : { "type" : "keyword", "ignore_above" : 256 } } }, "username" : { "type" : "text", "fields" : { "keyword" : { "type" : "keyword", "ignore_above" : 256 } } } } } } } 

ES是依靠JSON文档的字段类型来实现自动识别字段类型,支持的类型如下:

PUT /test_index/doc/1 {"username":" alfred", "age":14, "birth":"1988-10-10", "married":false, "year":18, "tags":["boy","fashion"], "money":100.1 } GET /test_index/_mapping
{ "test_index" : { "mappings" : { "properties" : { "age" : { "type" : "text", "fields" : { "keyword" : { "type" : "keyword", "ignore_above" : 256 } } }, "birth" : { "type" : "date" }, "married" : { "type" : "boolean" }, "money" : { "type" : "float" }, "tags" : { "type" : "text", "fields" : { "keyword" : { "type" : "keyword", "ignore_above" : 256 } } }, "username" : { "type" : "text", "fields" : { "keyword" : { "type" : "keyword", "ignore_above" : 256 } } }, "year" : { "type" : "long" } } } } } 
日期的自动识别可以自行配置日期格式,

默认是[ “strict_date_optional_time”,“yyyy/MM/dd HH:mm:ss Z||yyyy/MM/dd Z”]

  • strict_date_optional_time是 ISO datetime 的格式,完整格式类似下面:
  • YYYY-MM-DDThh:mm:ssTZD (eg 1997-07-16T19:20:30+01:00) dynamic_date_formats可以自定义日期类型 date_detection可关闭日期自动识别的机制
dynamic template

允许根据es自动识别的数据类型、字段名等来动态设定字段类型,可以实现如下效果:

  • 所有字符串类型都设定为keyword类型,即默认不分词
  • 所有以message开头的字段都设定为text类型,即分词
  • 所有以long_开头的字段都设定为long类型
  • 所有自动匹配为double类型的都设定为float类型,以节省空间

匹配规则一般有如下几个参数:

  • match_ mapping _type 匹配 es 自动识别的字段类型,如boolean,long,string
  • match,unmatch 匹配字段名
  • path_ match,path_ unmatch 匹配路径
自定义Mapping的操作步骤
  1. 写一条文档到es的临时索引中,获取es自动生成的mapping
  2. 修改步骤1得到的mapping ,自定义相关配置
  3. 使用步骤2的mapping创建实际所需索引
索引模板

索引模板,英文为Index Template,主要用于在新建索引时自动应用预先设定的配置,简化索索引创建的操作步骤

  • 可以设定索引的配置和mapping

  • 可以有多个模板,根据order设置,order大的覆盖小的配置

  • 索弓|模板API , endpoint为_template,如下所示:

获取与删除

参考

  • https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-params.html
  • https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-types.html
关注
打赏
1688896170
查看更多评论

暂无认证

  • 0浏览

    0关注

    115984博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文
立即登录/注册

微信扫码登录

0.0445s