您当前的位置: 首页 > 

Bulut0907

暂无认证

  • 1浏览

    0关注

    346博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

【Iceberg表规范】Position Delete Files和Equality Delete Files

Bulut0907 发布时间:2022-04-30 22:23:46 ,浏览量:1

目录
  • 1. Position Delete Files
  • 2. Equality Delete Files

Row-level delete files也是一种date file,使用Iceberg的format、schemas、column projection列投影

1. Position Delete Files

包含的字段信息如下:

字段ID字段名称数据类型描述2147483546 file_pathstring要删除的一行数据的data file的path,比如hdfs://nnha/user/iceberg/warehouse/test_db/test_tb/data/partition1/xxx.orc2147483545 poslong要删除的一行数据在data file的position,position从0开始计算2147483544 rowrequired struct要删除的一行数据的各字段和字段值 2. Equality Delete Files

例如,一个表有如下数据,表头每列为:字段ID:字段名称

 1: id | 2: category | 3: name
-------|-------------|---------
 1     | marsupial   | Koala
 2     | toy         | Teddy
 3     | NULL        | Grizzly
 4     | NULL        | Polar

要删除id = 3的数据,则会有如下delete file

equality_ids=[1]

 1: id | 2: category | 3: name
-------|-------------|---------
 3     | NULL        | Grizzly

要删除id = 4 and category is null的数据,则会有如下delete file

equality_ids=[1, 2]

 1: id | 2: category | 3: name
-------|-------------|---------
 4     | NULL        | Polar

表中删除列或添加列,delete file还是按照要删除的列和值,应用到data files中

关注
打赏
1664501120
查看更多评论
立即登录/注册

微信扫码登录

0.0438s