Hive 分桶

概念

分桶：将数据集分解成更容易管理的若干部分。 分区针对的是数据的存储路径，分桶针对的是数据文件。

创建桶

查看结果：

抽样查询

语法：TABLESAMPLE(BUCKET x OUT OF y)

• y必须是table总bucket数的倍数或者因子。hive根据y的大小，决定抽样的比例。例如，table总共分了4份，当y=2时，抽取(4/2=)2个bucket的数据，当y=8时，抽取(4/8=)1/2个bucket的数据。
• x表示从哪个bucket开始抽取，如果需要取多个分区，以后的分区号为当前分区号加上y。例如，table总bucket数为4，tablesample(bucket 1 out of 2)，表示总共抽取（4/2=）2个bucket的数据，抽取第1(x)个和第3(x+y)个bucket的数据。 注意：x的值必须小于等于y的值，否则报错。 示例：