【大数据技术】hive中cluster by（clustered by）在建表时使用与在sql中使用的区别及对结果的影响（很细微）

【大数据技术】hive中cluster by（clustered by）在建表时使用与在sql中使用的区别及对结果的影响（很细微）

背景：

某次实操过程中，发现在建表语句里使用了clustered by，但实际效果是每个bucket里并没有实现按指定字段排序 ，以为是发现了Apache的bug了[/狗头]

过程：

在建表时使用（clustered by）：

create table t_bucket(
id int ,
name string ,
score int
)
clustered by(id) into 4 buckets row format delimited fields terminated by ‘,’ ;

插入数据：

insert into table t_bucket select * from tmp ；

在sql语句里使用

1. select id ,name ,score from t_test cluster by id ;
2. select id ,name ,score from t_test distribute by id sort by score desc ;

结论：

1. clustered by在建表语句里使用时不能实现就分区又区内排序的效果；
2. cluster by在sql里使用时可实现分区+排序的效果，但只能默认增序排列 ；
3. cluster by = distribute by+ sort by