spark RDD 键值算子——repartitionAndSortWithinPartitions算子

spark RDD 键值算子——repartitionAndSortWithinPartitions算子

repartitionAndSortWithinPartitions是Spark官网推荐的一个算子，官方建议，如果需要在repartition重分区之后，还要进行sort 排序，建议直接使用repartitionAndSortWithinPartitions算子。因为该算子可以一边进行重分区的shuffle *** 作，一边进行排序。shuffle与sort两个 *** 作同时进行，比先shuffle再sort来说，性能可能是要高的。