投稿
  1. 首页
  2. 随笔

Spark，mapPartitions之前的repartition增大可以显著加快速度

怡红院首页•2022-12-17•随笔•阅读24

Spark，mapPartitions之前的repartition增大可以显著加快速度,第1张

Spark，mapPartitions之前的repartition增大可以显著加快速度

mapPartitions里是耗时的（batch型的）模型推理

dataframe.repartition(500).rdd.mapPartitions
改为
dataframe.repartition(5000).rdd.mapPartitions

欢迎分享，转载请注明来源：内存溢出

原文地址:https://www.54852.com/zaji/5679152.html

赞 (0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
怡红院首页怡红院首页一级用户组
00
上一篇 2022-12-17
下一篇2022-12-17

发表评论

登录后才能评论

评论列表（0条）

    保存