Spark参数配置不合理的情况

1.1 内存设置 💾

常见的内存设置有两类：堆内和堆外 💡

我们作业中大量的设置 driver 和 executor 的堆外内存为 4g，造成资源浪费 📉。

通常 executor 堆外内存在 executor.cores=1 的时候，1g 足够了，正常来说最大值不超过 2g；driver 1g-2g 足够了 ✅。

注意：如果有 c++ 库这种计算，executor 堆外内存可以保持原有配置。 📚

1.2 动态资源调度相关参数 📊

不开启动态资源管理或者参数设置不合理，会导致明显的资源浪费 💸：
涉及到动态资源调度的参数主要有以下几个 📝：

---

1.3 序列化参数 📝

Spark 中序列化主要有两种，java、kryo。相对来说 kryo 序列化效率更高，作为推荐 💡：

1 spark.serializer org.apache.spark.serializer.KryoSerializer

与 kryo 相关的设置有 📊：

1 spark.kryoserializer.buffer，默认值 64k，这个不需要设置，设置值过大会常驻
2 spark.kryoserializer.buffer.max，默认值 64m

不需要设置 spark.kryoserializer.buffer，默认的 buffer 会在 64k 到 64m 动态伸缩，没有特殊需要不需要设置，如果数据比较大，设置 spark.kryoserializer.buffer.max

1.4 并行度设置 ⚙️

常见的并行度配置有两个 🔧：

1. spark.default.parallelism 默认值：会继承上游 stage 的并行度，主要用于 rdd 的 shuffle 操作
2. spark.sql.shuffle.partitions 默认值 200，主要用于 sql 的 shuffle 操作

算法作业绝大多数是 rdd 操作，合理设置并行度，事半功倍 💪，后面会专门介绍怎么优化自己的并行度设置 🌟

spark.default.parallelism 不建议设置的非常大。 🚫