简述Spark运行时并行度的设置 ？
在Spark中，设置运行时并行度主要涉及到两个方面：任务（Task）的并行度和数据分区（Partition）的数量。正确设置这些参数对于优化Spark作业的性能至关重要。以下是设置并行度的主要方法和考虑因素：
- 设置任务并行度：
- spark.default.parallelism：这是全局设置任务并行度的关键配置。对于Shuffle操作，如
reduceByKey，默认的并行度是由这个参数决定的，它默认是当前所有节点上的CPU核心总数。 - 在具体操作中指定并行度：许多转换操作（如
reduceByKey、join）和repartition方法允许你在调用时指定并行度。
- spark.default.parallelism：这是全局设置任务并行度的关键配置。对于Shuffle操作，如
- 设置数据分区数量：
- 在读取数据时指定分区数量：当从外部数据源（如HDFS）读取数据时，你可以指定分区数量。例如，使用
textFile(path, minPartitions)时，可以通过minPartitions参数设置分区数量。 - 使用
repartition或coalesce方法：repartition方法可以增加RDD的分区数，而coalesce通常用于减少分区数。这两个方法都可以在处理过程中调整分区数量。
- 在读取数据时指定分区数量：当从外部数据源（如HDFS）读取数据时，你可以指定分区数量。例如，使用
- 考虑因素：
- 资源限制：根据集群的CPU核心数量和内存限制来决定合理的并行度。
- 数据量和分布：大量数据或不均匀分布的数据可能需要更多的分区来保证效率和平衡。
- Shuffle开销：过高的并行度可能导致过多的小任务和Shuffle开销，而过低的并行度可能导致资源未被充分利用。
- 默认行为：
- 如果不显式设置，并行度通常取决于数据源的特性或Spark的默认配置。
- 监控和调整：
- 在实际运行中，应该监控应用程序的性能，根据任务的执行时间和资源利用率来适时调整并行度。
应用场景示例：
假设你有一个大型数据集存储在HDFS上，你希望对这些数据进行复杂的聚合操作。如果你的Spark集群有大量的CPU核心，你可能想通过增加spark.default.parallelism的值来增加Shuffle操作的并行度。同时，在读取HDFS数据时，你可以指定一个较高的minPartitions值来确保数据在读取时就被分配到足够多的分区中。这样可以提高整个作业的并行度和效率。