简述reduceByKey和groupByKey的区别和作用 ？
reduceByKey 和 groupByKey 是 Spark 中两个常用的转换操作（Transformation），它们都用于处理键值对（Key-Value pairs）类型的 RDD。这两个操作虽然在某些方面相似，但在实际使用中有明显的区别和不同的适用场景。
reduceByKey
- 作用：
reduceByKey用于对每个键（Key）的值（Values）进行聚合操作。它将具有相同键的值合并在一起，使用指定的 reduce 函数来处理这些值。 - 效率：
reduceByKey通常比groupByKey更高效，因为它在数据在网络中传输前就开始进行合并操作，减少了数据的传输量。 - 应用场景：当你需要对每个键进行聚合计算（如求和、求最大值、求平均值等）时，使用
reduceByKey是更好的选择。
groupByKey
- 作用：
groupByKey将具有相同键的所有值收集到一个迭代器中。它仅仅是按键分组，不进行任何聚合计算。 - 效率：
groupByKey在性能上通常不如reduceByKey，因为它会将所有具有相同键的值都传输到同一个节点上进行分组，这可能导致大量的数据在网络中传输和较大的内存占用。 - 应用场景：当你真的需要对每个键的所有值进行操作，且这些操作无法通过聚合来提前减少数据量时，才使用
groupByKey。例如，当需要对每个键的所有值进行排序时。
总结
- 在可以选择的情况下，优先选择
reduceByKey，因为它在网络传输和计算效率上更优。 - 当必须处理每个键的完整值列表时，才使用
groupByKey。
例如，如果你有一个键值对数据集，其中键是部门名称，值是员工的薪水，你想计算每个部门的总薪水。在这种情况下，使用 reduceByKey 会更高效，因为它可以在将数据传输到相同节点之前在每个节点上局部聚合薪水。相比之下，groupByKey 会将同一个部门的所有薪水数据都传输到一个节点上再进行聚合，这会增加网络传输量和计算节点的内存压力。