简述Spark中7种存储级别 ？
参考回答
Spark 中有 7 种存储级别（Storage Levels），它们定义了 RDD 数据在内存中存储的方式。存储级别影响数据的持久化和存储效率，同时也影响性能。Spark 提供的 7 种存储级别分别是：
- MEMORY_ONLY：将 RDD 数据存储在内存中，不进行磁盘存储。如果内存不足，丢弃部分数据并重新计算。
- MEMORY_AND_DISK：将 RDD 数据存储在内存中，如果内存不足，溢写到磁盘。
- MEMORY_ONLY_SER：将 RDD 数据以序列化的方式存储在内存中，内存消耗较低，但计算时需要反序列化。
- MEMORY_AND_DISK_SER：将 RDD 数据以序列化的方式存储在内存中，内存不足时溢写到磁盘。
- DISK_ONLY：将 RDD 数据仅存储在磁盘中，不使用内存。
- OFF_HEAP：将数据存储在外部内存中，避免使用 JVM 堆内存。适用于需要大量内存而又不希望垃圾回收影响性能的情况。
- NONE：不进行任何持久化，数据会在每次计算时丢失。
详细讲解与拓展
1. MEMORY_ONLY
- 描述：将 RDD 数据存储在内存中。如果内存不足，Spark 会丢弃部分数据，并且在下次需要时重新计算。它是最常用的存储级别之一，适用于内存足够的场景。
- 适用场景：适用于计算较快的场景，数据集较小，或者能容忍重新计算的场景。
2. MEMORY_AND_DISK
- 描述：将 RDD 数据存储在内存中，如果内存不足，则溢写到磁盘。这是一种较为安全的存储级别，它保证数据总会被持久化，但如果数据量大于内存时会影响性能。
- 适用场景：适用于数据量较大，内存不足，但仍需要保证数据持久化的场景。
3. MEMORY_ONLY_SER
- 描述：将 RDD 数据序列化后存储在内存中，这样可以节省内存空间，但是需要在访问时进行反序列化操作。存储效率比
MEMORY_ONLY高，但会增加一定的 CPU 开销。 - 适用场景：适用于内存较小或内存限制较严格的情况，且对 CPU 的额外开销不是特别敏感。
4. MEMORY_AND_DISK_SER
- 描述：将 RDD 数据序列化后存储在内存中，若内存不足，则会溢写到磁盘。它与
MEMORY_AND_DISK类似，只不过使用序列化存储能提高内存使用效率。 - 适用场景：适用于数据较大且内存有限的情况，尤其是当内存不足时需要将数据存储到磁盘时。
5. DISK_ONLY
- 描述：将 RDD 数据仅存储在磁盘中，不使用内存。适用于内存资源极度紧张的场景，但会有较大的性能损失，因为数据访问时需要从磁盘读取。
- 适用场景：适用于大规模的数据处理任务，且对内存的依赖不大，或内存非常紧张时。
6. OFF_HEAP
- 描述：将数据存储在外部内存中，而不是 JVM 堆内存。通过启用
Tungsten引擎，Spark 可以避免内存中的垃圾回收问题。适用于需要大量内存而不希望被垃圾回收影响性能的场景。 - 适用场景：适用于大数据量和对内存性能要求高的场景，如处理大规模数据集时，避免 JVM 堆内存的垃圾回收带来的性能问题。
7. NONE
- 描述：不进行任何持久化，计算完成后数据丢失。这意味着每次操作都需要重新计算数据。适用于只需要一次计算结果，不需要重用的场景。
- 适用场景：适用于一些一次性的计算任务，或者在执行过程中不需要重复访问中间结果时。
总结
Spark 提供的这 7 种存储级别为开发者提供了灵活的数据持久化策略，能够根据具体的计算需求和资源状况选择合适的存储级别。合理的存储级别选择有助于优化内存使用，提升作业性能。