简述Spark的lazy体现在哪里 ？
Spark的“懒惰计算”（Lazy Evaluation）是其核心特性之一，主要体现在以下几个方面：
- 转换操作的延迟执行：
- 在Spark中，对RDD的转换操作（如
map、filter、flatMap等）并不会立即执行。相反，这些操作只是在内部构建了一个转换的计划或指令。 - 实际的计算只有在触发一个行动操作（如
collect、count、save等）时才会开始。这意味着，Spark会等待直到它真正需要结果才开始计算。
- 在Spark中，对RDD的转换操作（如
- DAG的构建和优化：
- Spark使用有向无环图（DAG）来表示所有的转换操作。在执行行动操作之前，它会先构建整个DAG，然后进行优化，如合并可合并的操作。
- 通过这种方式，Spark可以优化整个处理过程，例如，通过减少数据的读写次数和避免不必要的计算。
- 缓存和持久化策略：
- 在Spark中，即使对RDD应用了缓存（
cache）或持久化（persist）操作，数据也不会立即缓存。只有在行动操作触发后，数据才会真正地被缓存。 - 这种策略使得Spark可以更有效地管理内存和计算资源，因为只有真正需要的数据才被缓存。
- 在Spark中，即使对RDD应用了缓存（
- 容错性的提高：
- 懒惰计算也增强了Spark的容错能力。由于转换操作是延迟执行的，Spark可以在发生故障时，只重新计算丢失的部分数据，而不是整个数据集。
- 提高资源使用效率：
- 懒惰计算使得Spark可以更智能地安排计算任务。它可以在一个阶段（stage）内集成多个操作，从而减少对资源的需求和整体的执行时间。
总的来说，Spark的懒惰计算机制不仅提高了处理效率，降低了资源消耗，还增强了容错性。这种计算策略是Spark在大数据处理领域高效性能的关键因素之一。