简述Spark Streaming和Structed Streaming ？
参考回答
Spark Streaming 和 Structured Streaming 都是用于处理流数据的组件，但它们在设计和实现上有所不同。
- Spark Streaming：
- Spark Streaming是Spark的一个扩展，用于实时数据流处理。它基于微批处理（Micro-batch）模型，将流数据划分为一小段一小段的批处理任务进行处理。这些微批任务每隔固定的时间间隔就会处理一批数据。
- 它利用Spark的RDD来进行数据处理，并将数据流分割为一个个的批次进行处理。每个批次的任务与传统的批处理任务相似，这样就能实现高效的数据流处理。
- Spark Streaming适用于那些处理实时数据但可以容忍一定延迟的场景。
- Structured Streaming：
- Structured Streaming是Spark 2.x引入的一个新框架，它在Spark Streaming的基础上进行改进。与传统的微批处理不同，Structured Streaming采用了更为先进的流处理模型，支持基于数据流的连续查询。
- Structured Streaming基于DataFrame和Dataset API，允许用户使用SQL查询来处理流数据。这使得Structured Streaming与批处理作业和流处理作业具有统一的编程接口，简化了开发和调试。
- 它的计算模型是基于增量计算的，不同于传统的微批，它会根据流式数据的变化来进行实时计算。
详细讲解与拓展
- Spark Streaming的微批处理模型：
- Spark Streaming使用微批处理方式来处理流数据。它将实时数据流分割成一个个的小批次（batch），并使用Spark批处理作业来处理这些批次。这种方式保证了每个批次的数据能够在相对较短的时间内被处理并产生结果。
- 例如，在处理实时日志流时，Spark Streaming会每隔几秒钟将新数据作为一个批次来处理。通过这种方式，虽然处理延迟会相对较高，但能够保证系统的稳定性和容错性。
- Structured Streaming的增量查询模型：
- 与Spark Streaming的微批处理不同，Structured Streaming采用了增量查询（incremental query）模型。数据会在每次到达时被增量计算，新的数据会基于已有的计算结果进行处理。
- Structured Streaming背后的核心思想是“近乎实时”的数据流处理。每当数据流中有新的数据到达时，系统会实时计算并输出新的结果，处理延迟可以非常低。
- 统一API与易用性：
- Structured Streaming提供了一个与批处理（Batch Processing）统一的编程模型。你可以使用相同的DataFrame API来处理流数据和批数据。这意味着用户可以很容易地将批处理逻辑扩展到流处理，并且能够使用SQL等高级查询语言进行流式数据分析。
- 在Structured Streaming中，用户只需要编写类似批处理的代码，框架会自动管理数据的流式处理，而无需手动处理微批的划分和调度。
- 容错与状态管理：
- Spark Streaming使用RDD的血统（Lineage）来进行容错，这意味着在发生故障时，系统可以通过回滚到最初的数据状态并重新计算丢失的数据来恢复。
- Structured Streaming则使用检查点（Checkpoint）和Write-Ahead Logs（WAL）来提供更强大的容错和状态管理。它会在数据流的处理过程中持续保存状态，并能够在出现故障时恢复数据处理的进度。
- 性能差异：
- Spark Streaming的性能可能受到微批处理模型的限制，因为每个微批之间的间隔会导致一定的延迟。
- Structured Streaming则能通过增量计算模型和更加高效的执行引擎（如Tungsten和Catalyst）实现更低的延迟和更高的吞吐量。因此，Structured Streaming在处理低延迟、高吞吐量的实时数据流时表现得更好。
总结
- Spark Streaming：基于微批处理模型，每隔一定时间处理一批流数据，适合于一些可以容忍延迟的实时处理任务。
- Structured Streaming：基于增量查询模型，提供低延迟和高吞吐量的实时流数据处理，具有统一的API接口，易于扩展和维护。
- 由于Structured Streaming的增量处理方式和灵活的状态管理，它通常在处理实时数据流时表现得更为高效，尤其适用于对低延迟要求较高的应用场景。