简述Spark 3.0特性 ？
Spark 3.0 引入了许多新特性和改进，这些更新主要集中在性能优化、API增强、安全性提升和对新硬件的支持等方面。以下是 Spark 3.0 的一些主要特性：
- 自适应查询执行（Adaptive Query Execution, AQE）：
- AQE 是 Spark SQL 的一个重要特性，它能够在运行时根据实际数据的特性动态调整执行计划。例如，它可以动态调整 join 策略、shuffle 分区数等，从而提高查询性能。
- 动态分区裁剪（Dynamic Partition Pruning）：
- 这个特性优化了 join 操作中的分区处理，可以减少不必要的数据扫描，尤其是在大表与小表进行 join 时更加有效。
- 加速查询引擎（Accelerated Query Engine）：
- Spark 3.0 引入了一种新的加速查询引擎，提高了 SQL 查询的性能。
- 对 GPU 加速的支持：
- Spark 3.0 开始支持 GPU 加速计算，这意味着对于特定的工作负载，Spark 可以利用 GPU 进行更快的数据处理。
- 增强的 PySpark API：
- Spark 3.0 对 PySpark API 进行了增强，提升了 Python 用户的使用体验。例如，支持 Pandas UDF（用户定义函数）性能的改进。
- 改进的 Kubernetes 支持：
- Spark 3.0 增强了对 Kubernetes 的支持，包括对 Kubernetes 的原生 API 的更好支持，使得 Spark 能够更好地在 Kubernetes 上运行。
- 新的 UI 和监控功能：
- Spark 3.0 增加了新的 UI 和监控功能，使得用户可以更方便地监控和调试 Spark 作业。
- 性能优化和稳定性改进：
- 包括对 shuffle 操作的优化、更好的错误处理和稳定性改进。
- API 改进和新功能：
- 例如，DataFrame API 的改进，增加了新的函数和特性。
这些特性和改进使 Spark 3.0 成为一个更加强大、灵活和高效的大数据处理平台，特别是在处理复杂的 SQL 查询和利用新硬件加速方面。