简述Hadoop作业提交到YARN的流程 ？
参考回答：
Hadoop作业提交到YARN的流程大致如下：
1. 用户通过yarn jar命令提交作业，生成提交请求。
2. ResourceManager接收到请求并将作业提交到Scheduler进行资源调度。
3. Scheduler为作业分配资源，生成容器（Container）。
4. NodeManager在指定节点上启动容器，并执行作业的任务。
5. 作业执行过程中，ApplicationMaster（AM）负责跟踪作业状态、协调任务执行。
6. 作业执行完成后，结果返回给用户。
详细讲解与拓展：
Hadoop YARN（Yet Another Resource Negotiator）是Hadoop的资源管理层，用于管理集群中的资源并调度作业。作业提交到YARN的流程包括多个步骤，下面对每个步骤进行详细解释：
- 作业提交：
- 用户通过
yarn jar命令提交Hadoop作业时，首先会指定应用程序的jar包、输入路径、输出路径以及作业的其他参数。这个提交请求会通过客户端传递给YARN的ResourceManager（RM）。
- 用户通过
- ResourceManager与Scheduler：
- ResourceManager负责整个集群资源的管理。接收到作业请求后，ResourceManager会将作业提交给Scheduler。Scheduler的职责是根据资源需求、队列配置、优先级等策略对作业进行调度。
- Scheduler在选择可用的节点后，为作业分配容器资源。容器是YARN管理资源的基本单位，它包括内存、CPU等资源。
- Container的分配与启动：
- Scheduler为作业分配容器后，ResourceManager会通知NodeManager（NM），NodeManager是管理各个数据节点的资源的守护进程。NodeManager负责启动容器，并根据ResourceManager的指示执行相应的任务。
- 容器在指定的节点上启动，每个容器在自己的JVM（Java虚拟机）中运行一个Map或Reduce任务。
- ApplicationMaster的角色：
- 每个Hadoop作业都会启动一个ApplicationMaster（AM），负责协调和管理整个作业的执行过程。ApplicationMaster是在YARN上运行的一个特殊进程，它负责：
- 启动任务并监控任务执行。
- 处理任务失败的重试机制。
- 与ResourceManager通信，申请更多的资源或释放资源。
- 汇总任务的执行结果，并最终报告给用户。
- ApplicationMaster的启动过程由ResourceManager负责，在集群上为每个作业分配一个独立的ApplicationMaster。
- 每个Hadoop作业都会启动一个ApplicationMaster（AM），负责协调和管理整个作业的执行过程。ApplicationMaster是在YARN上运行的一个特殊进程，它负责：
- 作业执行与监控：
- 在容器启动后，容器中的任务开始执行。ApplicationMaster通过与NodeManager的通信来获取任务的执行状态，并处理任务的失败、重试和进度报告。
- YARN提供了集中的监控和日志管理工具，用户可以通过这些工具查看作业的执行情况。
- 作业完成与结果返回：
- 当所有任务执行完成后，ApplicationMaster会向ResourceManager报告作业的最终状态（成功或失败）。此时，作业的输出结果会被写入到HDFS或其他指定的位置，供用户查询和处理。
拓展：
- 容器管理与调度策略：YARN的容器管理并不局限于MapReduce作业，还可以运行其他类型的应用程序，比如Spark、Tez等。因此，YARN支持不同应用框架的资源管理。在YARN中，Scheduler通常会根据不同应用类型的需求来分配资源。
-
优先级与公平性：YARN的调度器支持多种调度策略，包括CapacityScheduler和FairScheduler。CapacityScheduler主要基于队列的容量来分配资源，而FairScheduler则会公平地分配资源给所有作业，避免某些作业资源占用过多，导致其他作业得不到资源。
-
ApplicationMaster的失败处理：如果ApplicationMaster失败（例如，容器崩溃或节点故障），YARN会根据配置自动重新启动AM并重新尝试执行作业。AM的失败容错机制保证了作业的高可用性。
总结：
Hadoop作业提交到YARN的流程涉及多个步骤，从用户提交作业到ResourceManager，再到Scheduler调度资源、容器启动任务，最终由ApplicationMaster管理任务执行和监控。这一流程的设计确保了大规模集群资源的高效管理、作业的容错性及任务的并行执行。在YARN中，作业的资源调度、任务执行和容错机制紧密协作，提供了一个强大的分布式计算平台。