Hadoop作业调度管理系统 - Corona

jopen 11年前

Corona，这是非死book 用来调度和管理大规模 Hadoop 作业的系统。

Corona 是 Map-Reduce 的改进版本，可以更好地利用集群资源，更适合非死book 的“多租户（Multi-Tenant）”环境。

在非死book，Map-Reduce 有一个单一的作业跟踪器（JobTracker），用来管理集群资源和跟踪每个作业的状态。而使用 Corona，集群资源通过一个中央集群管理器来跟踪，每个作业都有自己的跟踪器，这些跟踪器只需跟踪一个作业。

Hadoop作业调度管理系统：Corona

Corona 在 Map-Reduce 的基础上进行了如下改进：

可扩展性：单独的 Corona JobTrackers 来负责任务的跟踪，这为作业的数量和规模提供了更好的扩展性。
延迟：任务调度工作在 push 模型中。Corona Job Tracker 推送资源请求到 Cluster Manager，然后在收到 Cluster Manager 的许可后，推送任务到 Corona Task Tracker。这种调度决策是在收到 heartbeats 时发生，对于小的作业来说，heartbeat 模型相关的延迟就变得重要。
与 Map-Reduce v1 相比，Corona 中的 Fair Scheduler 能更好地分配资源到资源池中。
由于调度开销较低，集群可以得到更好的利用。