Oozie 管理Hdoop作业(job)的工作流程调度管理系统

jopen 10年前

  用几句话就可以概括什么是Oozie:

  • Oozie是一个管理Hdoop作业(job)的工作流程调度管理系统。
  • Oozie的工作流是一系列动作的直接周期图。
  • Oozie协调作业就是通过时间(频率)和有效数据触发当前的Oozie工作流程
  • Oozie是Yahoo针对Apache Hadoop开发的一个开源工作流引擎。
    用于管理和协调运行在Hadoop平台上(包括:HDFS、Pig和
    MapReduce)的Jobs。Oozie是专为雅虎的全球大规模复杂
    工作流程和数据管道而设计。
  • Oozie围绕着两个核心进行:工作流(Workflow)和
    协调器(Coordinator),前者定义任务拓扑和执行逻辑,后
    者负责工作流的依赖和触发。

     更多内容,请参考下列资源:

  1.  Apache官网:https://oozie.apache.org/
  2.  Oozie开发指导:http://blog.cloudera.com/blog/category/oozie/
  3.  OOzie中文实例介绍:http://www.infoq.com/cn/articles/oozieexample