基于Hadoop Yarn的DAG(有向无环图)计算框架:Apache Tez

jopen 10年前

Apache Tez是基于Hadoop Yarn之上的DAG(有向无环图,Directed Acyclic Graph)计算框架。它把Map/Reduce过程拆分成若干个子过程,同时可以把多个Map/Reduce任务组合成一个较大的DAG任务,减少了 Map/Reduce之间的文件存储。同时合理组合其子过程,减少任务的运行时间。由Hortonworks开发并提供主要支持。

项目主页:http://www.open-open.com/lib/view/home/1400722960815