开源大数据工具:Luigi

jopen 9年前

luigi.png
Luigi 是一个 Python 模块,可以帮你构建复杂的批量作业管道。它可以处理解决依赖关系,工作流管理,可视化,处理故障,命令行的整合,等等。Luigi 的目的是要解决所有通常与长时间运行的批处理过程相关的管道。长时间运行的东西像Hadoop作业,dumping数据到/从数据库,运行机器学习算法,或其他任何东西。

开源大数据工具:Luigi


项目主页:http://www.open-open.com/lib/view/home/1413337781090