分布式处理框架:Pyleus

jopen 11年前

Pyleus 是一个来自 Yelp 的开源框架,使得 Yelp 的另外一个开源项目 mrjob 可以运行在 Apache Storm 框架上,就像 Hadoop 一样。开发者可以使用纯 Python 实现大数据的处理,并进行快速迭代。

利用Pyleus你能够:

  • define a topology with a simple YAML file
  • have dependency management with a requirements.txt file
  • run faster thanks to Pyleus’ MessagePack based serializer
  • pass options to your components directly from the YAML file
  • use the Kafka spout built into Storm with only a YAML change

项目主页:http://www.open-open.com/lib/view/home/1413422540700