分布式处理框架:Pyleus
jopen
11年前
Pyleus 是一个来自 Yelp 的开源框架,使得 Yelp 的另外一个开源项目 mrjob 可以运行在 Apache Storm 框架上,就像 Hadoop 一样。开发者可以使用纯 Python 实现大数据的处理,并进行快速迭代。
利用Pyleus你能够:
- define a topology with a simple YAML file
- have dependency management with a requirements.txt file
- run faster thanks to Pyleus’ MessagePack based serializer
- pass options to your components directly from the YAML file
- use the Kafka spout built into Storm with only a YAML change