thorns_project 分布式异步队列系统

jopen 9年前

thorns_project 分布式异步队列系统,wydomain分析目标系统信息后,返回给thorns控制台进行任务调度下发至redis队列系统,worker客户端从redis队列系统获取任务给wyportmap执行,将结果存入后台数据库。


运行流程

  • 启动redis内存服务器,作为队列存储数据库使用
  • 配置芹菜(celery)运行环境,并连接redis队列内存,读取执行任务,并返回结果存储到后端MySQL数据库
  • 配置任务控制台花花(flower),并连接redis队列内存,管理所有worker客户端与执行的任务队列
  • 通过run.py脚本调用celery向队列压入任务
  • 通过flower的http api脚本调用api向队列压入任务
  • 任务执行的结果自动存入后端数据库

运行环境

  • CentOS、Kali Linux、Ubuntu、Debian
  • Python 2.7.x
  • Redis
  • MysQL
  • Celery
  • Tornado
  • Supervisord

项目主页:http://www.open-open.com/lib/view/home/1423231053014