最近项目比较不赶的情况下,决定把一些通用、常用的内容集成在一个项目框架中,意在新项目中可以快速搭建;其实经过几个项目后,总是有一些重复的创建工作,可以使用本项目的内容直接进行开发;采用的是MVC的分层模式,本文将会重点介绍关于层级的划分
Cola Cola是一个分布式的爬虫框架,用户只需编写几个特定的函数,而无需关注分布式运行的细节。任务会自动分配到多台机器上,整个过程对用户是透明的。 依赖 首先,确保Python版本为2.6或者2
开发框架,包括代码生成和UML 导入/导出。基于组件的编程框架。该项目旨在支持各种目标框架。基于wxWidgets的GUI应用程序是主要的示例。还提供了快速数据库GUI设计包含UML导入/导出(DB逆向工程)。
随着Erlang和FP的普及,总有人想把Erlang用在Web开发上。
Apache Samza 是一个分布式流处理框架。它使用 Apache Kafka 用于消息发送,采用 Apache Hadoop YARN 来提供容错,处理器隔离,安全性和资源管理。专用于实时数据的处理,非常
(easy operation service)是公司内部开发的分布式服务调用框架,基于zookeeper,netty,hessian等成熟框架。在使用上与spring无缝结合,无任何学习成本(后端人员只关
Pyleus 是一个来自 Yelp 的开源框架,使得 Yelp 的另外一个开源项目 mrjob 可以运行在 Apache Storm 框架上,就像 Hadoop 一样。开发者可以使用纯 Python 实现大数据的处理,并进行快速迭代。
摘 要 Failover是指系统处理故障并恢复的过程,目前大多数分布式系统都实现了自动Failover的机制,即使发生局部失败也能继续提供服务。Failover测试则是通过主动注入错误,模拟出各种
Celery (芹菜)是基于Python开发的分布式任务队列。它支持使用任务队列的方式在分布的机器/进程/线程上执行任务调度。 架构设计 Celery的架构由三部分组成,消息中间件(message
Celery (芹菜)是基于Python开发的分布式任务队列。它支持使用任务队列的方式在分布的机器/进程/线程上执行任务调度。 一、架构设计 Celery的架构由三部分组成,消息中间件(message
FourInOne(中文名字“四不像”)是一个四合一分布式计算框架,在写这个框架之前,我对分布式计算进行了长时间的思考,也看了老外写的其他开源框架,当我们把复杂的hadoop当作一门学科学习时,似乎忘记
Twitter已经从以往的数据存储开发经验中提出一个名为 Gizzard的Scala框架,让用户可以更方便地创建自定义容错、分布式数据库。Twitter给出了一个名为“Rowz”的示例,方便用户上手。 Twi
Disco是一个基于MapReduce的分布式计算框架。Disco是一个开源项目,由诺基亚研究中心开发用来解决处理大数据时碰到的实际问题。 Disco采用Python开发,具有易于使用,强大的特点
MyRPC是个远程过程调用框架,设计用来方便地连接异构系统。它具有基于IDL的客户机/服务器存根生成,多平台支持,二进制协议(不需要转义二进制数据,更少的开销),支持各种数据类型(如字符串,二进制,符
Zookeeper是一个高性能,分布式的,开源分布式应用协调服务。它提供了简单原始的功能,分布式应用可以基于它实现更高级的服务,比如同步, 配置管理,集群管理,名空间。它被设计为易于编程,使用文件系统
Google Cloud Dataflow是一种构建、管理和优化复杂数据处理流水线的方法,集成了许多内部技术,如用于数据高效并行化处理的 Flume 和具有良好容错机制流处理的 MillWheel 。
开放容器计划(Open Container Initiativ,OCI) 发展势头迅猛。近日,OCI 宣布 其管理框架正式成立,并迎来了九名新的成员。 随着Docker的成功,CoreOS、Amazon、Apc
Manager 框架(我将其简称为 WFNM)是一种 Web 框架,它关注当前框架,例如 Struts 或 JavaServer Faces 不能管理的问题。该框架并没有另起炉灶,它与其他框架是互补的,并且可以与它们一起使用,甚至可以用于基于
Glide是一个高效、开源、 Android设备上的媒体管理框架,它遵循BSD、MIT以及Apache 2.0协议发布。Glide具有获取、解码和展示视频剧照、图片、动画等功能,它还有灵活的API,这
Glide是一个高效、开源、 Android设备上的媒体管理框架,它遵循BSD、MIT以及Apache 2.0协议发布。Glide具有获取、解码和展示视频剧照、图片、动画等功能,它还有灵活的API,这