Twemproxy - 推ter针对MemCached与Redis的代理

jopen 11年前

Twemproxy是一个代理服务器,可以通过它减少MemcachedRedis服务器所打开的连接数。
Twemproxy有何用途呢?它可以:

  • 通过代理的方式减少缓存服务器的连接数
  • 自动在多台缓存服务器间共享数据
  • 通过不同的策略与散列函数支持一致性散列
  • 通过配置的方式禁用失败的结点
  • 运行在多个实例上,客户端可以连接到首个可用的代理服务器
  • 支持请求的流式与批处理,因而能够降低来回的消耗
Redis的创建者Salvatore Sanfilippo(@antirez)撰写了一篇文章,介绍了如何通过Twemproxy在开启Redis-cluster特性前就让Redis集群发挥作用,而在大多数情况下都不会丧失太多的性能:
Twemproxy的强大之处在于可以通过配置的方式让它禁用掉失败的结点,同时还能在一段时间后进行重试,抑或使用指定的键->服务器映射。这意味着在将Redis用作数据存储时,它可以对Redis数据集进行分片(禁用掉结点驱逐);在将Redis用作缓存时,它可以启用结点驱逐以实现简单的高可用性。
Twemproxy速度很快,真的很快,它几乎与直接访问Redis速度一样快。我敢说在最差的情况下,性能也只不过才损失20%而已。 

我对性能问题唯一的想法是当在多个实例上使用命令时,我觉得MGET还有改进空间。
Twemproxy早在今年初由推ter开源,它最开始支持Memcached,最近又添加了对Redis的支持。推ter使用了大量的缓存服务器,每秒会发送300k的tweet;可以看看这篇介绍Real-Time Delivery Architecture At 推ter以了解更多信息。