Kafka 0.7.2-incubating 发布，高吞吐率的分布式消息系统
jopen 11年前
kafka是一种高吞吐量的分布式发布订阅消息系统。
kafka的一些设计理念：
1. publish/subscribe，支持多consumer group，queue/topic分组。
2. persist messgae 磁盘io一次，用文件顺序存储+操作系统pagecache。支持TB级别
3. 支持consumer的状态，可以通过offset 来重新读消息。
4. producer-broker未进行负载均衡，broker-consumer进行了负载均衡。
5. 采用push-pull。
kafka的下特性：
- 通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
- 高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息。
- 支持通过kafka服务器和消费机集群来分区消息。
- 支持Hadoop并行数据加载。
http://incubator.apache.org/kafka/index.html