Twitter 的实时性特点为 Twitter 的工程团队带来了独特而具有挑战性的问题。我们需要快速发布突发新闻，向用户提供相关广告，并解决很多其他实时性问题。Twitter 的 Pub/Sub...

之前一直使用Logstash作为日志文件采集客户端程序。Logstash功能强大，有丰富的数据处理插件及很好的扩展能力，但由于使用JRuby实现，性能堪忧。而Filebeat是后来出现的一个用g...

大数据的浪潮仍在继续。它渗透到了几乎所有的行业，信息像洪水一样地席卷企业，使得软件越发庞然大物，比如Excel看上去就变得越来越笨拙。数据处理不再无足轻重，并且对精密分析和强大又实时处理的需要变...

As Kafka audit system, Chaperone monitors the completeness and latency of data stream. The audit ...

Kafka是一个开源的、分布式的、可分区的、可复制的基于日志提交的发布订阅消息系统。

分布式存储系统除了要保证客户端写请求流程的正确性，节点可能会非正常宕机或者需要重启，在启动的时候必须要能够正常地加载/恢复已有的数据，日志管理类在创建的时候要加载已有的所有日志文件，这和创建Lo...

随着云计算、PaaS平台的普及，虚拟化、容器化等技术的应用，例如Docker等技术，越来越多的服务会部署在云端。

Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下： 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能 高吞吐率。即使在非常廉...

Kafka分区机制介绍与示例：Kafka中可以将Topic从物理上划分成一个或多个分区（Partition），每个分区在物理上对应一个文件夹， 以”...

Kafka 0.9+增加了一个新的特性 Kafka Connect ,可以更方便的创建和管理数据流管道。它为Kafka和其它系统创建规模可扩展的、可信赖的流数据提供了一个简单的模型，通过 con...

Apache Kafka是一个快速可扩展的消息队列，能够应对繁重的读写负载，即IO相关工作。更多信息请参见http://kafka.apache.org。由于Zookeeper能提供可靠的分布式...

1.Kafka独特设计在什么地方？ 2.Kafka如何搭建及创建topic、发送消息、消费消息？ 3.如何书写Kafka程序？ 4.数据传输的事务定义有哪三种？ 5.Kafk...

本文讲述了如何在Windows OS上配置并启动Apache Kafka，这篇指南将会指导你安装Java和Apache Zookeeper。 Apache Kafka是一个快速可扩展的消息队...

1.Kafka独特设计在什么地方？ 2.Kafka如何搭建及创建topic、发送消息、消费消息？ 3.如何书写Kafka程序？ 4.数据传输的事务定义有哪三种？ 5.Kafka判...

在今天的文章中，我们将着重探讨如何利用SMACK（即Spark、Mesos、Akka、Cassandra以及Kafka）堆栈构建可扩展数据处理平台。虽然这套堆栈仅由数个简单部分组成，但其能够实现...

spark streaming从1.2开始提供了数据的零丢失，想享受这个特性，需要满足如下条件：

之前有听过Zero-Copy 技术，而Kafka是典型的使用者。网上找了找，竟然没有找到合适的介绍文章。正好这段时间正在阅读Kafka的相关代码，于是有了这篇内容。这篇文章会简要介绍Zero-C...

核心观点： 服务的本质是数据的流转与变换.数据的变换依赖于数据的流转，只有流转的数据才能够被变换。基于这个理念，我们提出了Transformer架构。

雅虎Storm团队排名不分先后 ） Sanket Chintapalli , Derek Dagit , Bobby Evans , Reza Farivar , Tom Grave...

Kafka集群管理内容包括服务器启停、leader均衡、复制、集群镜像、集群扩展等。