0推荐
18K 浏览

Twitter 的 Kafka 迁移历程

Twitter 的实时性特点为 Twitter 的工程团队带来了独特而具有挑战性的问题。我们需要快速发布突发新闻,向用户提供相关广告,并解决很多其他实时性问题。Twitter 的 Pub/Sub...
五嘎子 1年前   
0推荐
30K 浏览

IM系统的MQ消息中间件选型:Kafka还是RabbitMQ?

在IM这种讲究高并发、高消息吞吐的互联网场景下,MQ消息中间件是个很重要的基础设施,它在IM系统的服务端架构中担当消息中转、消息削峰、消息交换异步化等等角色,当然MQ消息中间件的作用远不止于此,...
0推荐
18K 浏览

Confluent:在Kafka上飞驰的数据交换者

今天我们要讲的大数据公司叫作Confluent,这个公司是前LinkedIn员工出来后联合创办的,而创业的基础是一款叫作Apache Kafka的开源软件。
CUDIon 2年前   
0推荐
32K 浏览

流计算框架 Flink 与 Storm 的性能对比

Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。其中 Apache Storm (以下简称“Storm”)在美团点评实时计算业务中已有较为成熟...
0推荐
17K 浏览

浅谈分布式消息技术 Kafka

Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日...
0推荐
34K 浏览

如何做到“恰好一次”地传递数十亿条消息

在分布式领域中存在着三种类型的消息投递语义,分别是:最多一次(at-most-once)、至少一次(at-least-once)和恰好一次(exactly-once)。本文作者介绍了一个利用Ka...
0推荐
45K 浏览

PHP开源:Kafka-php-使用 PHP 编写的 Kafka 客户端

Kafka-php 使用纯粹的PHP 编写的 kafka 客户端,目前支持 0.8.x 以上版本的 Kafka,该项目 v0.2.x 和 v0.1.x 不兼容,如果使用原有的 v0.1.x 的可...
WayneMacias 3年前   
0推荐
35K 浏览

Kafka开源:Chaperone-Uber 出品的 Kafka 集群监控工具

As Kafka audit system, Chaperone monitors the completeness and latency of data stream. The audit ...
0推荐
22K 浏览

Kafka通讯协议指南

如果想深入了解Kafka的通讯协议的话,这篇文章不可不读。感谢 watchword 将原文翻译成了中文,我基于最新版进行了修订,修订和完善翻译中的错误。
nlrd4006 3年前   
0推荐
45K 浏览

Kafka——性能逆天的存在

Kafka是LinkedIn开源出来的一款消息服务器,用scala语言实现;这货的性能是百万级的QPS(估计是挂载了多块磁盘)。
0推荐
39K 浏览

Spark Streaming 结合 Kafka 两种不同的数据接收方式比较

DirectKafkaInputDStream 只在 driver 端接收数据,所以继承了 InputDStream,是没有 receivers 的在结合 Spark Streaming 及 K...
0推荐
7K 浏览

流处理技术谬见大消除

我们在思考流处理问题上花了很多时间,更酷的是,我们也花了很多时间帮助其他人认识流处理,以及如何在他们的组织里应用流处理来解决数据问题。
0推荐
18K 浏览

使用Apache Spark构建实时分析Dashboard

本篇文章中我们将学习如何使用Apache Spark streaming,Kafka,Node.js,Socket.IO和Highcharts构建实时分析Dashboard。
0推荐
36K 浏览

Kafka:架构简介

Kafka是一个开源的、分布式的、可分区的、可复制的基于日志提交的发布订阅消息系统。
0推荐
13K 浏览

Storm 的可靠性保证测试

Storm 是一个分布式的实时计算框架,可以很方便地对流式数据进行实时处理和分析,能运用在实时分析、在线数据挖掘、持续计算以及分布式 RPC 等场景下。Storm 的实时性可以使得数据从收集到处...
0推荐
37K 浏览

Kafka 设计详解之队列

本文介绍了 Kafka 的队列实现以及其读写过程。Kafka 认为操作系统级别的文件缓存比 Java 的堆内存更省空间和高效,如果生产者消费者之间比较「和谐」的话,大部分的读写操作都会落在文件缓...
0推荐
8K 浏览

京东消息中间件JMQ:架构,与Kafka的对比,主要特性和应用场景

JMQ是京东自主研发的一款消息中间件系统,具有高可用、数据高可靠等特性。广泛应用于公司内部系统,包括订单、支付、库房等场景。
0推荐
37K 浏览

Kafka 设计详解之网络通信

Kafka 是 LinkedIn 开发的一个分布式的消息中间件。由于其高吞吐量、可水平扩展等特性,目前被广泛使用,已经是目前大数据生态系统中不可或缺的一环,有关其详细介绍可以查看官方的文档。Ka...
0推荐
48K 浏览

Kafka和DistributedLog技术对比

从技术上来讲DistributedLog并不是一个象Apache Kafka那么成熟的、有分区机制的广播/订阅系统。DistributedLog是一个复制日志流仓库,它用来做日志分区仓库。它关注...
0推荐
32K 浏览

Kafka消息存储概览

Kafka作为一个消息中间件系统,面临的首要问题就是消息如何持久化,如何方便地进行读写和解析。
1 2

经验分享,提升职场影响力

投稿

热门问答

    热门文档