0推荐
17K 浏览

Twitter 的 Kafka 迁移历程

Twitter 的实时性特点为 Twitter 的工程团队带来了独特而具有挑战性的问题。我们需要快速发布突发新闻,向用户提供相关广告,并解决很多其他实时性问题。Twitter 的 Pub/Sub...
五嘎子 8个月前   
0推荐
48K 浏览

记一次获得3倍性能的go程序优化实践,及on-cpu/off-cpu火焰图的使用

之前一直使用Logstash作为日志文件采集客户端程序。Logstash功能强大,有丰富的数据处理插件及很好的扩展能力,但由于使用JRuby实现,性能堪忧。而Filebeat是后来出现的一个用g...
0推荐
29K 浏览

9个最佳的大数据处理编程语言

大数据的浪潮仍在继续。它渗透到了几乎所有的行业,信息像洪水一样地席卷企业,使得软件越发庞然大物,比如Excel看上去就变得越来越笨拙。数据处理不再无足轻重,并且对精密分析和强大又实时处理的需要变...
NoahBlanks 2年前   
Python   Java   R语言   大数据   Kafka  
0推荐
34K 浏览

Kafka开源:Chaperone-Uber 出品的 Kafka 集群监控工具

As Kafka audit system, Chaperone monitors the completeness and latency of data stream. The audit ...
0推荐
36K 浏览

Kafka:架构简介

Kafka是一个开源的、分布式的、可分区的、可复制的基于日志提交的发布订阅消息系统。
0推荐
56K 浏览

Kafka技术内幕-日志压缩

分布式存储系统除了要保证客户端写请求流程的正确性,节点可能会非正常宕机或者需要重启,在启动的时候必须要能够正常地加载/恢复已有的数据,日志管理类在创建的时候要加载已有的所有日志文件,这和创建Lo...
szz314159 3年前   
0推荐
45K 浏览

Flume+Kafka收集Docker容器内分布式日志应用实践

随着云计算、PaaS平台的普及,虚拟化、容器化等技术的应用,例如Docker等技术,越来越多的服务会部署在云端。
NadineOzc 3年前   
Kafka   Docker   Flume  
0推荐
73K 浏览

Kafka深度解析

Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下: 以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间的访问性能 高吞吐率。即使在非常廉...
RachaelGosl 3年前   
0推荐
128K 浏览

Kafka分区机制介绍与示例

Kafka分区机制介绍与示例:Kafka中可以将Topic从物理上划分成一个或多个分区(Partition),每个分区在物理上对应一个文件夹, 以”...
zhongfangjie 3年前   
0推荐
128K 浏览

Kafka Connect简介

Kafka 0.9+增加了一个新的特性 Kafka Connect ,可以更方便的创建和管理数据流管道。它为Kafka和其它系统创建规模可扩展的、可信赖的流数据提供了一个简单的模型,通过 con...
acac5234 3年前   
0推荐
28K 浏览

Windows安装运行Kafka

Apache Kafka是一个快速可扩展的消息队列,能够应对繁重的读写负载,即IO相关工作。更多信息请参见http://kafka.apache.org。由于Zookeeper能提供可靠的分布式...
whitehorse78 3年前   
0推荐
39K 浏览

Kafka入门经典教程

1.Kafka独特设计在什么地方? 2.Kafka如何搭建及创建topic、发送消息、消费消息? 3.如何书写Kafka程序? 4.数据传输的事务定义有哪三种? 5.Kafk...
lmy46 3年前   
0推荐
22K 浏览

Windows安装运行Kafka

本文讲述了如何在Windows OS上配置并启动Apache Kafka,这篇指南将会指导你安装Java和Apache Zookeeper。 Apache Kafka是一个快速可扩展的消息队...
姜糖2010 3年前   
0推荐
52K 浏览

Kafka入门经典教程

1.Kafka独特设计在什么地方? 2.Kafka如何搭建及创建topic、发送消息、消费消息? 3.如何书写Kafka程序? 4.数据传输的事务定义有哪三种? 5.Kafka判...
ra5t2pj38 3年前   
0推荐
55K 浏览

数据处理平台架构中的SMACK组合:Spark、Mesos、Akka、Cassandra以及Kafka

在今天的文章中,我们将着重探讨如何利用SMACK(即Spark、Mesos、Akka、Cassandra以及Kafka)堆栈构建可扩展数据处理平台。虽然这套堆栈仅由数个简单部分组成,但其能够实现...
0推荐
50K 浏览

Spark Streaming使用Kafka保证数据零丢失

spark streaming从1.2开始提供了数据的零丢失,想享受这个特性,需要满足如下条件:
0推荐
10K 浏览

Kafka Zero-Copy 使用分析

之前有听过Zero-Copy 技术,而Kafka是典型的使用者。网上找了找,竟然没有找到合适的介绍文章。正好这段时间正在阅读Kafka的相关代码,于是有了这篇内容。这篇文章会简要介绍Zero-C...
DanHelmick 3年前   
Kafka  
0推荐
8K 浏览

Transformer架构解析

核心观点: 服务的本质是数据的流转与变换.数据的变换依赖于数据的流转,只有流转的数据才能够被变换。基于这个理念,我们提出了Transformer架构。
0推荐
18K 浏览

Yahoo的流计算引擎基准测试

雅虎Storm团队排名不分先后 ) Sanket Chintapalli , Derek Dagit , Bobby Evans , Reza Farivar , Tom Grave...
0推荐
21K 浏览

[Apache Kafka]Kafka运维

Kafka集群管理内容包括服务器启停、leader均衡、复制、集群镜像、集群扩展等。
zrae6871 3年前   
1 2 3

经验分享,提升职场影响力

投稿

热门问答

    热门文档