知乎开源的分布式日志聚合系统kids。「kids」是「Kids Is Data Stream」的递归缩写，采用 Scribe 的消息聚合模型和 Redis 的 pub/sub 模型。 1.实时订阅

HDFS是Hadoop Distribute File System 的简称，也就是Hadoop分布式文件系统。 设计理念 1、硬件错误是常态 错误检测并快速自动恢复是HDFS的最核心设计目标

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

net/detail/54295-java-系统-认识 相对于单机系统，分布式系统非常复杂，涉及到非常多的技术，作为一个屌丝，有幸能够在大规模分布式系统下工作，故在此记录一些浅薄认识，作为自己未来学习路线的参考。 一、分布式系统概述

HDFS 是Hadoop 项目中的文件系统。是Hadoop 框架的底层实现部分， 具有高传输率、高容错率等特点， 并且以流的形式访问文件系统中的数据，从而解决访问速度和安全性等问题，实现海量数据的存储管理。

最近这段时间在设计和实现日志系统，在整个日志系统系统中Zookeeper的作用非常重要——它用于协调各个分布式组件并提供必要的配置信息和元 数据。这篇文章主要分享一下Zookeeper的使用场景。这里

nono-task-dispatcher 基于zookeeper的分布式定时任务调度系统 # 设计背景 在分布式环境下，为做到负载均衡，应用常常会部署到多台机器上，但是有些程序只需要在同一时刻

 FastDFS 7 Fastdfs简介 7 Fastdfs系统结构图 7 FastDFS和mogileFS的对比 8 MogileFS 10 Mogilefs简介 10 Mogilefs组成部分 10

分布式 Key-Value 存储系统：Cassandra 入门 http://blog.csdn.net/Java2King/archive/2010/07/23/5758730.aspx 简介： Apache

Thrudb是一套简单的服务建立在Apache的Thrift的框架，提供索引和文件存储服务的网站建设和推广。其目的是提供Web开发灵活，快速和易于使用的服务，可以加强或取代传统的数据存储和访问层。

集成到各种应用系统中提供了很好的支持。把写入日志到scribe服务器的功能集成到应用系统是一种可行的解决方案，但是不是唯一的解决方案，我们还可以现实一个单独的客户端，专门用来抓取应用系统生成的日志文件

kumofs是一个分布式key-value存储系统，它的持久化存储是基于Tokyo Cabinet实现的，并且采用了兼容 memcached 的通讯协议。它拥有以下特性： 数据的分区，并在多个服务器复制。

1. 大规模分布式跟踪系统卫向军 2. 分布式服务系统模型接口+RPC调用链监控RPC服务监控接口监控 3. 主要解决的问题监控所有API接口 API接口目前使用Jersey框架 监控所有的RPC服务接口

Taobao自主研发分布式文件系统TFS(Taobao File System)的消息早有耳闻，最初来自网络上的一篇报道（或称软文）－“深度揭秘淘宝自主研发的文件系统TFS”。因为个人研究兴趣和工作内容相关的缘

文/余庆 FastDFS是一款类Google FS的开源分布式文件系统，它用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX系统。它只 能通过专有API对文件进行存取访问，不支持POSI

机器学习、数据挖掘等各种大数据处理都离不开各种开源分布式系统，hadoop用户分布式存储和map-reduce计算，spark用于分布式机器学习，hive是分布式数据库，hbase是分布式kv系统，看似互不相关的他们却都是基

一个复杂的分布式爬虫系统由很多的模块组成，每个模块是一个独立的服务(SOA架构)，所有的服务都注册到Zookeeper来统一管理和便于线上扩展。模块之间通过thrift(或是protobuf，或是so

先前的博客公告 中讨论过为什么Knewton需要一个分布式追踪系统，并且数值可以被添加到一个公司中。这个章节将会更加深入探讨技术细节，我们如何实施分布式追踪系统的。 总体结构与追踪数据管理 我们的方案分

a)        这几个类主要实现了文件系统的常用操作，比如创建文件、打开和关闭文件、计算文件长度等； b)        实现文件系统常用功能主要使用的是boost库里面处理文件系统的部分库函数（boost::filesystem）；

享一些自己研究scribe的一些成果和心得吧！ 其实我们研究一个开源的系统，第一步通常是先把它用起来，因为一个开源的系统能够出现在大家的面前肯定是比较出名和流行的，所有功能是比较出色的。所以我们必