FastDFS是一款类Google FS的开源分布式文件系统，它用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX系统。它只 能通过专有API对文件进行存取访问，不支持POSIX接...

所谓分布式系统，指的是一组通过发送消息实现协作、从而共同达成同一目标的资源集合。正如知名计算机科学家 Leslie Lamport所指出之定义：“所谓分布式系统，其中任意一台计算设备——即使使用...

新世纪以来，互联网及个人终端的普及，传统行业的信息化及物联网的发展等 产业变化产生了大量的数据，远远超出了单台机器能够处理的范围，分布式存储与处理成为唯一的选项。从2005年开始，Hadoop从...

本文主要讲述了通过规范化处理流程，可以使用相同的处理流程来处理流式或者批量处理任务，例如Hadoop和Storm，从而提高重用性。

在Twitter，他们使用复制日志来解决分布式系统中存在的一系列问题。比如，他们有一个Manhattan分布式键值数据库。该系统采用了一种灵活的最终一致性数据模型，允许开发者以一致性换取低延迟。...

这篇文章翻译自Storm官方文档，可以帮助以快速大致了解一下Storm

Apache Calcite是面向Hadoop新的查询引擎，它提供了标准的SQL语言、多种查询优化和连接各种数据源的能力，除此之外，Calcite还提供了OLAP和流处理的查询引擎。正是有了这些...

JStorm 是一个类似于 Hadoop 的MapReduce的计算系统，它是由Alibaba开源的实时计算模型，它使用Java重写了原生的Storm模型（Clojure和Java混合编 写的）...

Gobblin 是 Hadoop 通用数据摄取框架，可以从各种数据源中提取，转换和加载海量数据。比如：数据库，rest APIs，filers，等等。Gobblin 处理日常规划任务需要所有数据...

Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的 机器上。它能提供高吞吐量的数据访问，非常适合大规模数据...

我们TripAdvisor公司拥有大量的用户评价数据，据最近的一次公告，大约有几亿条。我是从事机器学习相关的工作，在机器学习中我们常喜欢做的一件事就是堆砌大量数据来分析。

如果觉得有帮助的话就顶下吧 在统计的时候经常会用到排重，比如想统计每日登陆用户，但是一个用户一次多次登陆情况，或者一个产品被多少个用户下载。。

相对于单机系统，分布式系统非常复杂，涉及到非常多的技术，作为一个屌丝，有幸能够在大规模分布式系统下工作，故在此记录一些浅薄认识，作为自己未来学习路线的参考。

最近在和人交流时谈到数据相似度和数据共性问题，而刚好在业务层面有类似的需求，今天和大家分享这类问题的解决思路

Celery 是 Distributed Task Queue，分布式任务队列，分布式决定了可以有多个 worker 的存在，队列表示其是异步操作，即存在一个产生任务提出需求的工头，和一群等着被...

之前在学校的时候一直就想学习大数据方面的技术，包括hadoop和机器学习啊什么的，但是归根结底就是因为自己太懒了，导致没有坚持多长时间， 加上一直为offer做准备，所以当时重心放在C++上面了...

hadoop集群数据节点gmond安装

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务...

与近期与InfoQ的一次对话中， Vaughn Vernon 分享了一些他在开发分布式系统方面的心得。他特别指出，在分布式系统中，有可能会出现局部故障之类的问题。对于这种类型的问题以及一些其它挑...

海量小文件存储（简称LOSF，lots of small files）出现后，就一直是业界的难题，众多博文(如 [1] )对此问题进行了阐述与分析，许多互联网公司也针对自己的具体场景研发了自己的...