一共81个，开源大数据处理工具汇总（上） ，第二部分主要收集整理的内容主要有日志收集系统、消息系统、分布式服务、集群管理、RPC、基础设施、搜索引擎、Iaas和监控管理等大数据开源工具。 日志收集系统

2、尽量消除单点故障 上图中，除了“硬件负载均衡”节点外，其它节点都可以部署成集群（DB有点特殊，传统RDBMS要实现分布式/集群还是比较困难的，要看具体采用的数据库产品，并非所有数据库都能方便的做

年以上项目和团队管理经验。擅长底层技术架构，团队建设，软件工程，软件研发咨询，以及全球软件团队协作管理。对高性能，高可用性，分布式，高并发，以及 大规模数据处理系统有一些经验和心得。喜欢关注底层技术平台和互联网行业应用。技术擅长C/C++/Java

以程序员的视角呈现，正确的直译书名是《程序员所需要了解的计算机知识》。 PS. 《UNIX环境高级编程》 ，APUE更多作为一本超厚工具书存在。 《Unix 编程艺术》 ，扯的都是闲篇，厚厚的一本其实略读一下或看些精华笔记就行。

们，可以参考最新的SIGMOD 2010 ppt[2]。】 简介 Pregel是一个用于分布式图计算的计算框架，主要用于图遍历（BFS）、最短路径（SSSP）、PageRank计算等等。共享内

容器化是一个以可移植和可预测的方式来部署分布式应用的过程，它会将应用组件以及依赖打包为一个标准、独立、轻量的环境中，这个环 境其实就是容器。现在许多公司都乐衷于设计易于部署的分布式应用和服务，这样的应用容易扩

约束满足问题求解程序 持续集成 CSV解析 数据结构 数据库 时间日期工具库 依赖注入 开发流程增强工具 分布式应用 分布式数据库 发布 文档处理工具 函数式编程 游戏开发 GUI 高性能计算 IDE 图像处理 JSON

bin/hadoop job -history all output-dir 5、 格式化一个新的分布式文件系统： $ bin/hadoop namenode -format 6、在分配的NameNode上，运行下面的命令启动HDFS：

需求是云计算发展的动力。IT设施要成为社会基础设施，现在面临高成本的瓶颈，这些成本至少包括人力成本、资金成本、时间成本、使用成本、环境成本。云计算带来的益处是显而易见的；用户不需要专门的IT团队，也不需要购买、维护、安发有型的IT产

【编者的话】Kubernetes是Google开源的容器集群管理系统，其提供应用部署、维护、 扩展机制等功能。Mesos是Apache下的开源分布式资源管理框架，它被称为是分布式系统的内核。Mesos最初是由加州大学伯克利分校的A

J2EE平台架构J2EE平台是一种多层的、分布式的（a multitiered distributed ）应用模型。应用逻辑根据功能被划分成各种组件，而且组成J2EE应用程序的各种组件依据应用组件在多层J2EE环境中所属的层被安装在不同的机器上。

-高性能并行计算 -硬件DSM 分布式系统 -hadoop 7. 海量数据分析的问题和挑战健壮性 Failover and Recovery 成本 扩展性 消除单点 低延迟 8. 分布式数据仓库技术: MPP+

可以通过NFS网络文件系统共享数据，但是NFS在繁忙的业务系统中，性能并不是很好，此时可以采用集群文件系统，例如Red hat的GFS文件系统，oracle提供的OCFS2文件系统等。 从整个LVS结构可以看出，Director

，紧急故障处理，运维等各个方面的能力。蘑菇街的私有 云平台，从无到有，已经经过了近一年的发展，生产环境上经历了3次大促，稳定性方面得到了初步验证。本文我将从架构、技术选型、应用等角度来谈谈蘑菇街的 私有云平台。

新一代自由软件分布式文件系统。自2007年毕业之后，Sage开始全职投入到Ceph开 发之中，使其能适用于生产环境。Ceph的主要目标是设计成基于POSIX的没有单点故障的分布式文件系统，使数据能容错和无缝的复制。2010年3

是2005 Google MapReduce的一个Java实现。 MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如 同java程序员可以不考虑内存泄露一样，

c、大规模集群管理工具的开发，如1万台机器如何在1分钟内完成密码修改、或运行指定任务？2000台服务器如何快速安装操作系统？各分布式IDC、存储集群中数PT级的数据如何快速的存储、共享、分析？等一系列挑战都需运维工程师的努力。

架构分析与设计 架构之美–开放环境下的网络架构 案例分析：基于消息的分布式架构 基于模式的架构评审 为不规则应用设计新一代超大型多线程架构 从简单到复杂：大型Rails与VoIP系统架构与部署实践 专家视角看IT与架构

架构分析与设计 架构之美–开放环境下的网络架构 案例分析：基于消息的分布式架构 基于模式的架构评审 为不规则应用设计新一代超大型多线程架构 从简单到复杂：大型Rails与VoIP系统架构与部署实践 专家视角看IT与架构

apache.org 4. Presto Presto 由 Facebook 开发，自称是“一款开源分布式 SQL 查询引擎，用于对大大小小（从 GB 级到 PB 级）的数据源运行交互式分析查询。”Facebook