Spark是一个由加州大学伯克利分校（UC Berkeley AMP）开发的一个分布式数据快速分析项目。它的核心技术是弹性分布式数据集(Resilient distributed dataset...

Storm是一个免费开源、分布式、高容错的实时计算系统。它与其他大数据解决方案的不同之处在于它的处理方式。Hadoop 在本质上是一个批处理系统，数据被引入 Hadoop 文件系统 (HDFS)...

Hadoop是一个开发和运行处理大规模数据的软件平台，是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海 量数据进行分布式计算。Hadoop框架中最核心设计就是...

Chukwa 是一个开源的用于监控大型分布式系统的数据收集系统。它构建在 hadoop 的 hdfs 和 map/reduce 框架之上的，继承了 hadoop 的可伸缩性和鲁棒性。Chukwa...

Apache Sqoop（SQL-to-Hadoop） 项目旨在协助 RDBMS 与 Hadoop 之间进行高效的大数据交流。用户可以在 Sqoop 的帮助下，轻松地把关系型数据库的数据导入到 ...

Spark SQL允许相关的查询如SQL，HiveQL或Scala运行在spark上。其核心组件是一个新的RDD：SchemaRDD，SchemaRDDs由 行对象组成，并包含一个描述此行对象的...

为了满足挖掘分析与交互式实时查询的计算需求，腾讯大数据使用了Spark平台来支持挖掘分析类计算、交互式实时查询计算以及允许误差范围的快速查 询计算，目前腾讯大数据拥有超过200台的Spark集群...

通常在linux下手工安装openstack比较麻烦，StackOps是一个可以快速安装的Openstack解决方案。安装过程就相当于一个浓缩了的Ubuntu，只需要选择键盘布局、分区设置IP地...

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件 映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可...

Spark实战：单节点本地模式搭建Spark运行环境

Apache Slider 是一个 YARN 应用，用于发布已有的分布式应用到 YARN 上，并对这些应用进行监控以及根据需要调整规模，即使是正在运行。

Timberlake是一个Go服务器搭配React.js作为前端。它改善现有的 Hadoop job 跟踪器，通过提供正在运行和已经完成MapReduce jobs的一个轻量级实时视图。Timb...

TDW是基于Hadoop生态圈研发的大数据处理平台，MapReduce计算 引擎在TDW平台中承担了所有的离线数据计算，是TDW最重要的底层支撑平台之一。在TDW 平台中，除了MR程序会生成Ma...

本文假设你已经具有一定分布式计算的基础知识。你将在第一部分看到以下内容： ZooKeeper数据模型 ZooKeeper Sessions ZooKeeper Watches

大数据我们都知道hadoop，可是还会各种各样的技术进入我们的视野：Spark，Storm，impala，让我们都反映不过来。为了能够更好 的架构大数据项目，这里整理一下，供技术人员，项目经理，...

Hadoop2.5.0完全分布式配置(1主3从)

TmStorage 是一个用 .NET 开发的虚拟文件系统，用来存储流数据。使用扁平结构进行数据存储，通过类型为 GUID 的流 id 来引用数据。

本篇文章的内容，主要是笔者在调研分析Ceph过程中产生的一些思考。因为其中的内容比较自由发散，且大多是笔者的个人见解，故此另启一文进行讨论。

在 《“Ceph浅析”系列之二——Ceph概况》中即已提到，关注Ceph的原因之一，就是OpenStack社区对于Ceph的重视。因此，本文将对Ceph在OpenStack中的价值...

本文将对Ceph的工作原理和若干关键工作流程进行扼要介绍。如前所述，由于Ceph的功能实现本质上依托于RADOS，因而，此处的介绍事实上也是针对 RADOS进行。对于上层的部分，特别是RADO...