本文主要讨论 Apache Spark 的设计与实现，重点关注其设计思想、运行原理、实现架构及性能调优，附带讨论与 Hadoop MapReduce 在设计与实现上的区别。不喜欢将该文档称之为“...

最近在负责公司内部私有云的建设，一直在思考怎么搞云计算，怎么才能够把云架构设计得好一些。本文尽量全面的列出了云架构建设和选型的考量因素。

Rhino项目是由Cloudera、Intel和Hadoop社区合力打造的一个项目。这个项目旨在为数据保护提供一个全面的安全框架。

Apache Sentry 是一个高度模块化的系统。它为存储在Apache Hadoop集群中的数据和元数据提供了细粒度的、基于角色的认证功能。

总的来说，每一个Spark应用程序，都是由一个驱动程序组成，它运行用户的main函数，并且在一个集群上执行各种各样的并行操作。Spark提供的主要的抽象（概念）是一个弹性分布式数据集，它是一个元...

Cloudbreak 是首个基于hadoop的docker service API。Cloudbreak 建立于Apache Ambari, Docker containers, Serf 和 ...

OpenStack All in One

Sentry 是Cloudera 公司发布的一个Hadoop开源组件，它提供细粒度基于角色的安全控制

Spark是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速。Spark非常小巧玲珑，由加州伯克利大学AMP实验室的Matei为主的小团队所开发。使用的语言是Scala，项目的co...

hadoop-2.2.0+spark1.1.0安装过程

最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业，估计不少人都在考虑各种“纷繁复杂”的大数据技术的适用性的问题。这儿我就结合我这几...

Hadoop技术已经无处不在。不管是好是坏，Hadoop已经成为大数据的代名词。短短几年间，Hadoop从一种边缘技术成为事实上的标准。看来，不仅现在Hadoop是企业大数据的标准，而且在未来，...

Openstack 从 Folsom 开始使用 Cinder 替换原来的Nova-Volume服务，为 Openstack 云平台提供块存储服务。

phdfs是一个采用C语言的实现的PHP扩展，能够使用PHP来操作Hadoop HDFS文件系统。

Hadoop 迭代式计算框架 Guagua 是 PayPal 的一个开源机器学习框架 Shifu 的子项目。Guagua 主要解决了模型训练的分布式问题。同时 Guagua 并没有将自己局限在分...

1. 云计算的挑战与需求 2. ECS的分布式存储设计 3. SLB、RDS与OCS的设计 4. 全链路监控与分析系统 5. 未来工作展望 云计算的挑战与需求

Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU intensive的计算。DRPC的storm topology以函数的参数流作为输入，而把这些函数调用的返回值作为t...

hadoop分布式部署

Watchy 是一个分布式的系统，用于监控应用程序和服务器。该系统非常简单和易于管理。Watchy 提供一个分布式的架构和每个服务器之间守护进程的通讯，通过 UDP 获取不懂服务器上的数据并在同...

对于hadoop HDFS 中的所有命令进行解析