thorns_project 分布式异步队列系统，wydomain分析目标系统信息后，返回给thorns控制台进行任务调度下发至redis队列系统，worker客户端从redis队列系统获取任务...

Apache Kafka的管理工具。Kafka在雅虎内部被很多团队使用,媒体团队用它做实时分析流水线,可以处理高达20Gbps(压缩数据)的峰值带宽。

为什么 Cloudera 要创建 Hadoop 安全组件 Sentry ？

在这篇文章中，我将介绍一下Spark SQL对Json的支持，这个特性是Databricks的开发者们的努力结果，它的目的就是在Spark中使得查询和创建JSON数据变得非常地简单。随着WEB和...

OpenStack为用户带来了诸多好处。使用免费开源工具构建自己的云对许多公司而言都非常有吸引力。但启动OpenStack项目之前，要有一个切实可行的目标。Rajiv Sodhi是OpenSta...

Spark是起源于美国加州大学伯克利分校AMPLab的大数据计算平台，在2010年开源，目前是Apache软件基金会的顶级项目。随着 Spark在大数据计算领域的暂露头角，越来越多的企业开始...

Packet是一家成立不久的公司，他们主要是为用户提供基于裸机服务器的IaaS，本文的作者是Packet平台的VP，作者在文中讲述了他们构建Packet平台的动机以及在构建过程中遇到了哪些问题。...

本文使用了一个基于场景的方法，概述了可能有助于定义大数据解决方案的解决方案模式。每个场景都从一个业务问题开始，并说明为什么需要大数据解决方 案。本文会将一个具体的解决方案模式（由原子模式和复合模...

摘要：本文中介绍的模式有助于定义大数据解决方案的参数。本文将介绍最常见的和经常发生的大数据问题以及它们的解决方案。原子模式描述了使用、处 理、访问和存储大数据的典型方法。复合模式由原子模式组成，...

大数据解决方案的逻辑层可以帮助定义和分类各个必要的组件，大数据解决方案需要使用这些组件来满足给定业务案例的功能性和非功能性需求。这些逻辑层 列出了大数据解决方案的关键组件，包括从各种数据源获取数...

本文介绍一种评估大数据解决方案的可行性的基于维度的方法。通过回答探索每个维度的问题，您可以通过自己对环境的了解来确定某个大数据解决方案对您是否适合。仔细考虑每个维度，就会发现有关是否到了改进您...

大数据可通过许多方式来存储、获取、处理和分析。每个大数据来源都有不同的特征，包括数据的频率、量、速度、类型和真实性。处理并存储大数据时，会涉及到更多维度，比如治理、安全性和策略。选择一种架构并构...

随着CoreOS和Kubernetes等项目在开源社区日益火热，它们项目中都用到的etcd组件作为一个高可用强一致性的服务发现存储仓库，渐 渐为开发人员所关注。在云计算时代，如何让服务快速透明地...

OpenStack为用户带来了多个好处，所以不难理解用免费的开源工具自行构建云这个概念为何吸引众多公司企业。然而，谁要是想启动 OpenStack项目，就应切合实际。我们Mirantis公司在构...

Spark是起源于美国加州大学伯克利分校AMPLab的大数据计算平台，在2010年开源，目前是Apache软件基金会的顶级项目。随着Spark在大数据计算领域的暂露头角，越来越多的企业开始关注和...

Spark是基于内存的大数据分析平台，由UC Berkely AMP lab发布的一大神器。相比Hadoop而言，其最大的优势是基于内存，这样可以极大提高其速度和通用性。

Kinetic 是希捷公司的开放存储平台，这是一个基于对象的存储组织结构（DHT 分布式哈西表结构），对象之间没有层次化关系，每个对象都是同级别的。对象的操作包括 PUT、GET 和 DELET...

Apache Falcon 是一个面向Hadoop的、新的数据处理和管理平台，设计用于数据移动、数据管道协调、生命周期管理和数据发现。它使终端用户可以快速地将他们的数据及其相关的处理和管理任务...

DebOps 是基于 Debian 的数据中心。 DebOps 是 Ansible 方案集合，可伸缩，从一个容器到一个条目数据中心。

IPFS 是分布式文件系统，寻求连接所有计算机设备的相同文件系统。在某些方面，这很类似于原始的 Web 目标，但是 IPFS 最终会更像单个比特流群交换的 git 对象。