基于HBase的消息队列：HQueue 经验
eue也很容易封装出多语言API； （10）HQueue Client API可以天然支持Hadoop MapReduce Job和iStream的InputFormat机制，利用Locality特性将计算调度到存储最近的机器；
jopen 
盘点大数据开源软件Google Trends指数 资讯
n公司，用于管理他们的Hadoop批处理工作流。Azkaban根据工作的依赖性进行排序，提供友好的Web用户界面来维护和跟踪用户的工作流程。 YARN 是一种新的Hadoop资源管理器，它是一个通
分布式并行计算调度和管理系统Summoner 经验
Summoner的特性 Summoner 是国玺部门推出的基于 MySQL+Redis+Zookeeper 的分布式并行计算调度和管理系统，李红红主设。 0x00，为什么要做“数据”并行计算调度？
Apache Eagle v0.4.0发布，一个高效分布式的流式策略引擎 资讯
建立Profile以实现实时智能实时地保护Hadoop生态系统中大数据的安全。 Eagle的数据行为监控方案可用于如下几类典型场景： 监控Hadoop中的数据访问流量 检测非法入侵和违反安全规则的行为
介绍目前etcd的状况和其今后的发展 资讯
键值存储系统。etcd主要被用于存储集群的关键数据和对集群内部组建进行协调。etcd采用了 raft分布式一致性协议来保证自身的数据一致性和可用性。一个etcd集群一般由3到5台节点组成。只要有多余半
大数据(二) - HDFS 经验
10K+节点规模 流式文件访问 一次性写入，多次读取 保证数据一致性 可构建在廉价机器上 通过多副本提高可靠性 提供了容错和恢复机制 HDFS缺点，不适合以下操作方式 ： 低延迟数据访问 比如毫秒级 低延迟与高吞吐率
P20 
yhx0000
使用 Python 进行分布式系统协调 经验
有许多的开源软件试图解决以上的全部或者部分问题，例如ZooKeeper，consul，doozerd等等，我们现在就看看它们是如何做的。 ZooKeeper ZooKeeper 是使用最广泛，也是最有名的解决分布
Dubbo分布式服务框架入门（附工程） 经验
请求-响应”模式的信息交换方式。 2》集群容错: 提供基于接口方法的透明远程过程调用，包括多协议支持，以及软负载均衡，失败容错，地址路由，动态配置等集群支持。 3》自动发现: 基于注册中心目录
Netflix发布Genie3 资讯
有两个主要使用场景：第一个是创建和提交自定义的数据处理任务请求，其次是设置本地环境来开发和测试在 Genie 集群上运行的新应用程序和任务。 Netflix 宣布 Genie3 支持几项 新特性 ，包括对较早
Kafka三款监控工具比较 经验
这 个监控工具，在生产环境中使用，运行一段时间后，发现该工具会和Kafka生产者、消费者、ZooKeeper建立大量连接，从而导致网络阻塞。并且这个 Bug也在其他使用者中出现过，看来使用开源工具要慎
云计算的技术路线探讨 经验
切换，而且最好是自动透明的故障切换。 Ø 负载均衡问题——无论存储集群或者是应用服务集群等都可能出现负载不均匀情况。同一集群中因种种原因总是会有热点（因为访问压力大而造成的或磁盘空间不 够、或内存
P5 Yahoo! S4：分布式流计算平台 文档
S4的设计目标是： ·提供一种简单的编程接口来处理数据流 ·设计一个可以在普通硬件之上可扩展的高可用集群。 ·通过在每个处理节点使用本地内存，避免磁盘I/O瓶颈达到最小化延迟 · 使用一个去中心的，对等
60款顶级大数据开源工具 经验
说到处理大数据的工具，普通的开源解决方案（尤其是Apache Hadoop）堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测，在接下来几年，“100%的大公司”会采用Hadoop。Market Researc
动态YARN应用：Apache Slider 经验
上，并对这些应用进行监控以及根据需要调整规模，即使是正在运行。 一些特性: 能够让用户在一个YARN集群上按需创建应用 能够让不同用户/应用来运行应用的不同版本 允许用户配置不同的应用程序实例
为什么我要用Yarn来做Docker容器调度引擎 经验
我先说说在做容器调度引擎的时候，为什么选择Yarn而不是Mesos。 可部署性 先说明下，这里探讨的是Yarn或者Mesos集群的部署，不涉其上的应用。Yarn除了依赖JDK，对操作系统没有任何依赖，基本上放上去就能跑。Mes
P10 HBase Architecture（中） 文档
现顺序化存储优化，以得到最好的IO性能。 1.3. HLogKey类 当前的WAL实现采用了Hadoop SequenceFile，它会将记录存储为一系列的key/values。对于WAL来说，va
P10 编译和使用 hive-hbase-handler.jar 文档
r组件，发现在hive中查询HBase表存在问题。 准备： 编译这个jar包需要hadoop和hbase的相关jar包和hive的hbase-handler代码。我是在windows上使
基于Java的现成容器——第一部分 经验
地工作。 STASH Stash 是个 Git 代码管理和协作工具。Stash 允许将部署节点集群化，从而减少活动主机的停机时间，且不会对每个添加的节点造成性能影响。Stash 还集成了 JIRA
五个基于Java的Docker镜像 资讯
地工作。 STASH Stash 是个 Git 代码管理和协作工具。Stash 允许将部署节点集群化，从而减少活动主机的停机时间，且不会对每个添加的节点造成性能影响。Stash 还集成了 JIRA