P32 HDFS原理与实现@百度 文档
解决方案 3. 什么是Hadoop?基础架构(infrastructure) Reliable Scalable Distributed computing 4. Hadoop发展史 5. 什么是HDFS
jelly0812 HBase高可用原理与实践 经验
net/2015/12/21/hbase_replication/ 前言 前段时间有套线上HBase出了点小问题，导致该套HBase集群服务停止了2个小时，从而造成使用该套HBase作为数据存储的应用也出现了 服务异常。在排查问题之余
jopen Docker三剑客之Swarm介绍 资讯
公司发布三剑客中的一员，用来提供容器集群服务，目的是更好的帮助用户管理多个Docker Engine，方便用户使用，像使用Docker Engine一样使用容器集群服务。这次分享内容从Swarm项目现
Hive HBase 整合 经验
环境说明： l hadoop ： 2.4.0 l Zookeeper ： 3.4.6 l Hbase ： 0.96 l Hive ： 0.13.1 1. Hive 整合 HBase
GitHub上整理的一些工具 经验
大数据处理/数据分析/分布式工具 Hadoop：分布式的文件系统，结合其MapReduce编程模型可以用来做海量数据的批处理（Hive，Pig，HBase啥的就不说了），值得介绍的是Cloudera的Hadoop分支CDH5，基于YARN
GitHub上整理的一些工具 资讯
大数据处理/数据分析/分布式工具 Hadoop：分布式的文件系统，结合其MapReduce编程模型可以用来做海量数据的批处理（Hive，Pig，HBase啥的就不说了），值 得介绍的是Cloudera的Hadoop分支CDH5，基于YARN
GitHub上整理的一些资料 经验
大数据处理/数据分析/分布式工具 Hadoop：分布式的文件系统，结合其MapReduce编程模型可以用来做海量数据的批处理（Hive，Pig，HBase啥的就不说了），值得介绍的是Cloudera的Hadoop分支CDH5，基于YARN
大数据架构：flume-ng+Kafka+Storm+HDFS 实时系统组合 经验
高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息。 支持通过kafka服务器和消费机集群来分区消息。 支持Hadoop并行数据加载。 kafka的目的是提供一个发布订阅解决方案，它可以处理消费者规模的网站中的所有动作流数据。
storm java 编程思路 经验
net/u/2000675/blog/610587 总体思路 storm编程和hadoop的mapreduce的编程很类似，hadoop的mapreduce需要自己实现map函数，reduce函数，还有一个主
P11 配置Storm的开发环境 文档
storm的唯一区别是storm-lib没有任何日志配置。 11.1.3 如何提交拓扑到集群 在Storm的开发环境下，提交拓扑到集群，主要步骤如下。 下载Storm发行版并解压，设置Storm环境变量 下载St
wudawen
P34 QCon专访彭渊：Fourinone是俄罗斯套娃中最小的一个 资讯
淘宝Fourinone是一个自主研发的分布式并行计算框架，它集成了Hadoop、ZooKeeper、MQ、分布式缓存四大主要的分布式计算功能，Fourinone的功能强大用途广泛，它实现了ZooKeeper的所有功能并进行了很多改进，它
P51 7种分布式文件系统介绍 文档
邮件系 统的认证中心那么重要，如果这儿挂了，那么整个Mogilefs 将处于不可用状态。因此最好是HA结构。 1） 存储节点 mogstored程序的启动将使本机成为一个存储节点。启动时 默认去读/e
cellcomcn Twitter 数据实时分析处理攻击 Storm 经验
Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。 Storm也可被用于“连续计算”（continuous computation），对数据流做连续查询，在
kafka参数配置详解 经验
port 9092 BrokerServer接受客户端连接的端口号 zookeeper.connect null Zookeeper的连接串，格式为：hostname1:port1,hostname2:port2
Twitter Storm 实时数据处理框架分析总结 经验
Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架（原来是由BackType开发，后BackType被Twitter收购，将Storm作为Twitter的实时数据分析）。实时数据
fmms 彦伟：京东实时数据平台架构设计与实现思路 资讯
营、仓储、配送、售后、金融和O2O等全线业务，主要完成接入、存储、计算三大基础工作， 分为基于Hadoop的离线数据平台JDW和基于kafka、Storm的实时数据平台JRDW。采用开源技术构建，规模化的最大挑战在于稳定性保障，需
Kafka深度解析 经验
，自动实现负载均衡；支持Hadoop数据并行加载，对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka通过Hadoop的并行加载机制来统一了在线和离线的消息处理。Apache
分布式系统Failover测试框架的实现 经验
的容错机制逐渐成为计算机行业的焦点。分布式应用可以运行在上千台普通服 务器上，伴随业务增长动态扩大集群规模，但也要承受普通计算机相对较高的硬件故障率，这要求系统在发生软硬件故障时仍能保证一定的可用性[2]。而测试程
Cloudera Manager安装部署 经验
yum install avro-tools crunch flume-ng hadoop-hdfs-fuse hadoop-hdfs-nfs3 hadoop-httpfs hadoop-kms hbase-solr hive-hb