使用zookeeper实现服务路由和负载均衡：三个类： ServiceAProvider ServiceBProvider ServiceConsumer 其中 ServiceAProvider...

      那么Zookeeper能作什么事情呢，简单的例子：假设我们有20个搜索引擎的服务器(每个负责总索引中的一部分的搜索任务)和一个总服务器(负责向这20个搜索引擎的服务器发出搜索请求并合...

那既然有了HBase，为什么还需要Kudu呢，简单的说，就是嫌弃HBase在OLAP场合，SQL／MR类的批量检索场景中，性能不够好。通常这种海量数据OLAP场景，要不走预处理的路，比如像EBA...

Hadoop 包括如下几个模块：

大数据时代，HBase作为一款扩展性极佳的分布式存储系统，越来越多地受到各种业务的青睐，以求在大数据存储的前提下实现高效的随机读写操作。对于业务方来讲，一方面关注HBase本身服务的读写性能，另...

ElasticSearch 毫秒级的查询响应时间还是很惊艳的。其优点有： 优秀的全文检索能力 高效的列式存储与查询能力 数据分布式存储(Shard 分片)

在“用Apache Spark进行大数据处理”系列的前两篇文章中，我们看到了Apache Spark框架是什么(第一部分)还有如何使用Spark SQL库访问数据的SQL接口(第二部分)。

笔者目前在互联网公司负责开发私有云平台。云平台控制台，是一个典型的管控CRUD系统，用于管理各种IaaS资源。为了让前端能达到仿客户端体验，同时保障代码架构清晰规范，易维护，最终我们选择了Ang...

测试hadoop集群是否安装成功：网页监控页面和提交job运行：一、查看集群的网页监控状态 1.查看hdfs集群状态，也就是namenode的访问地址 配置：hdfs-site.xml--dfs....

本文简单介绍了Spark的使用方式。首先介绍Spark的交互界面的API使用，然后介绍如何使用Java、Scala以及Python编写Spark应用。详细的介绍请阅读 Spark Program...

在CentOS上安装ZooKeeper集群：（可选）创建新用户 一般我倾向于把需要启动daemon进程，对外提供服务的程序，即服务器类的程序，安装在...

虽然OpenStack的众多云服务为IT专业人士提供了丰富的选择范围，但是物极必反，如此多的服务选项也可能会导致用户的混乱——尤其是在混合云环境中。幸运的是，一个名为Project Naviga...

Distributed-Kit - 基于redis和zookeeper分布式工具集-包括:分布式锁实现,分布式速率限制器,分布式序列等

本文简要描述了Spark在集群中各个组件如何运行。想了解如何在集群中启动Spark应用，请参考 application submission guide 。

Spark执行不少操作时都依赖于 闭包函数 的调用，此时如果闭包函数使用到了外部变量驱动程序在使用行动操作时传递到集群中各worker节点任务时就会进行一系列操作：

最新Hadoop-2.7.2+hbase-1.2.0+zookeeper-3.4.8 HA高可用集群：Ip  主机名 程序 进程 192.168.128.11 h1 Jdk Hadoop hba...

win7 storm搭建：storm win7环境的搭建【默认已经搭建好JDK和python，zookeeper】

分布式ID生成方法：一、需求缘起 几乎所有的业务系统，都有生成一个记录标识的需求，例如： （1）消息标识：message-id （2...

zookeeper入门与实战 ：1. zookeeper介绍 ZooKeeper是一个为分布式应用所设计的分布的、开源的协调服务，它主要是用来解决分布...

基于R语言实现的交通时空大数据处理：基于R语言实现的交通时空大数据处理