13上做了一些小patch），数据的分布状态存储于zookeeper(etcd)中，底层的数据存储变成了可插拔的部件。这个事情的好处其实不用多说，就是各个部件是可以动态水平扩展的，尤其无状态的proxy对于动态的负载均衡，还是意义很大的

！就像建立集群时做的那样！如果我们有个统一的Dashboard，实现个简单的根据各个机器和Slot负载进行Resharding的算法，那么就能将这部分工作自动化了。 3.3 无监控管理UI Red

2日志收集系统 分为Zookeeper注册中心，日志收集客户端，Kafka集群和Storm集群（OtherApp）四部分组成。 Zookeeper注册中心，提出负载均衡和地址查找服务； 日志收集

数据切分带来的问题跨库和跨表查询 跨库join 结果集合并 结果集排序 全局自增id Sequence服务 Zookeeper？ 分布式事务 13. 跨表和跨库查询应用层query cache（跨表，跨库） 利用merge引擎和partion表（跨表）

集群发现 的公共服务，我们只需要在第1步使用 staticfile、consul、etcd 或者 ZooKeeper 中的任意一个，甚至是静态的IP列表来做集群发现即可。 与 Docker Swarm 不同，我们必须保证

可伸缩性: 当谈到任何大型的分布式系统时，规模大小只是考虑的其中一个方面，同样重要的是增强处理较大规模的负载性能所做的努力，这通常称为系统的可伸缩性。可伸缩性可以代表系统很多不同的参数：额外流量的处理量，添加存储容量的便意性，甚至事务的处理量。

Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消

消息队列MQ对比RabbitMQ：支持的协议多，非常重量级消息队列，对路由(Routing)，负载均衡(Load balance)或者数据持久化都有很好的支持。 ZeroMQ：号称最快的消息队列系统

Netty/Mina/Grizzly RMI/Hessian/WebService 服务动态发现 Zookeeper/Redis 集群软负载均衡 Random/RoundRobin 集群失败容错 Failover/Failback

Netty/Mina/Grizzly RMI/Hessian/WebService 服务动态发现 Zookeeper/Redis 集群软负载均衡 Random/RoundRobin 集群失败容错 Failover/Failback

HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协调工具。 4. 复习HBASE基础知识HBASE中的每一张表，就是所谓的BigTable。稀疏表。

collector由master统一管理，这使得系统容易监控和维护，且master允许有多个（使用ZooKeeper进行管理和负载均衡），这就避 免了单点故障问题。 可管理性：所有agent和Collector由ma

之间是直连的，那么连接一般不会中断（当然物理链路故障除外）。 如果 client 和 server 连接经过一些负载中转设备，有可能连接一段时间不活跃时会被这些中间设备中断。  为了保持连接有必要定时为每个连接发送心跳数据以维持连接不中断

步和对HDFS的读写作业来优化Hive job。这将优化Hadoop内部的执行链，彻底加速Hive负载处理。 Stinger官方网站>>> 三、Presto 贡献者：：Facebook

织数据，表中每行都可以动态分区。每个分区叫做一个 "Tablet" ，故Tablet是数据分布和负载均衡调整的最小单位。这样做的好处是读取行中很少几列数据的效率很高，而且可以有效的利用数据的位置相关性（局部性原理）

F服务框架底层也融合了腾讯云内部大量的中间件服务，提供企业云化架构所必需的消息队列、Kafka、负载均衡、API 网关、全局配置服务等全套中间件。 在此之上，TSF支持应用的全生命周期管理功能

AgentThrift Client自带自带存储支持HDFS支持HDFS支持HDFS负载均衡无无Zookeeper容错性Collector和store间有容错机制，但Agent和Collector间需

NGINX, MongoDB, MySQL, PostgreSQL, Redis, and ZooKeeper等服务的指标。零依赖，只需要在配置文件中启用即可 监控容器 如果你使用Docke

些空的regions，这样当数据写入HBase时，会按照 region分区情况，在集群内做数据的负载均衡。 有关预分区，详情参见： Table Creation: Pre-Creating Regions

leader replica 负责日常读写，通过 zookeeper 监督 failover ，不同的分区的 leader replica 均衡负载到不同的 Broker 上。在这种情况下， producer