存储，对于小型集群系统来说，投入非常高昂，完全可以利用Linux的软件RAID5技术和NFS网络文件系统来实现。 2 集群技术 2.1 集群的定义 集群（cluster）就是一组计算机，它们作为一个整

约束满足问题求解程序 持续集成 CSV解析 数据结构 数据库 时间日期工具库 依赖注入 开发流程增强工具 分布式应用 分布式数据库 发布 文档处理工具 函数式编程 游戏开发 GUI 高性能计算 IDE 图像处理 JSON

　　缓存一词搞技术的都接触过，很多地方用到缓存。网站架构和网站开发中的缓存也是非常重要。这里先讲述最基本的两种缓存。高级和分布式的缓存在后面讲述。 　　架构方面的缓存，对Apache比较熟悉的人都能知道Apache提供了自己的

动配置） o 6. Storage and File System Management（存储和文件系统） 6.1 Exporting Physical Devices as VBDs（物理设备做为VBD)

备份数据一致性校验 采用分布式文件系统存储备份 备份系统采用分布式文件系统原因： 解决存储分配的问题 解决存储NFS备份效率低下问题 存储集中式管理 数据可靠性更好 使用分布式文件系统优化点： Pbz

存储服务层提供了数据处理层需要的各类分布式存储，包括分布式文件系统（Hadoop HDFS）、分布式SQL数据库（MySQL）、分布式 NoSQL数据库（Redis、MongoDB、HBase）、分布式消息队列（Apac

数据库优化 Cache管理 基于Client的代码优化 基于主机和应用服务器的优化 服务器调优 分布式应用部署 8. Java技巧尽量重用对象，避免创建过多短时对象 关注内存漏洞和垃圾回收 减少大对象的复制

Mesos 架构 在官方文档中，Mesos 定义成一个 分布式系统内核 。它使用和 Linux 内核相同的设计原则，只是设计在不同的抽象层级上。它运行在一个机房的所有服务器上并且通过 API 的形式给应用（比如

的时候性能较差，不知道现在的升级版怎样了 2. clearcase： 99年开发Unix 上分布式式应用时使用，功能强大，不只限于版本控制，有钱的大团队才去用 3. CVS: 02年在互联网热

hz、cacheSize）和统计信息（user、sys、idle、nice、wait） 2)文件系统信息，包括Filesystem、Size、Used、Avail、Use%、Type 3)事件信息，类似Service

维护一致性 16. 队列解耦机制.内存队列、无锁内存队列Ringbuffer、EventBus、分布式队列kafka 生产者生产数据入队列=>队列缓存=>消费者取数据 队列采用先进先出的阻塞队列，队列

性问题）。到这一步结束，单点NameNode就变成了多个，原先由一个 NameNode来承担的对文件系统所有元数据的访问被分摊到了多个NameNode上，NameNode的性能、内存和扩展性问题都不复存在。

在32位操作系统上，数据库大小限制在约2.5Gb · 空数据库大约占 192Mb · 采用 GridFS存储大数据或元数据(不是真正的文件系统) 最佳应用场景：适用于需要动态查询支持;需要使用索引而不是 map/reduce功能;需要对大数据库有性能要求;需要使用

Git 是一个很强大的分布式版本管理工具，它不但适用于管理大型开源软件的源代码（如：linux kernel），管理私人的文档和源代码也有很多优势（如：wsi-lgame-pro） 一、 Git 命令初识

Block 复制工作 11. 下列哪个是 Hadoop 运行的模式 a)单机版 b)伪分布式 c)分布式 12. Cloudera 提供哪几种安装 CDH 的方法 a)Cloudera manager

在美团使用情况？ A2：kubernetes 源于 Google 的 Borg 系统，Borg 是一个分布式容器集群管理平台，在 Google 内部使用 10 多年，承载海量的 Google 线上业务，架构

能。试验采用25台机器组成的集群，数据集大小为128GB。 1、引言 Hadoop[17]是在分布式环境下高效处理大量数据的一个框架，采用了MapReduce编程范式，是通过两个函数，即Map和Reduce，

队开始了Apache Spark项目，旨在为分布式数据处理设计一个统一的引擎。 Spark具有类似于MapReduce的编程模型，但是使用称为“弹性分布式数据集”或RDDs的数据共享抽象扩展。通过这个

安全：可选SSL客户认证机制。 快速：每个实例每秒支持一千次写操作。 可信：使用Raft算法充分实现了分布式。 随着云计算的不断发展，分布式系统中涉及到的问题越来越受到人们重视。受阿里中间件团队对 ZooKeeper典型应用场景一览

2sharding的配置和管理 15 12Java API简介 16 13MongoDB实例分析 17 13.1图片保存在文件系统中 17 13.2图片保存在数据库中 19 14MongoDB常用API总结 23 15Redis简介