原文 http://h2ex.com/569 董西成，Hulu 网，专注于分布式计算和资源管理系统等相关技术。《Hadoop 技术内幕：深入解析 MapReduce 架构设计与实现原理》和《Hadoop

并行计算、分布式计算和网格计算 7. 并行计算Parallel Computing 是指同时使用多种计算资源解决计算问题的过程，其主要目的是快速解决大型且复杂的计算问题 特点：把计算任务分派给系统内的多个运算单元

象，将拓扑提交到集群 Topology运行方式 Topology的运行可以分为本地模式和分布式模式，模式的设置可以在配置文件中设定，也可以在代码中设置。本地模式 其实什么 都不需要安装，有storm

编写的协作式调度的stackful协程库, 同时也是一个强大的并行编程库。 设计之初是为高并发分布式Linux服务端程序开发提供底层框架支持， 可以让链接进程序的同步的第三方库变为异步库，不影响逻辑的前提下提升其性能

节点管理器  (一个集群有很多个r)是slave构架组成. 当节点管理器启动的时候，将自己注册到资源管理器，并且定时的相资源管理器发送心跳信息。每一个节点管理器提供自己的资源给集群。那么他的资源其实就是内存的大小，

前言 新项目使用了主从数据库, 从数据库用来查询报表数据, 主数据库用来CRUD业务数据以及定时插入报表数据, 而且项目中同时使用了 Spring Data JPA 和 Mybatis , 配置多个数据源就成了一个很繁琐的问题。

降低对数据库的依赖，哪怕数据库网络短期中断也不会形成脏读； 服务器内存和CPU占用低，对象在一定时间内（24小时）未登陆将会被交换至数据库，并从内存卸下，节省内存利用率（16核服务器，20个游服平均CPU低于10%，峰值低于30%）

MapReduce是一个在海量数据上进行数据处理的并行编程模型，它特别适合于海量非结构化和结构化数据的搜索、分析和挖掘任务，已经开始被人们广泛使用。对于兴起的众多类似MapReduce系统来说，如何有效地评估和分析对比这些系统，成为当前一个需要解决的问题。

51cto.com/art/201512/502148.htm 大多数并发都是通过任务执行的方式来实现的。一般有两种方式执行任务：串行和并行。 class SingleThreadWebServer { public

http://renchx.com/java-executor/ 大多数并发都是通过任务执行的方式来实现的。一般有两种方式执行任务：串行和并行。 class SingleThreadWebServer { public

理能力也有限，在高并发场景下，垂直分库一定程度上能够突破IO、连接数及单机硬件资源的瓶颈，是大型分布式系统中优化数据库架构的重要手段。 然后，很多人并没有从根本上搞清楚为什么要拆分，也没有掌握拆分

的请求过来后，使一群服务器可以使用一个单一的IP 地址来对外提供相关的服务支撑。 1.2.关键技术 1.2.1Google分布式文件系统GFS/GFSII GFS是Google 文件系统中最基础的模块。任何文件和数据都可以利用这种底层模块。GFS通过基于Linux

windows下postgresql 自动备份脚本，采用bat批处理脚本编写，windows任务计划定时执行。 每天备份一次，主要采用pg_dump 备份指定库，同时删除 7 天以前的备份文件。

一种流行的，跨平台的面向文档的数据库。 Elasticsearch ——专为云而构建的分布式 REST 风格搜索引擎。 Cassandra ——一个开源的分布式数据库管理系统，最初由 Facebook 开发，被设计用来处理

网络爬虫架构在Nutch+Hadoop之上，是一个典型的分布式离线批量处理架构，有非常优异的吞吐量和抓取性能并提供了大量的配置定制选项。由于网络爬虫只负责网络资源的抓取，所以，需要一个分布式搜索引擎，用来对网络爬虫抓取到的网络资源进行实时的索引和搜索。

2. www.zbaccp.com排程原理排程三大概念 Job(工作、任务)是一个独立的工作单元，它会在一个给定的时间间隔上定时运行 Trigger(触发器)记录了触发job运行时的时程条件，这些条件

配合urllib2或者requests库进项简单的抓取分析工作 scrapy 很牛的抓取框架, 适合规模较大,需求复杂的的抓取任务 搜索 solr 完成搜索功能, 虽然Python也有一些实现, 但是感觉还是使用成熟的方案会好些

制让一切变得更为简单。MapReduce也是一套框架，其主要任务就是实现数据处 理。MapReduce能够以迅如闪电的速度完成数据处理任务，从而帮助我们节约大量时间。 实践证明，Hadoop确

Quartz定时任务默认都是并发执行的，不会等待上一次任务执行完毕，只要间隔时间到就会执行, 如果定时任执行太长，会长时间占用资源，导致其它任务堵塞。 1.在Spring中这时需要设置concurrent的值为false

map); } /** * @Description: 完成任务 :根据任务id和变量完成单个任务 * @param taskId 任务id * @param map * @return void */