spider framework. 这是一个轻量级的分布式java爬虫框架 特点 这是一个强大，但又轻量级的分布式爬虫框架。jlitespider天生具有分布式的特点，各个worker之间需要通过一个或者多个消息队列来连接。消息队列我的选择是

install 进入docker目录 docker build -t fastdfs:dev . 使用 docker -idt -p 80:80 fastdfs:dev /bin/bash 进入容器执行 /etc/rc.local 测试 进入容器执行test目录下的./test.sh或者直接执行下面脚本 fdfs_test /etc/fdfs/client.conf upload /home/st

一个由新浪网的开发人员开放出来的开源项目，给memcached分布式缓存服务器添加了Berkeley DB的持久化存储机制和异步主辅复制机制，让memcached具备了事务恢复能力、持久化能力和分布式复制能力，非常适合于需要超高性能读写速度，但是

Solandra 是一个实时分布式搜索引擎，基于 Apache Solr 和 Apache Cassandra 构建。其核心，Solandra是Solr与Cassandra的一个紧密集成。这意味着So

调用readConfFile函数读入配置文件到一个字符串队列中，每一行数据为队列中的一个值，通过ifstream打开文件流，并getline一行一行的读入数据，并压入队列； （3）       调用parseS

（4）max_batch_size: 默认1,024,000字节（可能没有被开源），决定在内存存储队列中一次能够被处理的数据的总数，这个（加上缓冲文件旋转的大小）控制多大的一个thrift调用可行。 （5）max_wr

Scalaris 是一个采用Erlang开发的分布式 key-value 存储系统。 Business Logic fault-tolerant startup: start Scalaris when

BeansDB 是一个主要针对大数据量、高可用性的分布式KeyValue存储系统，采用HashTree和简化的版本号来快速同步保证最终一致性（弱），一个简化版的 Dynamo (Dynamo 是 Amazon

ElasticSearch是一个基于 Lucene 构建的开源，分布式，RESTful搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。支持通过HTTP使用JSON进行数据索引。 项目主页：

的关系，研究了php通过调用 memcache 和 memcached PECL扩展库的接口存储到分布式缓存 服务器 的机制，在此做我根据他们各自的 源码 进行分析，希望能对这方面感兴趣的人有些帮助。

Shuttler.Net是一个高性能分布式框架，如果你在使用老去的remoting,webservices分布式架构,或在使用新生的wcf,那么你也可以尝试下Shuttler.Net。 如果你想开

高性能计算/分布式计算等大量计算需要程序运行几天、几周甚至几个月，如果期间因为电力或者不可避免的问题导致程序中断会浪费大量的时间和人力，还 有超级计算机在这段时间里运行的电力成本。我们没有遇到过电力问

SolrCloud 是基于Solr和Zookeeper的分布式搜索方案，是正在开发中的Solr4.0的核心组件之一，它的主要思想是使用Zookeeper作为集群的配置信息中心。 它有几个特色功能：

== 是什么 == 简单的说， Kafka 是由 Linkedin 开发的一个分布式的消息队列系统 (Message Queue) 目标 Scope （解决什么问题） kafka

Skylable SX 是一个用来满足你数据存储需求的可靠的、强大的完全分布式的解决方案。可聚合来自多台服务器上的可用磁盘空间到一个单一的存储系统。集群本身确保你的数据是通过多个节点复制和同步的。内建去重、客户端加密、即时压缩等特性。

在分布式服务框架中，一个最基础的问题就是远程服务是怎么通讯的，在Java领域中有很多可实现远程通讯的技术，例 如：RMI、MINA、ESB、Burlap、Hessian、SOAP、EJB和JMS等，这

介绍了Web分布式系统设计准则和基本原理，本文介绍构建快速、可伸缩数据访问的组件。 （上文）谈及了在设计分布式系统中需要考虑的一些核心问题，现在让我们来聊聊（比较）困难的部分：访问数据的可伸缩性。

Solrcloud集群搭建 使用solrcloud 有几点需要注意的： 索引数据量比较大；配置是统一的（zookeeper 会保持配置信息的一致性） 如果索引数据量不大，并且需求变动比较多，field 要经常变动的可以考虑用multicore

介绍zookeeper单机多实例部署（实验性质）以及生产环境的分布式部署 1. 准备工作： 1）需要linux环境，推荐用ubuntu的系统。学习的话使用oracle的virtual box安

RocketMQ是一款分布式、队列模型的消息中间件，具有以下特点： 能够保证严格的消息顺序 提供丰富的消息拉取模式 高效的订阅者水平扩展能力 实时的消息订阅机制 亿级消息堆积能力 项目主页： http://www