分布式搜索方案选型之一:Solr 我第一个了解到的分布式搜索框架是solr,它是由java开发的,基于lucene的分布式搜索引擎,提供了类似于webserver的编程接口,是一个比较成熟 的
memcached的分布式算法-Consistent Hashing 前言: 我们知道以往资料要放到 M 台服务器上,最简单的方法就是取余数 (hash_value % M) 然后放到对应的服
hmux协议开发等系统,避免了上线带来的很多问题。 总体说来,tcpcopy主要有如下功能: 1)分布式压力测试工具,利用在线数据,可以测试系统能够承受的压力大小(远比ab压力测试工具真实地多),也可以提前发现一些bug
SolrCloud 是基于 Solr 和 Zookeeper 的分布式搜索方案,是正在开发中的 Solr4.0 的核心组件之一,它的主要思想是使用 Zookeeper 作为集群的配置信息中心。它有几个特色功能:
The Spread Toolkit 是高性能的分布式分组消息系统,支持局域网以及广域网通讯. Spread可以作为一个分布式应用的消息总线,并且具有高度的灵活性,可以做到多播,分组,以及点对点饿消息传递。
Cassandra是一套 开源分布式Key-Value存储系统 。它最初由Facebook开发,用于储存特别大的数据。 Facebook目前在使用此系统 。 主要特性: 分布式 基于column的结构化
Elliptics network 是一个具备容错能力的分布式哈希表对象存储系统。 主要特性: 分布式哈希表、无需元数据服务器,具备水平伸缩能力 数据复制 支持事务处理和并行IO 不同的IO存储后端,模块化架构允许自行扩展
Osiris 是一套去中心化的分布式论坛程序。GIT式的内容控制能力和信用的继承功能,让它十分有趣。程序使用 C++ 编写,采用Python作脚本引擎。 * P2P – 公钥加密系统配合P2P技术,让
R-OSGi 是一套适用于任意满足 OSGi 架构的分布式通讯组件。它以 jar 的形式发布,部署容易,使用也较为便捷。 概括下用户只需要完成如下几步。 在 Server 端: OSGi 容器内启动
ActorDB 是一个分布式的 SQL 数据库,可实现可伸缩的 K/V 存储系统。ActorDB 基于 Actor 计算模型,与传统的集中式数据库不同,ActorDB 由任意数量的被成为 actor 的独立和并发
Youtube出品的开源分布式MySQL工具集Vitness,自动分片存储MySQL数据表,将单个SQL查询改写为分布式发送到多个MySQL Server上,支持行缓存(比MySQL本身缓存效率高),
SnackFS 是一个很小的、轻量级的兼容 HDFS 的文件系统,基于 Cassandra 构建。你需要做的只是指向 Cassandra 集群即可。该项目的目的就是为了替代 HDFS,速度更快更可靠。
FLOM 是一个分布式的锁管理器,可用于避免 SHELL 欺骗和安全的执行不能在同一时间执行的不同任务。它可以管理进程的执行顺序。 项目主页: http://www.open-open.c
TDSS是一个高可扩展、高可用、高性能、面向互联网服务的分布式存储系统,主要针对海量的非结构化数据,它构筑在普通的Linux机 器集群上,可为外部提供高可靠和高并发的存储访问。它采用了HA架构和平滑扩
RDBMS的负担加重、数据库响应恶化、网站显示延迟等重大影响。这时就该memcached大显身手了。memcached是高性能的分布式内存缓存服 务器。一般的使用目的是,通过缓存数据库查询结果,减少数据库访问次数,以提高动态Web应用的速度、提高可扩展性。
ZeroRPC 是一个分布式的通讯框架。ZeroRPC-Node 是 ZeroRPC 的 node.js 版本。这个项目还处于 alpha 阶段。 项目主页: http://www.open-open
kestel是一个简单,分布式消息队列系统。 特性: fast It runs on the JVM so it can take advantage of the hard work people
Quantcast File System (QFS) 是一个高性能、容错、分布式的文件系统,其开发是用于支持 MapReduce 处理或者需要顺序读写大文件的应用。 项目主页: http://www
在异构型环境中运行的能力。即使所有机器硬件一样,但某些机器在某些时候可能因为软件原因、网络原因也会性能降低。分布式操作时,要防止木桶效应。 4.活的查询接口:商业化的数据分析一般建立在SQL查询上,UDF等non-SQL也是需要的。
Martinet 是分布式任务管理工具。 Martinet 数据库后端,基于 zeroMQ 的分布式任务管理系统。Martinet 可以使用任意的 sequelize.js 兼容的数据库(默认是 SQLite)。