Ugly-Distributed-Crawler 简陋的分布式爬虫 新手向，基于Redis构建的分布式爬虫。 以爬取考研网的贴子为例，利用 PyQuery, lxml 进行解析，将符合要求的文章文本存入MySQ数据库中。

一、概述 在支付、交易、订单等强一致性系统中，我们需要使用分布式事务来保证各个数据库或各个系统之间的数据一致性。 举个简单的例子来描述一下这里数据一致性的含义。 程序员小张向女友小丽转账1

peline Runner上。 Apache Beam SDKs提供一组抽象，用来简化大规模分布式数据处理。同一个Beam抽象，能够同时适应批量处理、流处理两种数据源。下面，我们了解一下Apache

Infinispan 是个开源的数据网格平台。它公开了一个简单的数据结构（一个Cache）来存储对象。虽然可以在本地模式下运行Infinspan，但其真正的价值在于分布 式，在这种模式下，Infinispan可以将集群缓存起来并公开大容量的堆内存。这可比简单的复制强大的多，因为它会为每个结点分配固定数量的副本——服 务器故障的一种恢复手段——同时还提升了可伸缩性，这是由于存储每个结点所需的工作量是与集群大小息息相关的。

Bazaar 是一个分布式的版本控制系统，它发布在 GPL 许可协议之下，并可用于 Windows、GNU/Linux、UNIX 以及 Mac OS 系统。Bazaar 由 Canonical 公司赞助，目前已服务于

Git 是一个开源的分布式版本控制系统，用以有效、高速的处理从很小到非常大的项目版本管理。 Git 是 Linux Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。

kbengine开源分布式游戏服务端引擎0.1.9发布，主要更新内容如下： 一些功能的完善 一些bug的修复 开源分布式游戏服务端引擎kbengine http://www.kbengine

RethinkDB 设计用来存储 JSON 文档的分布式数据库,可通过简单操作实现多机分布式存储。支持表的联合和分组查询。 今天 RethinkDB 1.13 发布， Download it now

虽然分布式存储的存储层和上传下载这一层很重要，但在元数据方面有哪些选择，这些选择有什么优缺点则更为重要。鉴于此，七牛首席架构师李道兵结合自己多年的实践和思考，分享了存储设计的几大方法，并详细分析了各种方法的

http://www.csdn.net/article/2015-09-11/2825678 分布式数据库简介 分布式数据库系统通常使用较小的计算机系统，每台计算机可单独放在一个地方，每台计算机中都可能有

Levine加入Tachyon董事会。 根据该项目官网的介绍，Tachyon是一个以内存为中心的分布式文件系统，能够为集群框架（如Spark、MapReduce）提供可靠的内存 级速度的文件共享服务，

将精力真正集中到游戏开发层面上来，快速的打造各种网络游戏。 (经常被问到承载上限，KBEngine 底层架构被设计为多进程分布式动态负载均衡方案， 理论上只需要不断扩展硬件就能够不断增加承载上限，单台机器的承载上限取决于游戏逻辑本身的复杂度。)

将精力真正集中到游戏开发层面上来，快速的打造各种网络游戏。 (经常被问到承载上限，KBEngine 底层架构被设计为多进程分布式动态负载均衡方案， 理论上只需要不断扩展硬件就能够不断增加承载上限，单台机器的承载上限取决于游戏逻辑本身的复杂度。)

宣布，接受比特币和以太坊等公有区块链，应用于分布式身份识别系统。公司将率先支持，基于区块链分布式ID验证在微软身份验证（Microsoft Authenticator）App的应用。 与当今世界使用的身份识别形式有异，分布式身份识别

kafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性： 通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 高吞吐量：即使是非

CreateProcess MBrace.Flow是一个基于MBrace.Core创建的分布式流（Streaming）类库，该类库使用了函数式的管道声明。下面的示例展示了如何通过云流查找在多个CSV文件中出现重复字符串的次数。

将精力真正集中到游戏开发层面上来，快速的打造各种网络游戏。 (经常被问到承载上限，KBEngine 底层架构被设计为多进程分布式动态负载均衡方案， 理论上只需要不断扩展硬件就能够不断增加承载上限，单台机器的承载上限取决于游戏逻辑本身的复杂度。)

Flink 是一个针对流数据和批数据的分布式处理引擎。它主要是由 Java 代码实现。目前主要还是依靠开源社区的贡献而发展。对 Flink 而言，其所要处理的主要场景就是流数据，批数据只是流数据的一个极限特例而已。再换句话说，Flink

IPFS 是分布式文件系统，寻求连接所有计算机设备的相同文件系统。在某些方面，这很类似于原始的 Web 目标，但是 IPFS 最终会更像单个比特流群交换的 git 对象。 IPFS 云成为一个新的

Apache Ignite内存数据组织是高性能的、集成化的以及分布式的内存平台，他可以实时地在大数据集中执行事务和计算，和传统的基于磁盘或者闪存的技术相比，性能有数量级的提升。 特性一览 可以