分布式多爬虫系统——架构设计 经验

时间而可惜的(虽然事实上我个人会不时地远程查看爬虫状态)。 分布式。多网站抓取,数据量一般也比较大,可分布式扩展,这也是必需的功能了。分布式,需要注意做好消息队列,做好多结点统一去重。 爬虫优化。这就

AliLavallee 2017-02-12   30425   0

优步分布式追踪技术再度精进 经验

对于希望监视复杂的 微服务架构 系统的组织,分布式追踪正在快速成为一种不可或缺的工具。Uber工程团队的开源分布式追踪系统 Jaeger 自2016年起,在公司内部实现了大范围的运用,已经集成于数百个

分布式缓存技术PK:选择Redis还是Memcached? 经验

总的来看,Redis比Memcached的功能多很多,实现也更复杂。 不过Memcached更专注于保存key-value数据(这已经能满足大多数使用场景了),而Redis提供更丰富的数据结构及其他的一些功能。

ifuj3819 2016-10-31   12528   0

Netty构建分布式消息队列实现原理浅析 经验

wrapper; } } 整个AvatarMQ消息队列系统的运行情况,可以参考: Netty构建分布式消息队列(AvatarMQ)设计指南之架构篇 ,里面说的很详细了,本文就不具体演示了。 下图是

KianClemmon 2016-09-07   45795   0

分布式一致性算法Paxos 经验

Paxos是Lamport于1990年提出的一种基于消息传递而具有高度容错特性的分布式一致性算法.这个算法是分布式中最为重要的算法,Google Chubby的作者Mike Burrows说过这个世界上只有一种一致性算法

reacol 2017-04-17   21497   0

[译] 如何选择合适的分布式机器学习平台 经验

导读:机器学习和深度学习是近年技术的热点,面对众多的机器学习平台如何进行选择,这是一个很困扰的问题。本文对分布式机器学习(ML)平台中使用的设计方法进行了调查,并提出了未来的研究方向。 本文比较了机器学习平台设计方法和使用指南,是我和

MarWingfiel 2017-08-02   43924   0

基于 GlusterFS 实现 Docker 集群的分布式存储 经验

集群化的要求,因此需要引入分布式文件系统。目前开源的分布式文件系统有许多,例如 GFS,Ceph,HDFS,FastDFS,GlusterFS 等。GlusterFS 因其部署简单、扩展性强、高可用等特点,在分布式存储领域被广泛使用。本文主要介绍了如何利用

lucita 2017-03-30   29937   0

CoCoA:大规模机器学习的分布式优化通用框架 经验

-Efficient Distributed Optimization》提出了一种用于机器学习的分布式优化的通用框架 CoCoA。机器之心技术顾问 Yanchen Wang 对该研究进行了深度解读。 引言

cn710467 2017-08-27   34945   0

浅谈分布式服务协调技术 Zookeeper 经验

Google的三篇论文影响了很多很多人,也影响了很多很多系统。这三篇论文一直是分布式领域传阅的经典。根据MapReduce,于是我们有了Hadoop;根据GFS,于是我们有了HDFS;根据BigTab

分布式文档存储数据库 MongoDB 简介 资讯

MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。他支持的数据结构非常松散,是类似json的bjson格式,因此可以存储比较复杂的数据类型。 Mongo最大的特点是他支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且还支持对数据建立索引。

fmms 2011-08-09   23091   1
NOSQL  

分布式文档存储数据库 MongoDB 2.0.1 发布 资讯

MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。他支持的数据结构非常松散,是类似json的bjson格式,因此可以存储比较复杂的数据类型。 Mongo最大的特点是他支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且还支持对数据建立索引。

fmms 2011-10-24   13176   0
MongoDB  

分布式存储系统 dCache DSS 2.0.1 发布 资讯

dCache是一个分布式的存储解决方案。它组织多台电脑的存储,合并后可用于存储数据;最终用户只是看到了大量的存储空间。由于最终用户不必知道 哪台计算机上的数据存储,其数据可从一台计算机迁移到另一台没有

fmms 2011-11-15   5684   0

分布式版本控制,Fossil 1.22 发布 资讯

Fossil 是一个简单、高可靠性的分布式软件配置管理系统。值得关注的功能: 1. Bug跟踪和Wiki 2. Web接口 3. 自动同步 4. 支持 HTTP 接口 5. 嵌入式

fmms 2012-03-20   5364   0

分布式监控系统 ZABBIX 1.9.8 发布 资讯

zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。 zabbix能监视各种网络参数,保证服务器系统的安全运营;并提供柔软的通知机制以让系统管理员快速定位/解决存在的各种问题。

jopen 2011-11-26   8984   0

分布式监控系统,ZABBIX 2.0 RC1 发布 资讯

zabbix 是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。 zabbix能监视各种网络参数,保证服务器系统的安全运营;并提供柔软的通知机制以让系统管理员快速定位/解决存在的各种问题。

fmms 2012-03-13   16026   0

分布式系统编程,你到哪一级了? 资讯

介绍 当分布式系统编程成为你生活中的一部分时,你需要经历一段学习曲线。这篇文章描述了一下我当前在这个领域大致属于哪个层次,并希望能为你指出足够多的错误,从别人的错误中学习,从而使你能以最优的路径通

openkk 2012-06-05   21137   0

分布式K/V存储方案 Apache Cassandra 1.1.1 发布 资讯

Cassandra 是一套 开源分布式Key-Value存储系统 。它最初由Facebook开发,用于储存特别大的数据。 Facebook目前在使用此系统 。 主要特性: 分布式 基于column的结构化

openkk 2012-06-06   10506   0

分布式缓存系统 Xixibase 0.4 发布 资讯

Xixibase是一个高性能,跨平台的分布式缓存系统。Xixibase server 采用 C++ 实现,底层网络库采用的是Boost Asio。 Xixibase 主要特点: 1. 实现'Local

fmms 2011-11-14   10052   1

分布式事务管理器,LIXA 0.7.4 发布 资讯

LIXA (LIbre XA) 是一个事务管理器,实现了分布式事务处理 XA 规范和 TX(transaction demarcation) 规范。 LIXA 0.7.4 主要是修复了跟 MySQL

fmms 2012-03-31   8317   0

淘宝分布式消息中间件,Metaq 1.4.3 发布 资讯

淘宝开源消息中间件metaq今天发布了1.4.3版本,支持发送和订阅分离,可以细粒度地控制Broker或者某个Topic是否接收消息和接受订阅。服务端添加新选项acceptPublish和acceptSubscribe。

jopen 2012-06-04   13873   0
1 2 3 4 5 6 7 8 9 10