Python Web 爬虫汇总 经验

queue in Python using Redis & gevent. RQ - lightweight task queue manager based on redis simpleq - A simple

jopen 2015-11-12   60792   0

微店实时计算平台实践 经验

anMq,kafka,rocketMq,redis等,覆盖主流的输出。 4.        DataSource 开发,支持mysql,搜索引擎,redis等,主要为了支持实时数据过滤,补全等功能。

vbur3840 2017-01-12   26231   0

解读大型网站系统架构的演化 经验

以缓存海量的数据,并且扩展非常容易,在门户类网站中常常被使用,速度按理没有本地缓存快,常用的分布式缓存是Membercache、Redis。 四、使用集群改善应用服务器性能 应用服务器作为网站的入口,会承担大量的请求,我们往往通过

jopen 2014-12-03   26948   0
架构  

携程ELK日志分析平台深耕之路 经验

er),再输出到多种类型的目的地,这里我们送到Elasticsearch做索引和存储。 中间的Redis用作消息队列,使得架构的容错性更高,当ES故障或者下线维护的时候,日志可以缓存一段时间而不至于丢失。

qfkw0998 2016-03-01   60447   0

IM 去中心化概念模型与架构设计 经验

关于 Gossip 我是在新近的 NoSQL 数据库 Cassandra 上听说的,后来 Redis Cluster 也利用了该协议来实现无中心化集群架构。但 Gossip 协议可不是什么新东西,

ifetz 2016-08-11   10216   0

2013 年python 精华集锦 经验

这是一篇十分详细的介绍,如果你想了解pytest,不妨读读。 4. 实时Django使用Node.j和Redis 这篇文章介绍了使用Django, redis,  node.js.来创建一个实时应用的方式 5. Python

jopen 2014-01-25   49328   0

从Apache Kafka 重温文件高效读写 经验

数据,要让大家都冷静点。这个代价有点大,要尽量避免。在Redis2.8以前,Rewrite AOF就经常导致这个大面积阻塞,现在已经改为Redis每32Mb先主动flush()一下了。 详细的文章可以看:

me87re 2015-05-04   30426   0

京东三级列表页持续架构优化:Golang + Lua (OpenResty) 最佳实践 经验

JSS,是京东自研分布式文件存储系统; JIMDB,是京东自研KV存储系统,可当分布式Redis使用。 详解各个模块 * 质量分计算 由于每个分类的商品非常多,个别分类达千万量级的SKU,

li6532772 2016-11-22   26823   0

如何提升网站的性能? 经验

在应用服务器端,可以使用服务器本地缓存和分布式缓存,通过缓存在内存中的热点数据处理用户请求,加快请求处理过程,减轻数据库负载压力。(Redis, Memecache, JBoss Cache, Ehcache) 也可以通过异步操作将用

wpuj4315 2016-02-18   11058   0

C#异步Socket通信库:FastSocket 经验

FastSocket内置了命令行、二进制、thrift协议,基于此开发了Zookeeper, Redis, Thrift等c#异步客户端,接下来将会一一公开。 Requirements .Net 4

jopen 2014-09-08   70294   0

MongoDB分页查询的方法及性能 经验

自从上次Redis之后呢,算是对Nosql类型的产品有些入门了,这会换个方向,研究下真正的NoSql数据库——MongoDB。说起 MongoDB,确实是用完了之后颠覆了我的数据管和程序观。怎么说呢?

jopen 2014-12-02   33982   0

使用2-3法则设计分布式数据访问层 经验

Sharding等,主要完成数据的分库分表、读写分离等,本文的数据存储涵盖缓存、数据库、文件系统,现有的数据库DAL中间件、Redis客户端、 MC客户端将作为本文的水平维度的Adaptor,主要解决的问题: 数据访问在水平数据存储维度的一致性问题。

jopen 2015-02-09   23090   0

个人开发者的免费资源合集 经验

1 application free https://redislabs.com/redis-cloud - Redis as a Service (25 mb free) Stun servers (for

jopen 2015-03-31   30859   0
资源  

Lumen 初体验(二) 经验

编写,成功运行。之后,我使用该方式创建了两个具有完整功能的 Artisan 命令(一个是爬虫并和 MySQL 交互,另一个是和 Redis 交互),目前尚没有发现有任何问题。 入口文件、启动文件和配置文件 框架的入口文件是public/index

jopen 2015-06-15   75438   0

Rails Gem 汇总Awesome Rails Gem 经验

syntax for writing and deploying cron jobs. Resque - Redis-backed Ruby library for creating background jobs

jopen 2015-09-28   46637   0

大并发服务器架构 && 大型网站架构演变 经验

sql ---> (反 sql ) 主要存放非关系的数据, key/value 还有 Redis , memached 缓存等分布式开源软件。 这些软件是可以跨服务器的,但是如果部署在应用服务

yqhao 2016-01-30   31944   0

计算机开放电子书汇总 经验

Native 中文文档 在线阅读 PDF格式 EPUB格式 Redis 中文文档 在线阅读 PDF格式 EPUB格式 MOBI格式 redis 设计与实现 在线阅读 下载地址 Selenium 中文文档

飞龙 2016-03-16   121729   0

游戏平台的运维自动化扩展:故障自愈 经验

交代在哪儿装。 最后一个阶段就是服务化。服务化是指现在云平台所承载的东西。举个例子,搭一个redis集群,用户不需要知道服务器有多少个,因为所提供的NOSQL服务打开后,用户就可以直接使用了。

HilMariano 2016-11-26   29488   0

大型网站系统架构演化之路 经验

以缓存海量的数据,并且扩展非常容易,在门户类网站中常常被使用,速度按理没有本地缓存快,常用的分布式缓存是Memcached、Redis。 四、使用集群改善应用服务器性能 应用服务器作为网站的入口,会承担大量的请求,我们往往通过

jopen 2014-09-27   19023   0

Maven解读:项目依赖管理如何优化 经验

是一个示例, 未优化前的项目配置 模块A redis.clients jedis

fn67 2015-03-21   45558   0
1 2 3 4 5 6 7 8 9 10