腾讯分析系统架构解析 经验

ESA:Event Streaming Aggregator,主要负责汇总ESP计算后的数据按照站点,并写入到Redis。 Center:系统的中心节点,负责系统配置、数据路由管理,并承担容灾切换功能。 Logser

jopen 2014-12-01   29639   0
架构  

类爆炸之 Bridge 模式 经验

可以,队列用什么实现呢?" "关于队列,这次需要你支持两种方式:一种是redis、一种是mq" "也就是说我既支持往redis队列里面push数据,也支持往mq里push数据?" "是的,就是这样,这块你好好设计下吧!"

allen_java 2017-04-13   30526   0

腾讯分析系统架构解析 经验

ESA:Event Streaming Aggregator,主要负责汇总ESP计算后的数据按照站点,并写入到Redis。 Center:系统的中心节点,负责系统配置、数据路由管理,并承担容灾切换功能。 Lo

jopen 2015-10-25   23115   0

异步任务神器 Celery 简明笔记 经验

实现异步任务的工具有很多,其原理都是使用一个任务队列,比如使用 redis生产消费模型或者发布订阅模式实现一个简单的消息队列 。 除了redis,还可以使用另外一个神器---Celery。Celery是

jopen 2016-01-14   19626   0

日邮件发送量千万级,谈京东的EDM平台优化之路 经验

功能,发送节点只能调节自己的发送策略,不利于发送策略的批量调整。 生产平台和发送平台间使用Redis队列传递邮件任务。设计期间考虑过MQ,Kafka类组件,没有使用的原因是以上组件对于传递邮件的任

jjxg6932 2016-10-11   11759   0

数据库连接池php-cp介绍 经验

性能更高,减少了一次网络传输,它通过高效的ipc方式和php进程通信,并且避免了协议解析的消耗。 3.同时支持redis和mysql,不需要部署2套单独的中间件系统。 二.简单原理图: 三。 技术特性 1

jopen 2015-01-22   152016   0

Gif 动画转:ASCII gif2txt 经验

大家都知道 Redis 是单线程的。对 Redis内行 的人会告诉你,Redis 其实也不完全是单线程的,因为还有一些线程在处理特定的慢的磁盘操作。到目前为止,这些线程里的操作都集中在 I/O 上,以至于这些线程用到的库被称为

jopen 2015-10-04   7200   0

异步任务神器 Celery 简明笔记 · FunHacks 经验

接收任务生产者发来的消息(即任务),将任务存入队列 。Celery 本身不提供队列服务,官方推荐使用 RabbitMQ 和 Redis 等。 任务执行单元 WorkerWorker 是执行任务的处理单元, 它实时监控消息队列,获取队列中调度的任务,并执行它

ncpn3580 2016-12-19   11455   0

异步任务神器 Celery 简明笔记 经验

),将任务存入队列**。Celery 本身不提供队列服务,官方推荐使用 RabbitMQ 和 Redis 等。 任务执行单元 Worker Worker 是执行任务的处理单元,**它实时监控消息队

benny_45 2016-12-13   13908   0
Redis   Celery  

完全用nosql轻松打造千万级数据量的微博系统 经验

在publish的时候,集群只是把微博信息的ID发送给redis的订阅者。所以这个数据是很快的。而且订阅者的list里只保存的是ID.在内存的占 用率上也不是很高. 下面我给大家看一下我的mysql和redis数据结构

fmms 2012-01-13   56859   0

spring与jedis整合配置 经验

引入 jedis 的jar包 < dependency > < groupId > redis . clients < / groupId > <

jopen 2015-11-09   18888   0

thorns_project 分布式异步队列系统 经验

控制台进行任务调度下发至redis队列系统,worker客户端从redis队列系统获取任务给wyportmap执行,将结果存入后台数据库。 运行流程 启动redis内存服务器,作为队列存储数据库使用

jopen 2015-02-06   20093   0

高效的缓存管理解决方案-AutoLoadCache 经验

)和“拿来主义”机制,能非常巧妙地解决系统的性能及并发问题。 现在使用的缓存技术很多,比如Redis、 Memcache 、 EhCache等,甚至还有使用ConcurrentHashMap 或 HashTable

pmqd7084 2016-04-15   81879   0

秒杀抢购思路以及高并发下数据安全 经验

过Apache自带的abench来测试一下,取一个合适的值。然后,我们选择内存操作级别的存储的Redis,在高并发的状态下,存储的响应时间至关重要。网络带宽虽然也是一个因素,不过,这种请求数据包一般比

KatSturdiva 2016-12-31   14254   0

Kafka实战-数据持久化 经验

我们选择的是Redis+MySQL进行存储,下面用一张图来展示这个持久化的流程,如下图所示: 从途中可以看出,实时计算的部分由Storm集群去完成,然后将计算的结果输出到Redis和MySQL

f627 2015-07-16   35889   0

深入Jedis 经验

me/2016/2/深入Jedis/ RESP(REdis Serialization Protocol)是redis server与redis client的通信协议。 TCP Port 6379

huangy 2016-02-19   14243   0

Docker在PHP项目开发环境中的应用 经验

数据库:MySQL 搜索引擎:ElasticSearch 队列服务:Gearman 缓存服务:Redis + Memcache 前端构建工具:npm + bower + gulp PHP CLI工具:Composer

jopen 2015-06-30   112376   0
Docker  

携程实时用户行为系统实践 经验

推荐系统,也有的是输出到前台,比如浏览历史。系统实现采用的是Java+Kafka+Storm+Redis+Mysql+Tomcat+Spring的技术栈。 Java :目前公司内部Java化的氛围

guananfang 2017-04-13   31000   0

强大的 C# 组件库:IKendeLib 经验

Beetle,Beetle Express,SN Service,Peanut,Beetle Redis,KFilter 组件。 Beetle 是基于c#编写的高性能稳定的TCP通讯组件,它可以轻

jopen 2014-01-15   33812   0

Linux下常用轻量级队列服务比较 经验

linux下的消息队列服务有 Linux IPC、MemcacheQ、Redis,这三种服务各自有什么优缺点呢?看看下面的文章吧。 Linux IPC : IPC进程间通信(Inter-Process

jopen 2014-03-27   15933   0
1 2 3 4 5 6 7 8 9 10