Kafka技术内幕-日志压缩 经验

是否需要Compaction ZooKeeper log snapshot 不需要,因为数据量不大 Redis aof rdb 不需要,因为是内存数据库 Cassandra commit log data.db

szz314159 2016-05-24   56223   0

从单体架构迁移到微服务,8个关键的思考、实践和经验 经验

中间件? 刘相 :对于现有中间件,套用Gartner流行的一个词“双模”,比如MySQL、Redis等中间件适合作为微服务独立出现;对于大块头Oracle、DB2数据库或者诸如Queue的产品,不

DrumGod 2016-08-11   81047   0

利用 ELK系统分析Nginx日志并对数据进行可视化展示 经验

Input:数据的输入源也支持多种插件,如elk官网的beats、file、graphite、http、kafka、redis、exec等等等、、、 Output:数据的输出目的也支持多种插件,如本文的elastics

dkrt7160 2016-09-12   116493   0

技改之路:从单块应用到微服务,我的血泪总结 经验

握地图,你怎知站对了位置! 3、中间件构建 我们构建的中间件有: job / redis / center Log /业务监控 metrics / dashboad /调试工具 windbg

pnia4308 2016-08-31   58543   0

[原]Spring boot(2)-配置详解 经验

ation,\ org.springframework.boot.autoconfigure.redis.RedisAutoConfiguration,\ org.springframework.boot

hacy9104 2016-08-19   30083   0

全栈必备:MySQL性能调优 经验

0,并利用其他方法加速查询:优化索引、增加拷贝分散负载或者启用额外的缓存(比如memcache或redis)。如果已经启用了query cache并且还没有发现任何问题,query cache可能有用。如果想停用它,那就得小心了。

yueliu0920 2016-11-02   11448   0

苏宁11.11:苏宁易购移动端的架构优化实践 经验

Ticket的会话恢复技术,对同一个用户,在多个连接间共享协商后的安全密钥。并将Session信息缓存到Redis中,通过一台中心服务器统一管理,解决了集群情况下Session ID无法共享的问题。 (3)基于证书和加密套件的优化

Jac76J 2016-11-12   11135   0

基于 Spark 的用户行为路径分析的产品化实践 经验

只使用filter算子就可以得到结果,今天就不多赘述了。 数据请求: 前端的请求会通过Redis的订阅和发布机制告诉Spark提交相应的任务到集群。 下面是诸葛用户行为路径的demo数据

AbeAntle 2016-11-30   13813   0

Docker容器监控系统初探 经验

据,而且只是针对单物理机。不过,CAdvisor提供了很多数据集成接口,支持InfluxDB,Redis,Kafka,Elasticsearch等集成,可以加上对应配置将监控数据发往这些数据库存储起来。

AugustSanta 2017-09-13   35593   0
Docker  

滴滴出行海量数据背后的高可用架构 经验

如下图,是早期的滴滴系统架构,router 接受层,到 inrouter 上层,中间有引入代码。下面是 Redis,本身是个代理。 早期的滴滴系统架构 这里存在的问题: 上下游依赖硬编码在代码里;

zzxx11 2017-05-22   32032   0

raft源码分析 经验

2、重建日志条目,会调用apply函数,对日志进行处理,这个函数相当于"状态机"功能;如果有快照(相当于Redis 的RDB),先将安装快照,再恢复日志(相当于Redis 的aof) func (l *raftLog)recover(r io

hjc987 2017-09-11   32714   0

消息队列设计精要 经验

好。因为消息队列的RPC,和普通的RPC没有本质区别。当然了,自主利用Memchached或者Redis协议重新写一套RPC框架并非不可(如MetaQ使用了自己封装的Gecko NIO框架,卡夫卡也用

lzy_168 2016-07-02   34617   0

No-SQL数据库中的事务性设计—VLCP中的ObjectDB简要介绍 经验

问题都统一到了同一组数据库风格的接口上,同时,它可以对下对接实现了相应接口的任意存储(目前支持Redis和ZooKeeper),只需要实现相对简单的一组无状态接口即可。 VLCP是一个开源的基于协程模型的异步IO框架,

etfilm 2016-11-18   9090   0
SQL  

关于Python的面试题 经验

分页与分段的主要区别 8 页面置换算法 9 边沿触发和水平触发 数据库 1 事务 2 数据库索引 3 Redis原理 4 乐观锁和悲观锁 5 MVCC 6 MyISAM和InnoDB 网络 1 三次握手 2 四次挥手

MitchelMurr 2016-01-24   90307   0

NoSQL数据库的分布式算法 经验

够监控到每一条记录,包括MongoDB, Oracle Coherence, 和还在开发中的 Redis Cluster 在内的许多系统仍然使用的是自动均衡技术。也即,将数据分片并把每个数据分片作为迁

jopen 2012-11-09   37342   0
算法   NOSQL  

NoSQL数据库的分布式算法 经验

够监控到每一条记录,包括MongoDB, Oracle Coherence, 和还在开发中的 Redis Cluster 在内的许多系统仍然使用的是自动均衡技术。也即,将数据分片并把每个数据分片作为迁

jopen 2014-12-25   29198   0
算法   NOSQL  

分布式数据库模式与反模式 经验

你在开源社区里面能用到的组件越来越多,业务越来越复杂,你会发现,像缓存有一个单独的软件,比如 redis,队列又有很多可以选择的,比如说  zeromq, rabbitmq, celery 各种各样的队列;数据库有

MingTian 2016-10-09   6846   0

深入解析NoSQL数据库的分布式算法 经验

够监控到每一条记录,包括MongoDB, Oracle Coherence, 和还在开发中的 Redis Cluster 在内的许多系统仍然使用的是自动均衡技术。也即,将数据分片并把每个数据分片作为迁

jopen 2015-02-04   26613   0

用于统一开发和部署的轻量级 Linux 容器:Docker 经验

,并且依赖其他服务和应用。比如,你的Python应用可能使用Postgre所为一个数据存储,用Redis缓存以及使用Apache作web服务器。每个这些组件都附带自身的一些依赖,这些依赖可能与其他组件

jopen 2014-06-24   77925   0

基于 React Native 的 58 同城 App 开发实践 经验

业务层代码编译 link 成 JSBundle 文件,并将相关更新写到一个数据缓存中心(例如 Redis 或 Memcached)。当 Native 通过 JSBundle 数据接口层提供的接口获取对应的

lcu_meng 2016-10-11   7528   0
1 2 3 4 5 6 7 8 9 10