给Java开发者的10个大数据工具和框架 经验

熟悉MySQL的朋友来说,操作会很容易上手。 4、Redis ——开源(BSD许可)内存数据结构存储,用作数据库,缓存和消息代理。Redis是一个开源的使用ANSI C语言编写的、支持网络、可基于

fkol7746 2017-05-16   44594   0

FalconEngine - 一个 Go 语言实现的简单搜索引擎 经验

库的,大家可以根据需要进行二次开发,用来支持其他数据库或者本地文件,Detail文件是存储在 Redis数据库中,同样这部分也可以根据自己的需要二次开发,使用本地文件或者其他数据库,倒排索引和正排索引

jopen 2015-07-27   11057   0

几个大型网站的Feeds(Timeline)设计简单对比 经验

,还有rank影响排序…内存的B树排序结构,可以预测性的合并到文件。可能开源)。还大量使用了 Redis 和Google开发的开源持久化KV存储: LevelDB 。 Feeds相对于Timeli

ygfb 2015-12-07   42067   0
网站  

基于领域驱动的Java开发工具包Common项目分享 经验

例如:缓存的实现可以有Redis、Memecached等,那我做的是提供统一的Api接口,供开发者调用,开发者只需要引用相应的依赖和在Spring配置文件中设置使用哪一个扩展点,比如使用Redis,那只需要将R

jopen 2016-01-10   21816   0

如何提升缓存命中率 经验

如图:MemAdmin对memcached服务的命中率情况的监控统计 同理,在redis中可以运行info命令查看redis服务的状态信息,其中keyspace_hits为总的命中中次数,keyspac

qukb4851 2016-11-30   17594   0

一篇文章让你读懂Docker 经验

/usr... HOSTNAME=6f2c42c05500 REDIS_1_PORT=tcp://172.17.0.9:6379 REDIS_1_PORT_6379_TCP=tcp://172.17.0

dwd4 2015-04-01   46900   0
Docker  

两年内从零到每月十亿 PV 的发展来谈 Pinterest 的架构设计 经验

MySQL 数据库 (cc2.8xlarge) ,并且每台 DB 有一个备份服务器,110 台 Redis 实例服务(Redis Instance),200 台 Memcache 实例服务(Memcache  Instance)。

jopen 2013-04-20   47543   0

Java基础框架,通用功能封装:springmore 经验

封装一般工具类如FileUtil,DateUtil,StringUtil,FTPUtil等 封装复杂组件,如redis,mina,netty 欢迎加入springmore讨论qq群:261502547 个人QQ:

y35w 2015-07-09   48164   0

每天近百亿条用户数据,携程大数据高并发应用架构涅槃 经验

这里说明一下, 在线和后台应用使用的ElasticSearch和Hbase集群是分开的,互不影响。 Redis 支持在线服务的高速缓存,用于缓存统计分析出来的热点数据。 四,推荐系统案例 介绍完我们应用系统的整体构成,

每天TB级数据处理,携程大数据高并发应用架构涅槃 经验

这里说明一下, 在线和后台应用使用的ElasticSearch和Hbase集群是分开的,互不影响。 Redis 支持在线服务的高速缓存,用于缓存统计分析出来的热点数据。 四,推荐系统案例 介绍完我们应用系统的整体构成,

基于Docker开发的PaaS平台:DINP 经验

f. Server同时会分析real state,组织出路由信息写入redis g. Router定期从redis中获取路由信息 h. Router通常部署多个,前面部署LVS,注册一个域名,比如apps

jopen 2015-02-09   81044   0
DINP   Docker  

用 Celery 实现邮件推送系统 经验

进行异常处理,此处我们将所有 task 的执行情况放入 redis 中,给每个任务进行标记,如果成功则标记为 1,失败则 0. 前端可以通过 ajax 调用 pushstatus 来向 redis 中读取任务执行情况,此处我们返回了成功和失败任务的个数。

jopen 2015-09-08   22758   0
Celery  

如何在Swift中调用C库(完结篇) 经验

使用Homebrew来安装: brew install redis hiredis 然后使用下面命令运行redisredis-server /usr/local/etc/redis.conf 修改hiredis-bridge

jopen 2016-01-05   8416   0

quickdb 另辟捷径高效解决NOSQL数据库 数据持久性问题 经验

目前的NOSQL主要分为两种,一种是基于内存型的如redis、memcached,一种是基于磁盘型的如Tokyo Tyrant、Tokyo Cabinet、Berkeley DB。 redis、memcached这类内存

fmms 2012-01-13   21979   0

nginx负载均衡实现tomcat集群方案简要小结 经验

。实际项目中,我们采用过利用redis实现session存储,redis 高效的存取性能为高效的访问提供了保障,但是目前redis的集群功能似乎没有发布,如何解决redis的单点故障需要研究。

jopen 2015-03-13   19199   0

亿级用户下的新浪微博平台架构 经验

务,它们除了本身的业务逻辑,还依赖短链、用户及发号器服务。 资源层主要是数据模型的存储,包含通用的缓存资源Redis和Memcached,以及持久化数据库存储MySQL、HBase,或者分布式文件系统TFS以及Sina

jopen 2015-01-20   40751   0

kubernetes集群部署 经验

8-fa163e8b5289 dockerfile/redis 10.180.64.9/ name=redisRunning 这里的redis你就当没看见,如果刚创建的集群这个时候是没有pod的,

jopen 2015-12-29   21419   0

给公司部门设计的SOA架构 经验

Protobuffer、Json。 数据交换: 优先通过数据服务接口,其次SSIS、Job。 基础平台: 缓存Redis,队列RabbitMq等。依赖抽象,框架可替换。 DB层: 每个子系统拥有自己的子DB,原则上不能跨库读其他的。

jopen 2015-03-09   36196   0

亿级Web系统搭建——单机到分布式集群 经验

增加了代理服务器的负担。 2. 将session这类的信息,专门用某个独立服务来存储,例如redis/memchache,这个方案是比较推荐的。 反向代理服务,也是可以开启缓存的,如果开启了,

jopen 2014-12-16   24263   0

SeimiCrawler一个敏捷强大的Java爬虫框架 — SeimiCrawler 0.2.6 文档 经验

指定当前这个爬虫要使用的数据队列,默认的是本地队列实现 DefaultLocalQueue.class ,也可以配置使用默认的redis版实现或是自行基于其他队列系统的实现,这个后面会进行更为详细的介绍。 delay 设置请求抓取的时间间隔单位为秒

jopen 2016-01-14   39785   0
1 2 3 4 5 6 7 8 9 10