如何设计一个复杂的分布式爬虫系统? 经验

服务(SOA架构),所有的服务都注册到Zookeeper来统一管理和便于线上扩展。模块之间通过thrift(或是protobuf,或是soup,或是json,等)协议来交互和通讯。 Zooke

BlaSidney 2016-09-29   37085   0

应用层的容错与分层设计 经验

独立的可适配的codec层,可以灵活增加HTTP,Memcache,Redis,MySQL/JDBC,Thrift等协议的支持。 将多年各种远程调用High availability的经验融入在实现中,如负载

jopen 2014-11-10   12511   0
设计  
P15

  Hive 文档 文档

reducer 无法完成的复杂的分析工作。 Hive 没有专门的数据格式。 Hive 可以很好的工作在 Thrift 之上,控制分隔符,也允许用户指定数据格式。 5. 2 Hive 体系结构主要分为以下几个部分:

vito2 2013-11-07   539   0

一个基于redis和disque实现的轻量级异步任务执行器 资讯

使用,请至少等到发布stable版本再使用。 自实现的 jedisque 连接池。目前jedisque的客户端还没有提供连接池机制,它跟redis的主流java client: jedis 出自同一个开发者手笔。考虑到

jopen 2015-08-29   27404   0
Redis  

SSI技术整合 博客

JAR 文件,其中的 Collections , Hibernate 也会用到。使用 DBCP 连接池时, Spring JDBC 支持要用到 DBCP , Pooling 则对有些示例应用不可或缺。如果想使用相应的

netloser 2010-11-10   5672   0

Redis Cluster架构优化 经验

原来Master结点的连接池没有处理 结点IP列表没有更新,极端情况下有问题 不知道这算不算Jedis由来已久的问题了。 因为之前Jedis就是只支持要么用分片连接池,要么用Sentinel连接池,没有两者的结合!

jopen 2015-09-26   39506   0
P70

  iBatis 开发详解 文档

J2EE容器提供DataSource的情况。它基于iBatis的SimpleDataSource连接池实现。 代码如下: 25. 26. 2. DbcpDataSourceFactory DbcpDa

wangwangui 2013-05-04   4946   0
iBATIS   持久层框架   C#   Java   SQL  
P37

  淘淘商城第七天笔记 文档

} 使用连接池: 传智播客 Java学院 传智.入云龙 //使用连接池 @Test public void testJedisPool() throws Exception { //创建一个连接池对象 //系统中应该是单例的。

zyingwu 2016-11-09   446   0
P31

  马士兵spring课堂笔记 文档

参考文档,找dbcp.BasicDataSource(dbcp database connect pour 数据库连接池) 第一种写法: com.mysql.jdbc.Driver jdbc:mysql://localhost:3306/mydb

huangcao 2015-04-27   497   0
P26

  JDBC课件(项目经理) 文档

6DataSource实现类主要方法 35 7.1.7DataSource使用例子 36 7.2连接池(Connection Pool) 36 7.2.1作用 36 7.2.2功能 37 7.3JNDI

疯中静思 2012-01-04   490   0

java操作mongoDB实现CURD 代码段

注意:connection.close();最后别忘记调用,另外 做过java的同学都知道连接池 以及释放回收链接问题。mongodb自动内部实现了连接池。不需要再考虑该问题,也可以自行实现设置。

efx4 2015-04-25   10093   0
MongoDB  
P11

  Java 数据库连接 文档

1. Java数据库连接JDBC概述1JDBC工作原理2JDBC编程3数据库连接池4 2. JDBC概述 JDBC(Java Data Base Connectivity) JDBC:Java DataBase

184690173 2013-10-29   534   0
JDBC   Java开发   方案   Java   SQL  

软件系统的稳定性 经验

close()语句没有执行,从而导致Connection资源未能及时释放。最终导致连接池中存放了大量未能及时释放的Connection资源,却不能得到使用,直到连接池满。当后续请求lookupByCity()时,就会在调用 connectionPool

jopen 2015-08-10   33480   0

全面解析windows下Memcache技术应用 经验

class MemcacheHelper { #region 全局静态对象 // 全局Socket连接池对象 private static SockIOPool sockIOPool; public static

jopen 2015-07-02   11178   0

通用的go语言对象池:Go Commons Pool 经验

commons pool 最主要的应用场景是各种连接池,当前Go下的各种缓存或数据库(比如redis/memcached)都自己实现了一个功能不太完备的连接池(比如缺少超时设置等),如果通过Go commons

大数据抽取工具,bboss v4.0.9 发布 资讯

轻量级ioc容器,ioc扩展属性配置语法 Bboss 持久层:高效 数据查询行处理器,灵活动态数据源管理(连接池数据源/非连接池数据源),表分区信息查询等,动态创建作业配置表和作业监控记录表 Bboss 分布式事件框架

jopen 2015-08-28   10387   0
bboss  

PostgREST:来自GitHub的PostgreSQL API 资讯

在单个命令行中进行Data post等计算尽可能的放到数据库中;通过重新使用准备的声明、保持db连接池、使用Postgres二进制协议以及保持无状态以允许水平扩展等利用 Hasql 库实现数据库的高效使用。

jopen 2015-07-27   9624   0

利用p6spy记录和分析jdbc sql日志 经验

p6spy的配置: 第一: p6spy.jar放入应用的classpath下 第二: 修改连接池或者连接配置的jdbc的驱动为p6spy所提供的驱动,com.p6spy.engine.spy.P6SpyDriver

jopen 2013-07-11   69500   0

MySql踩坑总结 经验

erColInfo #用户名 username=root #密码 password=root #连接池的最大数据库连接数。设为0表示无限制 maxActive=30 #最大空闲数,数据库连接的最大空闲时间。超过空闲时间,数据库连

20111121 2016-12-09   13129   0

Redis高可用架构的应用及改进经验谈 经验

推荐的处理方式:采用重试和黑名单机制,及时上线和下线故障节点,支持高可用。 驱动是否具有连接池功能 一般情况下,主流的语言,比如Java,PHP等等,驱动具有连接管理器的,支持连接复用。

TommieAlcal 2017-04-19   76545   0
1 2 3 4 5 6 7 8 9 10