纯Go语言编写的重量级爬虫软件:Pholcus(幽灵蛛) 经验

I界面,优雅的爬虫规则、可控的高并发、任意的批量任务、多种输出方式、大量Demo,支持横纵向两种抓取模式,支持模拟登录和任务取消等,并且考虑了支持分布式布局。 框架模块 框架特点 Pholcu

jopen 2015-06-21   64198   0
P16

  J2EE集群原理 文档

那么,哪些对象可以被集群呢,答案是:“可以被部署在分布式拓扑的组件 ” 因此,负载均衡和失败接管会发生在哪些 J2EE代码中呢?“仅当你调用分布式对象的方法时 ” 图四:分布式对象 客户端和目标服务器不在一个 JV

lujia35 2011-08-30   3505   0
P23

  Mysql 性能优化教程v4 文档

架构优化 17 架构优化目标 17 防止单点隐患 17 方便系统扩容 17 安全可控,成本可控 17 分布式方案 18 分库&拆表方案 18 反范式设计(冗余结构设计) 20 主从架构 21 故障转移处理 22

microlitao 2015-05-05   2008   0
P23

  Mysql 性能优化教程 文档

架构优化 17 架构优化目标 17 防止单点隐患 17 方便系统扩容 17 安全可控,成本可控 17 分布式方案 18 分库&拆表方案 18 反范式设计(冗余结构设计) 20 主从架构 21 故障转移处理 22

xcy2 2015-08-31   2023   0

Activiti 5.11发布,Java工作流引擎 资讯

HistoricVariableInstanceQuery 。 运行时变量删除 :允许通过API方式删除流程实例或者任务的相关变量,调用方式:runtimeService.removeVariable('foo')

jopen 2012-12-06   33813   0

ASP.NET 5计划发布三个新的Beta版本 资讯

Environment,DNX)的支持,此外还包括对“响应的缓冲与缓存”方面的改进,并支持通过SQL Server实现分布式缓存。 Beta 7 —— 2015年8月24日 今年8月,我们将迎来倒数第二个beta版

jopen 2015-07-22   6550   0
ASP.NET  

开源游戏服务器引擎:Scut 经验

降低对数据库的依赖,哪怕数据库网络短期中断也不会形成脏读; 服务器内存和CPU占用低,对象在一定时间内(24小时)未登陆将会被交换至数据库,并从内存卸下,节省内存利用率(16核服务器,20个游服平均CPU低于10%,峰值低于30%)

jopen 2013-11-27   38465   0
P40

  Java与云计算 文档

1云计算的含义云计算(Cloud Computing)是并行计算(Parallel Computing)、分布式计算(Distributed Computing)和网格计算(Grid Computing)的发展

gs11002233 2011-07-15   512   0
P40

  Java与云计算 文档

1云计算的含义云计算(Cloud Computing)是并行计算(Parallel Computing)、分布式计算(Distributed Computing)和网格计算(Grid Computing)的发展

170818054 2014-05-21   544   0
P24

  Hadoop 平台结构浅析 文档

1. Hadoop平台结构浅析什么是Hadoop? Hadoop是Apache下面的一个分布式并行计算框架,是从Lunece中抽取出来的一个框架。Hadoop的核心设计思想是MapReduce和HDFS

liu1122 2013-01-20   2848   0

Hadoop家族学习路线图 经验

Apache Hadoop : 是Apache开源组织的一个分布式计算开源框架,提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架构。 Apache Hive : 是基于H

jopen 2013-11-10   199151   0

Hadoop生态系统学习路线 经验

Apache Hadoop : 是Apache开源组织的一个分布式计算开源框架,提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架构。 Apache Hive : 是基于H

jopen 2014-10-29   43441   0

【Akka】Akka应用调研报告 经验

io/2016/02/01/Scala/【Akka】Akka应用调研报告/ Akka是什么 Akka由Scala语言编写的分布式应用框架,用于简化编写容错的、高可伸缩性的Java和Scala的Actor模型应用。它已经成功运用在电信行业。系统几乎不会宕机(高可用性

wyjqh 2016-02-01   25963   0

memcached 源码剖析注释 经验

一旦一个客户交给了一个线程, 它的余生就属于这个线程了! 线程只要被唤醒就立即进入工作状态, 将自己 CQ 队列的任务所有完完成. 当然, 每一个工作线程都有自己的 libevent 事件中心. 很关键的线索是 thread_init()

jopen 2013-12-23   19109   0

基于 Spark 的用户行为路径分析的产品化实践 经验

构化数据SQL查询与分析的查询引擎Spark SQL,提供机器学习功能的系统MLbase及底层的分布式机器学习库MLlib、并行图计算框架GraphX,流计算框架Spark Streaming。这些子

AbeAntle 2016-11-30   13813   0

Hive实战之日志分析 经验

的实践,业务不是关键,简要介绍业务场景,本次的任务是对搜索日志数据进行统计分析。 集团搜索刚上线不久,日志量并不大 。这些日志分布在 5 台前端机,按小时保存,并以小时为周期定时将上一小时产生的数据同步到日志分

jopen 2014-11-17   30553   0

Redis主从配置 经验

工具来实现,但相对较麻烦,需要编写 shell 脚本。 分布式存储 目前, Redis 本身并不支持集群功能, Redis 自身的集群功能还在研发中,官方预计在 3.0 版本中才会加入此功能。因此,在分布式集群方面目前只能通过客户端工具来实现一致性哈希分布存储,即

jopen 2015-06-19   21802   0

使用Python进行并发编程 经验

便的管理和控制线程。 远程分布式主机 (Distributed Node) 随着大数据时代的到临,摩尔定理在单机上似乎已经失去了效果,数据的计算和处理需要分布式的计算机网络来运行,程序并行的运

jopen 2015-03-21   59955   0
P28

  中国移动浙江公司IT系统总体设计规范(v1.2) 文档

网络隔离区 EJB Enterprise JavaBean java组件模型,设计目标与核心应用是部署分布式应用程序 ER图 Entity-Relation Diagram 实体关系图 ESOP Enterprise

shengpsary 2013-10-26   1101   0

Git 基础知识 经验

Git是一个分布式的版本控制工具,本篇文章从介绍Git开始,重点 在于介绍Git的基本命令和使用技巧,让你尝试使用Git的同时,体验到原来一个版本控制工具可以对开发产生如此之多的影响,文章分为两部分,第一部分介

fmms 2012-01-29   47554   0
1 2 3 4 5 6 7 8 9 10