Java爬虫 :WebLech URL Spider 经验

WebLech URL Spider是一个功能强大的Web站点下载与镜像工具。它支持按功能需求来下载web站点并能够尽可能模仿标准Web浏览器的行为。WebLech有一个功能控制台并采用多线程操作。

jopen 2012-10-10   25657   0

Java分布式爬去:spider 经验

spider 使用java+httpclient+httpcleaner,多线程、分布式爬去电商网站商品信息,数据存储在hbase上,并使用solr对商品建立索引,使用redis队列存储一个共享的

jopen 2016-01-11   11930   0

J2EE Spider 开源项目

J2EE Spider是一个开源代码生成插件。它能够以界面引导方式产生代码,定制代码生成模板。J2EE Spider当前能够生成基于Struts/JSF,Spring,Hibernate等框架的源代码。

码头工人 2019-01-17   766   0

Spider Computer:未来的便携式电脑 资讯

一直都有非常多的忠实粉丝,他们的产品非常绚非常酷,这次他们设计的概念产品 Spider Computer 也不例外。 Spider Computer 是一个小巧便携的电脑,它采用了云存储技术把所有的数

fmms 2012-03-27   6535   0
电脑  

移植 spider 到 MySQL 5.6 资讯

MariaDB 中自带了很多 MySQL 中没有的插件。我对其中的 spider 存储引擎很有兴趣。这个引擎可以让 MySQL 作为一个 proxy ,来实现 sharding、高可用等功能。这些功能已经有一些产品实现了,比如

jopen 2015-08-17   11197   0
spider  

爬虫框架:go_spider 经验

方便使用者重新实现子模块,进而构建自己垂直方方向的爬虫。 本项目将爬虫的各个功能流程区分成Spider模块(主控),Downloader模块(下载器),PageProcesser模块(页面分析),

jopen 2015-01-10   41021   0

Python下开源爬虫(spider)框架scrapy的使用 经验

开始,Scheduler 会将其交给 Downloader 进行下载,下载之后会交给 Spider 进行分析,Spider 分析出来的结果有两种:一种是需要进一步抓取的链接,例如之前分析的“下一页”的链接,这些东西会被传回

jopen 2014-02-25   166581   0

基于gevent和多线程模型的爬虫:Vulcan Spider 经验

max_url_num : 最大收集URL数量 internal_timeout : 内部调用超时时间 spider_timeout : 爬虫超时时间 crawler_mode : 爬取器模型(0:多线程模型,1:gevent模型)

jopen 2014-02-07   39101   0

p2pspider - DHT Crawler + BT Client = P2P Spider 经验

p2pspider - DHT Crawler + BT Client = P2P Spider

jopen 2016-02-29   41104   0

一个可配置的,可扩展的PHP网页蜘蛛:PHP-Spider 经验

PHP-Spider是一个可配置的,可扩展的PHP网页蜘蛛。 PHP-Spider Features supports two traversal algorithms: breadth-first and

jopen 2014-05-04   15477   0
P

Java入门(Java Gossip) 文档

在介绍的Java时,要对新手解释第一个程式格外的困难,因为一个最简单的爪哇程式就包括了档案管理,类别,主程式,命令列索引等要解释,我很想对您说,反正一个基本程式就这么写就对了,但想了一下这也不对,还是一个一个说明,如果您暂时无法理解,不用担心,目前只是一些观念还用不到而已,可以先跳过,以后会再一一见到应用的。

hb0308513 2011-01-12   4308   0
Java开发   Java   Go  
P150

  Java核心教程(Core Java) 文档

1. Core Java 2. 第一章:进入Java世界 3. 程序语言发展历程机器语言:二进制机器代码,不便理解,不好记忆,与硬件平台相关,不具有可移植性。 汇编语言:用助记符号来描述,与机器代码一一对应,能够理解,但同样不可移植。

taoxiaoyin 2011-11-08   906   0
Java开发   HTML   C/C++   Go   Basic  
P35

  java讲义-----java类集 文档

类集简单来讲就是一个动态的对象数组,此对象数组可以改变大小,可以任意的实现对象的增加、删除、输出。所有的类集存放java.util包中。 (2)类集的划分 1、存放单值:Collection 2、存放一对值:Map 3、输出:Iterator

fengzaonan 2012-07-11   2368   0

Wordpress 的Java接口 - Wordpress Java 经验

Wordpress Java 是一个小型的 Java 库,用来通过 Wordpress 的 XMLRPC 接口与 WordPress 进行交互。 项目主页: http://www.open-open

openkk 2012-04-10   55150   0

java 博客

java  studying!

小嗝嗝 2011-05-16   454   0

JAVA 博客

import java.io.File; import java.awt.image.BufferedImage; import javax.imageio.ImageIO; public class

crashwall 2010-12-25   1687   0
B2C  
P11

  java核心,java内存分配原理,java多态 文档

· 深入Java核心 Java内存分配原理精讲(1) 栈、堆、常量池虽同属Java内存分配时操作的区域,但其适用范围和功用却大不相同。本文将深入Java核心,详细讲解Java内存分配方面的知识。 J

linyk 2016-01-13   371   0

如何评价你的Java/Java EE技能 资讯

英文原文: Hi there . . ! How would you rate your Java/Java EE skills? To know,is to know that you know

jopen 2014-04-29   24923   0
Java  

Java总结篇系列:Java泛型 经验

ger类型的值或其他编码原因,很容易出现类似于//1中的错误。因为编译阶段正常,而运行时会出现“java.lang.ClassCastException”异常。因此,导致此类错误编码过程中不易发现。

go7148 2017-09-14   34382   0

Java NIO的通讯组件:Gecko-Java 经验

Gecko是一个Java NIO的通讯组件,它在一个轻量级的NIO框架的基础上提供了更高层次的封装和功能。支持的RPC调用方式包括RR(request-response)和pipeline 特性:

jopen 2014-07-20   13620   0
1 2 3 4 5 6 7 8 9 10