webmagic是一个开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发。webmagic的核心非常简单，但是覆盖爬虫的整个流程，也是很好的学习爬虫开发的材料。作者曾经在前公司进行过一年的垂直爬虫的开发

jcrawl是一款小巧性能优良的的web爬虫,它可以从网页抓取各种类型的文件,基于用户定义的符号,比如email,qq. 项目主页： http://www.open-open.com/li

("=" * 70, NUM) #else: # print "Not Find" 总结一下：爬虫实现的原理就是通过对其网页内容规律的观察，然后分离出包含我们感兴趣的html代码块，然后用正则表达

如果你对scrapy第一次听说，并且还有点兴趣学习的话，可以先登录官网 http://scrapy.org/ 基本浏览一下，然后可以按照一面的步骤来完成环境的搭建。

使用Spynner你可以模拟一个Web浏览器，没有图形用户界面，可以完成加载页面、触发事件、填写表单等操作。 。因此它可以被用来实现爬虫或验收测试工具。 项目主页： http://www.open-open.com/lib

前言 大家在平时或多或少地都会有编写网络爬虫的需求。一般来说，编写爬虫的首选自然非python莫属，除此之外，java等语言也是不错的选择。选择上述语言的原因不仅仅在于它们均有非常不错的网络请求库

Read the Docs上 直接可以看到。欢迎Issues or PR。 示例 - 一个并发网络爬虫 Tornado的 tornado.queues 模块实现了异步生产者/消费者模式的协程, 类似于通过Python

import java.io.IOException; import java.util.LinkedList; import java.util.List; import java.util.Queue; import java.util.regex.Matcher; import java.util.regex.Pattern; import org.jsoup.Jsoup; import o

程序大概内容如下： 程序中设置两个队列分别为queue负责存放网址，out_queue负责存放网页的源代码。 ThreadUrl线程负责将队列queue中网址的源代码urlopen，存放到out_queue队列中。 DatamineThread线程负责使用BeautifulSoup模块从out_queue网页的源代码中提取出想要的内容并输出。 这只是一个基本的框架，可以根据需求继续扩展。 程序中有

网站反爬虫策略浅析 今天路上时间有点长，路上看了一篇robbin一篇很早的博客，觉得不错，扩展了视野，总结一把，顺便转载呵呵。 防止爬虫干扰正常访问的方法： 1、监控TCP连接（netstat查看80的端口），这个比较常用；

PhpDig是一个采用PHP开发的Web爬虫和搜索引擎。通过 对动态和静态页面进行索引建立一个词汇表。当搜索查询时，它将按一定的排序规则显示包含关 键字的搜索结果页面。PhpDig包含一个模板系统并能够索引PDF

larbin是个基于C++的web爬虫工具，拥有易于操作的界面，不过只能跑在LINUX下，在一台普通PC下larbin每天可以爬5百万个页面(当然啦，需要拥有良好的网络) 简介 Larbin是一种开源的网络爬虫/网络蜘蛛，由法国的年轻人

Python爬虫之正则表达式 PK Pyquery：抓取的目标网页：http://ypk.39.net/2017019/manual 主要抓取内容为药品说明书内容 下面先给出正则表达式...

CrawlScript 基于JAVA的网络爬虫脚本语言，可以直接使用或用JAVA二次开发。 网络爬虫即自动获取网页信息的一种程序，有很多JAVA、C++的网络爬虫类库，但是在这些类库的基础上开发十分

Crawler4j是一个开源的Java Web爬虫，提供一个用于抓取Web页面的简单接口。您可以在5分钟内建立一个多线程的网络爬虫！ 示例代码： import java.util.ArrayList;

生成项目scrapy提供一个工具来生成项目，生成的项目中预置了一些文件，用户需要在这些文件中添加自己的代码。打开命令行，执行：scrapy st...

最近业余在做一个基于.NET Core的搜索项目，奈何基层代码写好了，没有看起来很华丽的数据供测试。很巧的也是博客搜索，于是乎想到了博客园。C#也能做做页面数据抓取的，不过在博客园看到的大部分都是python实现，所以就临时想了一下看看python到底是什么东东，不看基础语法，不看语言功能，直接上代码，哪里不会搜哪里。

看这篇文章前推荐阅读相关的如下文章： 使用API登录知乎并获得token 知乎Live全文搜索之模型设计和爬虫实现 知乎Live全文搜索之模型接口 抓取话题信息 给新增的Topic提供数据。在pa

本文全面的介绍了爬虫的原理、技术现状、以及目前仍面临的问题。如果你没接触过爬虫，本文很适合你，如果你是一名资深的虫师，那么文末的彩蛋你可能感兴趣。 需求 万维网上有着无数的网页，包含着海量的信息，

Pholcus（幽灵蛛）是一款纯Go语言编写的重量级爬虫软件，清新的GUI界面，优雅的爬虫规则、可控的高并发、任意的批量任务、多种输出方式、大量Demo，支持横纵向两种抓取模式，支持模拟登录和任务取消等，并且考虑了支持分布式布局。 框架模块