SeimiCrawler是一个敏捷的，支持分布式的爬虫开发框架，希望能在最大程度上降低新手开发一个可用性高且性能不差的爬虫系统的门槛，以及提升开发爬虫系统的开发效率。在SeimiCrawler的世界里

XSScrapy是一个快速、直接的XSS漏洞检测爬虫，你只需要一个URL，它便可以帮助你发现XSS跨站脚本漏洞，XSScrapy的XSS漏洞攻击测试向量覆盖Referer字段、User-Agent字段

基于gevent和多线程模型，支持WebKit引擎的动态爬虫框架。 特性 支持gevent和多线程两种并行模型 支持Webkit引擎 (dom parse,ajax fetch,etc...) 多个自定义选项设置

Pholcus（幽灵蛛）是一款纯Go语言编写的重量级爬虫软件，清新的GUI界面，优雅的爬虫规则、可控的高并发、任意的批量任务、多种输出方式、大量Demo，支持横纵向两种抓取模式，支持模拟登录和任务取消等，并且考虑了支持分布式布局。

http://segmentfault.com/a/1190000003817510 Scrapy 是Python非常有名的爬虫框架，框架本身已经为爬虫性能做了很多优化：多线程、整合xpath和图片专用管道等等，开发人员只要专注在功能需求上。

基于Scrapy 的 PIXIV爬虫，功能简单（简陋），实现了简单的页面信息抽取，JSON API信息抽取，IMAGE存储等功能。基于Scrapy的配置文件进行灵活配置（包含某些福利选项），并通过Cookie

简单的博客 ，捉襟见肘，望大侠路过指导！好了，此处有广告之嫌，进入正题。 关于Nodejs的爬虫程序，百度一大把，是的，我也是百度到的，然后到github上看了看cheerio模块；乍一看，这不

模拟提交就是说我们不自己登陆到客户端，仅仅靠发送请求就模拟了客户端的操作，在现实使用的时候经常用来接收一些需要登录才能获取到的数据，来模拟表单的提交，所以很多时候也被称作虚拟登录，这次的例子是我自己为学校实验室开发的官方网站的纳新报名系统，设置有一个管理员，管理员通过登录就可以查看报名人的信息，做一个虚拟登录来获取到报名信息页面，因为如果没有登录直接到达这个页面，页面是不给访问的，具体技术我开发的时候用到了session，就不详细描述了。

SinaSpider 动态IP解决新浪的反爬虫机制，快速抓取微博内容。 Background 抓取1000个公司（在companyList.py文件中）五年内相关的微博，进而统计评论数、转发数、点赞数等等。

爬虫，几家欢喜几人愁。爬者，拿到有利数据，分析行为，产生价值。被爬者，一是损失数据，二是遇到不怀好意的爬虫往往被全站复制或服务器受冲击而无法服务。今天说的是一只友好的爬虫是如何构建出来的，请勿用它伤害他人。

net/p/jsonpath WebMagic今后的目标是一个完整的产品，让即使不会编码的人也能通过简单脚本，完成基本的爬虫开发，并促进脚本分享。这就是 WebMagic-Avalon计划。大家可以查看 https://github

近日，新的研究表明，假冒谷歌爬虫已经成为第三大DDoS攻击工具，详情如下： Incapsula研究人员在调查了搜索引擎在1万家网站上的4亿次搜索访问后，发现超过23%的假冒谷歌爬虫被用于DDoS攻击，10

Scrapy 是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便～ Scrapy

request)来处理记录这个异常的请求。重新打回等待处理机制配合delay功能使用可以在很大程度上避免因访问站点的反爬虫策略引起的请求处理异常，并丢失请求的记录的情况。 优化去重判断 优化不规范页面的编码获取方式

Gecco是一款用java语言开发的轻量化的易用的网络爬虫。Gecco整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架，让您只需要

Gecco是一款用java语言开发的轻量化的易用的网络爬虫。Gecco整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架，让您只需要

Gecco是一款用java语言开发的轻量化的易用的网络爬虫。Gecco整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架，让您只需要

Gecco是一款用java语言开发的轻量化的易用的网络爬虫。Gecco整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架，让您只需要

JS是个神奇的语言，借助Node.js的后端环境，我们可以进行相应的爬虫开发，如这篇 基于Node.js实现一个小小的爬虫 但搭建后台环境始终略为麻烦，拿到一台新电脑，不用配环境，可不可以直接在浏览器客户端直接实现呢？

http://localhost:3000/ 即可看到 hello world 爬虫依赖 所谓 工欲善其事必先利其器，完成nodejs爬虫还需要加两个库： superagent( http://visionmedia