gecco 1.0.5 发布了， gecco 是 易用的轻量化网络爬虫。 主要改进： 1、修复redirect的相对url的bug 2、增加了支持htmlunit的插件 3、增加抓取JD全部商品的demo

SeimiCrawler是一个敏捷的，支持分布式的爬虫开发框架，希望能在最大程度上降低新手开发一个可用性高且性能不差的爬虫系统的门槛，以及提升开发爬虫系统的开发效率。在SeimiCrawler的世界里

aspx Django+python+BeautifulSoup组合的垂直搜索爬虫 使用python+BeautifulSoup完成爬虫抓取特定数据的工作，并使用Django搭建一个管理平台，用来协调抓取工作。

XSScrapy是一个快速、直接的XSS漏洞检测爬虫，你只需要一个URL，它便可以帮助你发现XSS跨站脚本漏洞，XSScrapy的XSS漏洞攻击测试向量覆盖Referer字段、User-Agent字段

基于gevent和多线程模型，支持WebKit引擎的动态爬虫框架。 特性 支持gevent和多线程两种并行模型 支持Webkit引擎 (dom parse,ajax fetch,etc...) 多个自定义选项设置

生成项目scrapy提供一个工具来生成项目，生成的项目中预置了一些文件，用户需要在这些文件中添加自己的代码。打开命令行，执行：scrapy st...

Pholcus（幽灵蛛）是一款纯Go语言编写的重量级爬虫软件，清新的GUI界面，优雅的爬虫规则、可控的高并发、任意的批量任务、多种输出方式、大量Demo，支持横纵向两种抓取模式，支持模拟登录和任务取消等，并且考虑了支持分布式布局。 框架模块

com/a/1190000003817510 Scrapy 是Python非常有名的爬虫框架，框架本身已经为爬虫性能做了很多优化：多线程、整合xpath和图片专用管道等等，开发人员只要专注在功能需求上。

基于Scrapy 的 PIXIV爬虫，功能简单（简陋），实现了简单的页面信息抽取，JSON API信息抽取，IMAGE存储等功能。基于Scrapy的配置文件进行灵活配置（包含某些福利选项），并通过Cookie

是国内最有名的漏洞报告平台，总结一下这上面的漏洞数据对后面测试与分析漏洞趋势有指导意义，因此写一个爬虫。 不再造轮子了，使用Python的Scrapy框架实现之。 一、安装 64位系统

简单的博客 ，捉襟见肘，望大侠路过指导！好了，此处有广告之嫌，进入正题。 关于Nodejs的爬虫程序，百度一大把，是的，我也是百度到的，然后到github上看了看cheerio模块；乍一看，这不

python爬虫模拟登录之验证码

模拟提交就是说我们不自己登陆到客户端，仅仅靠发送请求就模拟了客户端的操作，在现实使用的时候经常用来接收一些需要登录才能获取到的数据，来模拟表单的提交，所以很多时候也被称作虚拟登录，这次的例子是我自己为学校实验室开发的官方网站的纳新报名系统，设置有一个管理员，管理员通过登录就可以查看报名人的信息，做一个虚拟登录来获取到报名信息页面，因为如果没有登录直接到达这个页面，页面是不给访问的，具体技术我开发的时候用到了session，就不详细描述了。

，等我们进度赶完了继续更新，恳请大家原谅。 -------- 我的学弟在学习@xlzd 的爬虫第三讲（ http:// xlzd.me/2015/12/21/pyth on-crawler-06

的子类，其中的 name 属性为该爬虫的唯一标识，作为scrapy爬取命令的参数。其他方法的属性后续再解释。 运行 创建好自定义的类后，切换到 Comics 路径下，运行命令，启动爬虫任务开始爬取网页。 scrapy

爬虫这类型程序典型特征是意外多，无法确保每次请求都是稳定的返回统一的结果，要提高健壮性，能对错误数据or超时or程序死锁等都能进行处理，才能确保程序几个月不停止。本项目乃长期维护github： 反反爬虫开源库

SinaSpider 动态IP解决新浪的反爬虫机制，快速抓取微博内容。 Background 抓取1000个公司（在companyList.py文件中）五年内相关的微博，进而统计评论数、转发数、点赞数等等。

爬虫，几家欢喜几人愁。爬者，拿到有利数据，分析行为，产生价值。被爬者，一是损失数据，二是遇到不怀好意的爬虫往往被全站复制或服务器受冲击而无法服务。今天说的是一只友好的爬虫是如何构建出来的，请勿用它伤害他人。

net/p/jsonpath WebMagic今后的目标是一个完整的产品，让即使不会编码的人也能通过简单脚本，完成基本的爬虫开发，并促进脚本分享。这就是 WebMagic-Avalon计划。大家可以查看 https://github

近日，新的研究表明，假冒谷歌爬虫已经成为第三大DDoS攻击工具，详情如下： Incapsula研究人员在调查了搜索引擎在1万家网站上的4亿次搜索访问后，发现超过23%的假冒谷歌爬虫被用于DDoS攻击，10