github上有太多太多的牛人， 这个东西可以帮助你通过给定的一个github的用户， 然后通过他关注的人, 找出他关注的人里的被关注数最高的几个. 然后不断的循环。

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

Example how to build scalable cluster of web crawlers with centralized jobs queue on python3.

每部电影都有自己的海报，即便是在如今这互联网时代，电影海报仍是一个强大的广告形式。每部电影都会根据自身的主题风格设计海报，精致的电影海报可以吸引人们的注意力。那么问题来了，不同风格的电影海报对颜...

p2pspider - DHT Crawler + BT Client = P2P Spider

从你的应用中收集数据有时候可能有点困难和艰辛。可能是缺少一个必须的API，或者是有太多的数据需要处理。这时候你就需要借助于web抓取。 不用说了，这可能是个法律雷区，所以要确保你没有逾越法律的...

有前人分析了知乎日报、凤凰新闻等 API，根据相应的 URL 可以获取新闻的 JSON 数据。为了锻炼写代码能力，笔者打算爬虫新闻页面，自己获取数据构建 API。

PySpider - Python 爬虫学习

jianhelper - :beetle: 一个爬虫，可以用来爬取简书的文章，并生成EPUB格式。

gecco-spring - gecco爬虫和spring结合使用

zerg - 基于docker的分布式爬虫服务

这几天在爬一个网站，网站做了很多反爬虫工作，爬起来有些艰难，花了一些时间才绕过反爬虫。在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。

PHP的curl扩展是PHP支持的允许你与各种服务器使用各种类型的协议进行连接和通信的库。 本程序是抓取知乎的用户数据，要能访问用户个人页面，需要用户登录后的才能访问。当我们在浏览器的页面...

Python爬虫：抓取手机APP数据：1、抓取APP数据包

python爬虫模拟登录之验证码

模拟提交就是说我们不自己登陆到客户端，仅仅靠发送请求就模拟了客户端的操作，在现实使用的时候经常用来接收一些需要登录才能获取到的数据，来模拟表单的提交，所以很多时候也被称作虚拟登录，这次的例子是我...

寒假开始学习一些简答的爬虫并且做一些有意义的事情。 首先，百度一下爬虫的意思： 网络爬虫：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定...

说道网页信息抓取，相信Jsoup基本是首选的工具，完全的类JQuery操作，让人感觉很舒服。但是，今天我们就要说一说Jsoup的不足。

SeimiCrawler的目标是成为Java世界最好用最实用的爬虫框架。

我这里是使用水木社区做Demo，其中下面的id和passwd分别是提交form表单中用户名和密码的input的name