PHP 抵御 DDoS 攻击：IOSEC 经验
可以减弱 Web 应用级别的 HTTP Flood 攻击，可以检测到 HTTP Flood 工具和大规模爬虫和扫描。 项目主页： http://www.open-open.com/lib/vie
jopen 
Ex-Crawler 开源项目
er Daemon，Gui Client和Web搜索引擎），这三部分组合起来将成为一个灵活和强大的爬虫和搜索引擎。其中Web搜索引擎部分采用PHP开发，并包含一个内容管理系统CMS用于维护搜索引擎。
码头工人 PHP 搜索引擎 Sphider 经验
Sphider是一个轻量级，采用PHP开发的Web 爬虫和搜索引擎，使用mysql来存储数据。可以利用它来为自己的网站添加搜索功能。Sphider非常小,易于安装和修改，已经有数千网站在使用它。 在线演示地址：
openkk
一个基于golang的web：hocrawler 经验
一个基于golang的web爬虫工具 参考自 lealife 参考方法: package main import ( "fmt" cl "github.com/phillihq/hocrawler"
P6 
yun007x WEB应用压力测试工具 JCrawler 经验
JCrawler是一个开源的WEB应用压力测试工具。通过其名字，你就可以知道这是一个用Java写的像网页爬虫一样的工具。只要你给其几个URL，它就可以开始爬过去了，它用一 种特殊的方式来产生你WEB应用的负
PHP Shell 工具包 Ani-Shell 1.4 发布 资讯
标准编码规范编写，更易于修改和定制。 新版本增加了 Python bind shell、反爬虫特性以及 MD5 检查工具；对代码进行了清理和改善了UI界面。 项目地址： http://sourceforge
fmms 小型的DNS服务器，adsuck 2.4.3 发布 资讯
是一个小型的DNS服务器，支持过滤黑名单中的地址和转发所有其他查询。它的目的是能够防止连接到不良网站，如广告服务器，爬虫等。它可以在本地使用，或部署在网络入口，以保护本地计算机免受恶意网站的侵扰。此外它还能够使用正则表
对 JavaScript 应用的页面进行预渲染：Prerender Node 经验
BackboneJS SEO, EmberJS SEO,和其它任何javascript框架。这个中间件会拦截爬虫对Node.js网站的请求，然后让调用（外部）预绘制服务来获取静态HTML，而不是JavaScript页面。
Java搜索引擎服务器 Open Search Server 1.2.3 发布 资讯
bug修复，最值得关注的是增加了 OpenSearchServer 的 Drupal 模块，另外在文件和Web爬虫API也做了一些改进，新增 sitemap 生成器以及可导出搜索结果到 CSV 文件等等。
OpenSearchServer 1.5-dev3 发布，强大的、企业级的搜索引擎 资讯
OpenSearchServer 是一个强大的，企业级的搜索引擎程序。使用其Web用户界面，爬虫（Web，文件，数据库等），和REST/ REST风格的API，你可以在你的应用中集成先进的全文搜索功能。
Java神经网络框架 Encog for Java 经验
Encog是一种先进的神经网络和漫游编程库。 Encog可以单独使用或者建立神经网络或HTTP爬虫程序。 Encog还包括类，结合这两种先进的功能。 Encog包含前馈神经网络，Hopfield神经网络的课程，并自组织地图。
P4 一个例子学懂搜索引擎(lucene) 文档
来源：javaeye 作者： phz50 其实，lucene是一个很容易上手的搜索引擎框架，传统的搜索引擎，涉及到爬虫，也就是爬取网页，然后对网页进行加工，也就是索引，最后用于搜索，lucene这个框架可以很方便的帮
浅谈 Web 中前后端模板引擎的使用 经验
。 前后端分离最大的缺点可能就是 SEO 无力了，毕竟爬虫只会抓取 HTML 代码，不会去渲染 JS。（PS：现在的 Google 爬虫已经可以抓取 AJAX 了 Making AJAX applications
P6 Linux中使用eclipse编译nutch-1.0 文档
request header. (6)编译Nutch，测试爬虫crawl。 在当前工程下，新建一个目录urls,目录下面新建一个文件url，写入爬虫入口地址。 修改conf/crawl-urlfilter
如何使用深度学习破解验证码 keras 连续验证码 经验
在实现网络爬虫的过程中，验证码的出现总是会阻碍爬虫的工作。本期介绍一种利用深度神经网络来实现的端到端的验证码识别方法。通过本方法，可以在不切割图片、不做模板匹配的情况下实现精度超过90%的识别结果。
P5 python几个实例 文档
urllib2.urlopen(req).read() - 3.3 伪装成浏览器访问 某些网站反感爬虫的到访，于是对爬虫一律拒绝请求 这时候我们需要伪装成浏览器，这可以通过修改http包中的header来实现 #…
使用Python3.5爬取豆瓣电影Top250 经验
com/ausk/p/4970523.html 这一段时间，一直在折腾Python爬虫。已有的文件记录显示，折腾爬虫大概个把月了吧。但是断断续续，一会儿鼓捣python、一会学习sql儿、一会 调试O
奇虎360声明：搜索完全使用自有搜索技术 资讯
师组成的核心搜索技术团队。 截至目前 360 搜索引擎拥有 13000 多台服务器，庞大的蜘蛛爬虫系统每日抓取网页数量 10 多亿，引擎索引的优质网页数量超过 200 亿，而且网页搜索速度和质量都已经达到先进水平。