Perl开发的爬虫程序 Combine
jopen
11年前
Combine 是一个用Perl语言开发可扩展的Web资源爬虫程序。
- SearchEngine-in-a-Box 系统的一部分
- 高度可配置
- 聚焦爬行模式的综合自动化主题分类
- 可以使用任何主题聚焦爬行模式分类器
- 抓取URL的正则表达式，既包括和排除
- UTF-8字符集检测/正常化
- 语法探测
- HTML 清理
- 元数据抽取
- 支持多种文档类型 (text, HTML, PDF, PostScript, MsWord, PowerPoint, Excel, RTF, TeX,图片)
- 遵守robot协议
- 采用SQL存储数据和管理