一个基于golang的web:hocrawler

jopen 5年前

一个基于golang的web爬虫工具

参考自 lealife

参考方法:

package main    import (      "fmt"      cl "github.com/phillihq/hocrawler"      "time"  )    func main() {      start := time.Now()      crawler := cl.NewCrawler()      crawler.Fetch("http://xxx.com", "/Users/phil/Desktop/pa")      fmt.Printf("耗时: %v\n", time.Now().Sub(start))  }

项目主页:http://www.open-open.com/lib/view/home/1438445250191